申请/专利权人：OPPO广东移动通信有限公司

申请日：2017-10-27

公开（公告）日：2021-05-07

公开（公告）号：CN107797664B

主分类号：G06F3/01(20060101)

分类号：G06F3/01(20060101);G06F3/0481(20130101);G06F3/0484(20130101);H04N7/18(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.05.07#授权;2018.04.06#实质审查的生效;2018.03.13#公开

摘要：本发明公开了一种内容显示方法、装置及电子装置，其中方法包括：在终端设备的显示屏上显示有图像和或文字时，向使用终端设备的当前用户进行投影，获取当前用户的人脸3D模型；对人脸3D模型进行分析，获取人脸3D模型中眼球的特征点信息；根据眼球的特征点信息，确定当前用户在显示屏上的注视位置；对注视位置对应区域内的当前显示内容进行调整，从而能够根据用户在显示屏上的注视位置，对对应区域内的当前显示内容，例如当前显示内容的大小等进行调整，使得用户能够比较容易的阅读到图像和或文字信息，提高了终端设备上图像和或文字等信息的显示效果，提高了阅读量，提高了用户使用终端设备的体验。

主权项：1.一种内容显示方法，其特征在于，包括：在终端设备的显示屏上显示有图像和或文字时，向使用终端设备的当前用户进行投影，获取所述当前用户的人脸3D模型；对所述人脸3D模型进行分析，获取所述人脸3D模型中眼球的特征点信息；根据所述眼球的特征点信息获取所述眼球距离所述显示屏的距离以及所述眼球的观看角度，根据所述眼球距离所述显示屏的距离以及所述眼球的观看角度确定所述当前用户在所述显示屏上的注视位置；对所述注视位置对应区域内的当前显示内容进行调整，所述注视位置对应区域包括所述注视位置所在的一行、多行、或者以所述注视位置为中心的预定区域。

全文数据：内容显示方法、装置及电子装置技术领域[0001]本发明涉及图像处理技术领域，特别涉及一种内容显示方法、装置及电子装置。背景技术[0002]目前，当用户使用终端设备进行图像和或文字等信息的阅读时，由于终端设备显示屏尺寸的限制，例如手机、PAD等，终端设备显示屏上显示的图像和或文字的尺寸不够大，导致用户阅读图像和或文字等信息时比较费劲，尤其是针对需要佩戴近视镜或者老花镜的人群来说，从而降低了终端设备上图像和或文字等信息的显示效果，降低了阅读量，影响用户使用终端设备的体验。发明内容[0003]本发明的实施例提供了一种内容显示方法、装置及电子装置。[0004]本发明实施方式的内容显示方法包括：[0005]在终端设备的显示屏上显示有图像和或文字时，向使用终端设备的当前用户进行投影，获取所述当前用户的人脸3D模型；[0006]对所述人脸3D模型进行分析，获取所述人脸3D模型中眼球的特征点信息；[0007]根据所述眼球的特征点信息，确定所述当前用户在所述显示屏上的注视位置；[0008]对所述注视位置对应区域内的当前显示内容进行调整。[0009]进一步的，所述向使用终端的当前用户进行投影，获取所述当前用户的人脸3D模型，包括：[0010]向所述当前用户投射结构光；[0011]拍摄经所述当前用户调制的结构光图像;和[0012]解调所述结构光图像的各个像素对应的相位信息以得到所述当前用户的人脸深度图像；[0013]根据所述当前用户的人脸深度图像和所述结构光图像，生成所述当前用户的人脸3D模型。[00M]进一步的，所述解调所述结构光图像的各个像素对应的相位信息以得到所述当前用户的人脸深度图像，包括：[0015]解调所述结构光图像的各个像素对应的相位信息；[0016]将所述相位信息转化为深度信息;和[0017]根据所述深度信息生成所述人脸深度图像。[0018]进一步的，所述对所述注视位置对应区域内的当前显示内容进行调整之前，还包括：[0019]获取所述当前用户对所述注视位置的注视时间；[0020]所述对所述注视位置对应区域内的当前显示内容进行调整，包括：[0021]根据所述注视时间对所述注视位置对应区域内的当前显示内容进行调整。[0022]进一步的，所述根据所述注视时间对所述注视位置对应区域内的当前显示内容进行调整，包括：[0023]在所述注视时间大于第一预设时间阈值时，按照第一放大倍数对所述注视位置对应区域内的当前显示内容进行放大处理。[0024]进一步的，所述在所述注视时间大于第一预设时间阈值时，按照第一放大倍数对所述注视位置对应区域内的当前显示内容进行放大处理之后，还包括：[0025]在所述注视时间大于第二预设时间阈值时，按照第二放大倍数对所述注视位置对应区域内的当前显示内容进行放大处理。[0026]本发明实施方式的内容显示方法，通过在终端设备的显示屏上显示有图像和或文字时，向使用终端设备的当前用户进行投影，获取当前用户的人脸3D模型;对人脸3D模型进行分析，获取人脸3D模型中眼球的特征点信息;根据眼球的特征点信息，确定当前用户在显示屏上的注视位置;对注视位置对应区域内的当前显示内容进行调整，从而能够根据用户在显示屏上的注视位置，对对应区域内的当前显示内容，例如当前显示内容的大小等进行调整，使得用户能够比较容易的阅读到图像和或文字信息，提高了终端设备上图像和或文字等信息的显示效果，提高了阅读量，提高了用户使用终端设备的体验。[0027]本发明实施方式的内容显示装置包括：[0028]深度图像采集组件，所述深度图像采集组件用于在终端设备的显示屏上显示有图像和或文字时，向使用终端设备的当前用户进行投影，获取所述当前用户的人脸3D模型；[0029]处理器，所述处理器，用于对所述人脸3D模型进行分析，获取所述人脸3D模型中眼球的特征点信息；[0030]根据所述眼球的特征点信息，确定所述当前用户在所述显示屏上的注视位置；[0031]对所述注视位置对应区域内的当前显示内容进行调整。[0032]进一步的，所述深度图像采集组件包括结构光投射器和结构光摄像头，所述结构光投射器用于向所述当前用户投射结构光；[0033]所述结构光摄像头用于，[0034]拍摄经所述当前用户调制的结构光图像;和[0035]解调所述结构光图像的各个像素对应的相位信息以得到所述当前用户的人脸深度图像；[0036]根据所述当前用户的人脸深度图像和所述结构光图像，生成所述当前用户的人脸3D模型。[0037]进一步的，所述结构光摄像头还用于，[0038]解调所述结构光图像的各个像素对应的相位信息；[0039]将所述相位信息转化为深度信息;和[0040]根据所述深度信息生成所述人脸深度图像。[0041]进一步的，所述处理器还用于，[0042]获取所述当前用户对所述注视位置的注视时间；[0043]根据所述注视时间对所述注视位置对应区域内的当前显示内容进行调整。[0044]进一步的，所述处理器还用于，[0045]在所述注视时间大于第一预设时间阈值时，按照第一放大倍数对所述注视位置对应区域内的当前显示内容进行放大处理。[0046]进一步的，所述处理器还用于，[0047]在所述注视时间大于第二预设时间阈值时，按照第二放大倍数对所述注视位置对应区域内的当前显示内容进行放大处理。[0048]本发明实施方式的内容显示装置，通过在终端设备的显示屏上显示有图像和或文字时，向使用终端设备的当前用户进行投影，获取当前用户的人脸3D模型;对人脸3D模型进行分析，获取人脸3D模型中眼球的特征点信息;根据眼球的特征点信息，确定当前用户在显示屏上的注视位置;对注视位置对应区域内的当前显示内容进行调整，从而能够根据用户在显示屏上的注视位置，对对应区域内的当前显示内容，例如当前显示内容的大小等进行调整，使得用户能够比较容易的阅读到图像和或文字信息，提高了终端设备上图像和或文字等信息的显示效果，提高了阅读量，提高了用户使用终端设备的体验。[0049]本发明实施方式的电子装置包括一个或多个处理器、存储器和一个或多个程序。其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行上述的内容显示方法的指令。[0050]本发明实施方式的计算机可读存储介质包括与能够摄像的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述的内容显示方法。[0051]本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明[0052]本发明上述的和或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：[0053]图1是本发明某些实施方式的内容显示方法的流程示意图。[0054]图2是本发明某些实施方式的内容显示装置的模块示意图。[0055]图3是本发明某些实施方式的电子装置的结构示意图。[0056]图4是本发明某些实施方式的内容显示方法的流程示意图。[0057]图5是本发明某些实施方式的内容显示方法的流程示意图。[0058]图6a至图6e是根据本发明一个实施例的结构光测量的场景示意图。[0059]图7a和图7⑹根据本发明一个实施例的结构光测量的场景示意图。[0060]图8是本发明某些实施方式的内容显示方法的流程示意图。[0061]图9是本发明某些实施方式的电子装置的模块示意图。[0062]图10是本发明某些实施方式的电子装置的模块示意图。具体实施方式[0063]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。[0064]请一并参阅图1至2,本发明实施方式的内容显示方法用于电子装置1000。内容显示方法包括：[0065]S101、在终端设备的显示屏上显示有图像和或文字时，向使用终端设备的当前用户进行投影，获取当前用户的人脸3D模型。[0066]S102、对人脸3D模型进行分析，获取人脸3D模型中眼球的特征点信息。[0067]S103、根据眼球的特征点信息，确定当前用户在显示屏上的注视位置。[0068]S104、对注视位置对应区域内的当前显示内容进行调整。[0069]请参阅图3,本发明实施方式的内容显示方法可以由本发明实施方式的内容显示装置100实现。本发明实施方式的内容显示装置100用于电子装置1000。内容显示装置100包括深度图像采集组件12和处理器20。本实施例中，步骤102、步骤103、步骤104可以由处理器20实现，步骤101可以由深度图像采集组件12实现。另外，内容显示装置100还可以包括可见光摄像头11，用于拍摄当前用户所在的场景的图片，以便根据图片识别出当前用户所在的具体方位。[0070]也就是说，深度图像采集组件12用于在终端设备的显示屏上显示有图像和或文字时，向使用终端设备的当前用户进行投影，获取当前用户的人脸3D模型;处理器20用于对人脸3D模型进行分析，获取人脸3D模型中眼球的特征点信息;根据眼球的特征点信息，确定当前用户在显示屏上的注视位置;对注视位置对应区域内的当前显示内容进行调整。[0071]本实施例中，处理器20可以实时获取终端设备的显示屏上的显示内容，对显示内容进行检测，判断显示内容中是否包括图像和或文字;在显示内容中包括图像和或文字时，向深度图像采集组件12发送指示信息，指示深度图像采集组件12向使用终端设备的当前用户进行投影，获取当前用户的人脸3D模型。其中，包括图像和或文字的显示内容例如可以为，终端设备的桌面显示内容、微信等应用等打开后的界面显示内容、设置界面显示内容等。[0072]本实施例中，处理器20对人脸3D模型进行分析，获取人脸3D模型中眼球的特征点信息的过程具体可以为，处理器20对人脸3D模型进行分析，获取人脸3D模型的特征点信息；对人脸3D模型的特征点信息进行分析，获取眼球所在位置，进而获取眼球的特征点信息。[0073]本实施例中，处理器20可以对眼球的特征点信息进行分析，获取眼球距离显示屏的距离，以及眼球的观看角度等;根据眼球距离显示屏的距离，以及眼球的观看角度等，确定当前用户在显示屏上的注视位置。其中，注视位置可以包括:该位置相对于显示屏参考坐标的横坐标信息和纵坐标信息。[0074]本实施例中，需要说明的是，注视位置对应区域，可以为注视位置所在的一行或者多行，或者可以为以注视位置为中心的一定区域。[0075]本发明实施方式的内容显示装置100可以应用于本发明实施方式的电子装置1000。也即是说，本发明实施方式的电子装置1000包括本发明实施方式的内容显示装置IOOo[0076]在某些实施方式中，电子装置1000包括手机、平板电脑、笔记本电脑、智能手环、智能手表、智能头盔、智能眼镜等。[0077]本发明实施方式的内容显示方法，通过在终端设备的显示屏上显示有图像和或文字时，向使用终端设备的当前用户进行投影，获取当前用户的人脸3D模型;对人脸3D模型进行分析，获取人脸3D模型中眼球的特征点信息;根据眼球的特征点信息，确定当前用户在显示屏上的注视位置;对注视位置对应区域内的当前显示内容进行调整，从而能够根据用户在显示屏上的注视位置，对对应区域内的当前显示内容，例如当前显示内容的大小等进行调整，使得用户能够比较容易的阅读到图像和或文字信息，提高了终端设备上图像和或文字等信息的显示效果，提高了阅读量，提高了用户使用终端设备的体验。[0078]请参阅图4,在某些实施方式中，步骤101具体可以包括以下步骤：[0079]SlOll、向当前用户投射结构光。[0080]S1012、拍摄经当前用户调制的结构光图像。[0081]S1013、解调结构光图像的各个像素对应的相位信息以得到当前用户的人脸深度图像。[0082]S1014、根据当前用户的人脸深度图像和结构光图像，生成当前用户的人脸3D模型。[0083]请再参阅图3,在某些实施方式中，深度图像采集组件12包括结构光投射器121和结构光摄像头122。步骤1011可以由结构光投射器121实现，步骤1012、步骤1013和步骤1014可以由结构光摄像头122实现。[0084]也即是说，结构光投射器121可用于向当前用户投射结构光;结构光摄像头122可用于拍摄经当前用户调制的结构光图像;解调结构光图像的各个像素对应的相位信息以得到当前用户的人脸深度图像;根据当前用户的人脸深度图像和结构光图像，生成当前用户的人脸3D模型。[0085]具体地，结构光投射器121将一定模式的结构光投射到当前用户的面部或躯体上后，在当前用户的面部或躯体的表面会形成由当前用户调制后的结构光图像。结构光摄像头122拍摄经调制后的结构光图像，再对结构光图像进行解调以得到深度图像，进而得到人脸深度图像;结合人脸深度图像以及人脸部位的结构光图像，生成当前用户的人脸3D模型。其中，结构光的模式可以是激光条纹、格雷码、正弦条纹、非均匀散斑等。[0086]请参阅图5,在某些实施方式中，步骤1013解调结构光图像的各个像素对应的相位信息以得到当前用户的人脸深度图像的过程具体可以包括以下步骤：[0087]S10131、解调结构光图像的各个像素对应的相位信息。[0088]SI0132、将相位信息转化为深度信息。[0089]S10133、根据深度信息生成人脸深度图像。[0090]请再参阅图2，在某些实施方式中，步骤10131、步骤10132和步骤10133均可以由结构光摄像头122实现。[0091]也即是说，结构光摄像头122可进一步用于解调结构光图像的各个像素对应的相位信息;将相位信息转化为深度信息;和根据深度信息生成人脸深度图像。[0092]具体地，与未经调制的结构光相比，调制后的结构光的相位信息发生了变化，在结构光图像中呈现出的结构光是产生了畸变之后的结构光，其中，变化的相位信息即可表征物体的深度信息。因此，结构光摄像头122首先解调出结构光图像中各个像素对应的相位信息，再根据相位信息计算出深度信息，从而得到最终的人脸深度图像。[0093]为了使本领域的技术人员更加清楚的了解根据结构光来采集当前用户的面部或躯体的深度图像的过程，下面以一种应用广泛的光栅投影技术条纹投影技术为例来阐述其具体原理。其中，光栅投影技术属于广义上的面结构光。[0094]如图6a所示，在使用面结构光投影的时候，首先通过计算机编程产生正弦条纹，并将正弦条纹通过结构光投射器121投射至被测物，再利用结构光摄像头122拍摄条纹受物体调制后的弯曲程度，随后解调该弯曲条纹得到相位，再将相位转化为深度信息即可获取深度图像。为避免产生误差或误差耦合的问题，使用结构光进行深度信息采集前需对深度图像采集组件12进行参数标定，标定包括几何参数例如，结构光摄像头122与结构光投射器121之间的相对位置参数等）的标定、结构光摄像头122的内部参数以及结构光投射器121的内部参数的标定等。[0095]具体而言，第一步，计算机编程产生正弦条纹。由于后续需要利用畸变的条纹获取相位，比如采用四步移相法获取相位，因此这里产生四幅相位差为的条纹，然后结构光投射器121将该四幅条纹分时投射到被测物（图6a所示的面具上，结构光摄像头122采集到如图6b左边的图，同时要读取如图6b右边所示的参考面的条纹。[0096]第二步，进行相位恢复。结构光摄像头122根据采集到的四幅受调制的条纹图（BP结构光图像计算出被调制相位，此时得到的相位图是截断相位图。因为四步移相算法得到的结果是由反正切函数计算所得，因此结构光调制后的相位被限制在之间，也就是说，每当调制后的相位超过[π3]，其又会重新开始。最终得到的相位主值如图6c所示。[0097]其中，在进行相位恢复过程中，需要进行消跳变处理，即将截断相位恢复为连续相位。如图6⑹所示，左边为受调制的连续相位图，右边是参考连续相位图。[0098]第三步，将受调制的连续相位和参考连续相位相减得到相位差（即相位信息），该相位差表征了被测物相对参考面的深度信息，再将相位差代入相位与深度的转化公式公式中涉及到的参数经过标定），即可得到如图6e所示的待测物体的三维模型。[0099]应当理解的是，在实际应用中，根据具体应用场景的不同，本发明实施例中所采用的结构光除了上述光栅之外，还可以是其他任意图案。[0100]作为一种可能的实现方式，本发明还可使用散斑结构光进行当前用户的深度信息的米集。[0101]具体地，散斑结构光获取深度信息的方法是使用一基本为平板的衍射元件，该衍射元件具有特定相位分布的浮雕衍射结构，横截面为具有两个或多个凹凸的台阶浮雕结构。衍射元件中基片的厚度大致为1微米，各个台阶的高度不均匀，高度的取值范围可为0.7微米〜0.9微米。图7a所示结构为本实施例的准直分束元件的局部衍射结构。图7〇3为沿截面A-A的剖面侧视图，横坐标和纵坐标的单位均为微米。散斑结构光生成的散斑图案具有高度的随机性，并且会随着距离的不同而变换图案。因此，在使用散斑结构光获取深度信息前，首先需要标定出空间中的散斑图案，例如，在距离结构光摄像头122的0〜4米的范围内，每隔1厘米取一个参考平面，则标定完毕后就保存了400幅散斑图像，标定的间距越小，获取的深度信息的精度越高。随后，结构光投射器121将散斑结构光投射到被测物（即当前用户）上，被测物表面的高度差使得投射到被测物上的散斑结构光的散斑图案发生变化。结构光摄像头122拍摄投射到被测物上的散斑图案（即结构光图像后，再将散斑图案与前期标定后保存的400幅散斑图像逐一进行互相关运算，进而得到400幅相关度图像。空间中被测物体所在的位置会在相关度图像上显示出峰值，把上述峰值叠加在一起并经过插值运算后即可得到被测物的深度信息。[0102]由于普通的衍射元件对光束进行衍射后得到多数衍射光，但每束衍射光光强差别大，对人眼伤害的风险也大。即便是对衍射光进行二次衍射，得到的光束的均匀性也较低。因此，利用普通衍射元件衍射的光束对被测物进行投射的效果较差。本实施例中采用准直分束元件，该元件不仅具有对非准直光束进行准直的作用，还具有分光的作用，即经反射镜反射的非准直光经过准直分束元件后往不同的角度出射多束准直光束，且出射的多束准直光束的截面面积近似相等，能量通量近似相等，进而使得利用该光束衍射后的散点光进行投射的效果更好。同时，激光出射光分散至每一束光，进一步降低了伤害人眼的风险，且散斑结构光相对于其他排布均匀的结构光来说，达到同样的采集效果时，散斑结构光消耗的电量更低。[0103]请参阅图8,在某些实施方式中，步骤104之前，还可以包括：[0104]S105、获取当前用户对注视位置的注视时间。[0105]对应的，步骤104具体可以包括以下步骤：[0106]S1041、在注视时间大于第一预设时间阈值时，按照第一放大倍数对注视位置对应区域内的当前显示内容进行放大处理。[0107]S1042、在注视时间大于第二预设时间阈值时，按照第二放大倍数对注视位置对应区域内的当前显示内容进行放大处理。[0108]请再参阅图2,在某些实施方式中，步骤105、步骤1041和步骤1042均可以由处理器20实现。[0109]也即是说，处理器20可进一步用于获取当前用户对注视位置的注视时间；在注视时间大于第一预设时间阈值时，按照第一放大倍数对注视位置对应区域内的当前显示内容进行放大处理;在注视时间大于第二预设时间阈值时，按照第二放大倍数对注视位置对应区域内的当前显示内容进行放大处理。其中，第一预设时间阈值小于第二预设时间阈值。第一预设时间阈值和第二预设时间阈值例如可以为，〇.5秒、1秒、2秒、5秒等数值，具体数值可以根据需要进行设定。[0110]本实施例中，当前用户对注视位置的注视时间具体可以为，当前用户对注视位置的连续注视时间。若注视位置发生变化，则重新计算注视时间。在注视时间大于第一预设时间阈值时，处理器20可以按照第一放大倍数对注视位置对应区域内的当前显示内容进行放大处理。若进行放大处理后，注视位置还未发生变化，当前用户还未阅读完成该注视位置的当前显示内容，即注视时间继续增加，增加至大于第二预设时间阈值时，则在之前按照第一放大倍数进行放大处理的基础上，对注视位置对应区域内的当前显示内容进行第二次放大处理，即按照第二放大倍数进行放大处理，使得用户能够更容易的阅读注视位置的当前显示内容。[0111]另外，需要说明的是，处理器20根据注视时间和注视位置，不仅可以对对应区域的当前显示内容进行大小调整，也可以对颜色、格式、字体等进行调整，以突出当前显示内容，使得用户更容易阅读当前显示内容。[0112]请一并参阅图3和图9,本发明实施方式还提出一种电子装置1000。电子装置1000包括内容显示装置100。内容显示装置100可以利用硬件和或软件实现。内容显示装置100包括成像设备10和处理器20。[0113]成像设备10包括可见光摄像头11和深度图像采集组件12。[0114]具体地，可见光摄像头11包括图像传感器111和透镜112。其中，图像传感器111包括彩色滤镜阵列如Bayer滤镜阵列），透镜112的个数可为一个或多个。图像传感器111中的每一个成像像素感应来自拍摄场景中的光强度和波长信息，生成一组原始图像数据；图像传感器111将该组原始图像数据发送至处理器20中，处理器20对原始图像数据进行去噪、插值等运算后即得到彩色的图像;处理器20可按多种格式对原始图像数据中的每个图像像素逐一处理，例如，每个图像像素可具有8、10、12或14比特的位深度，处理器20可按相同或不同的位深度对每一个图像像素进行处理。[0115]深度图像采集组件12包括结构光投射器121和结构光摄像头122,深度图像采集组件12可用于捕捉当前用户的深度信息以得到人脸深度图像。结构光投射器121用于将结构光投射至当前用户，其中，结构光图案可以是激光条纹、格雷码、正弦条纹或者随机排列的散斑图案等。结构光摄像头122包括图像传感器1221和透镜1222,透镜1222的个数可为一个或多个。图像传感器1221用于捕捉结构光投射器121投射至当前用户上的结构光图像。结构光图像可由深度采集组件12发送至处理器20进行解调、相位恢复、相位信息计算等处理以获取当前用户的深度信息，进而获取当前用户的人脸深度图像以及人脸3D模型。[0116]在某些实施方式中，可见光摄像头11与结构光摄像头122的功能可由一个摄像头实现，也即是说，成像设备10仅包括一个摄像头和一个结构光投射器121，上述摄像头不仅可以拍摄原始图像，还可拍摄结构光图像。[0117]除了采用结构光获取人脸深度图像外，还可通过双目视觉方法、基于飞行时间差TimeofFlight，T0F等深度像获取方法来获取当前用户的人脸深度图像。[0118]处理器20进一步用于对人脸3D模型进行分析，获取人脸3D模型中眼球的特征点信息;根据眼球的特征点信息，确定当前用户在显示屏上的注视位置;对注视位置对应区域内的当前显示内容进行调整。[0119]此外，内容显示装置100还包括图像存储器30。图像存储器30可内嵌在电子装置1000中，也可以是独立于电子装置1000外的存储器，并可包括直接存储器存取（DirectMemoryAccess，DMA特征。可见光摄像头11采集的图像数据或深度图像采集组件12采集的结构光图像相关数据均可传送至图像存储器30中进行存储或缓存。处理器20可从图像存储器30中读取原始图像数据，也可从图像存储器30中读取结构光图像相关数据以进行处理得到深度图像。另外，图像数据和深度图像还可存储在图像存储器30中，以供处理器20随时调用处理。[0120]内容显示装置100还可包括显示器50。显示器50可直接显示当前用户的人脸3D模型以供用户查看，或者由图形引擎或图形处理器graphicsProcessingUnit，GPU进行进一步的处理。内容显示装置100还包括编码器解码器60,编码器解码器60可编解码深度图像等的图像数据，编码的图像数据可被保存在图像存储器30中，并可以在图像显示在显示器50上之前由解码器解压缩以进行显示。编码器解码器60可由中央处理器（CentralProcessingUnit，CPU、GPU或协处理器实现。换言之，编码器解码器60可以是中央处理器CentralProcessingUnit，CPU、GPU、及协处理器中的任意一种或多种。[0121]内容显示装置100还包括控制逻辑器40。成像设备10在成像时，处理器20会根据成像设备获取的数据进行分析以确定成像设备10的一个或多个控制参数例如，曝光时间等）的图像统计信息。处理器20将图像统计信息发送至控制逻辑器40,控制逻辑器40控制成像设备10以确定好的控制参数进行成像。控制逻辑器40可包括执行一个或多个例程如固件）的处理器和或微控制器。一个或多个例程可根据接收的图像统计信息确定成像设备10的控制参数。[0122]请参阅图10,本发明实施方式的电子装置1000包括一个或多个处理器200、存储器300和一个或多个程序310。其中一个或多个程序310被存储在存储器300中，并且被配置成由一个或多个处理器200执行。程序310包括用于执行上述任意一项实施方式的内容显示方法的指令。[0123]例如，程序310包括用于执行以下步骤所述的内容显示方法的指令：[0124]在终端设备的显示屏上显示有图像和或文字时，向使用终端设备的当前用户进行投影，获取所述当前用户的人脸3D模型；[0125]对所述人脸3D模型进行分析，获取所述人脸3D模型中眼球的特征点信息；[0126]根据所述眼球的特征点信息，确定所述当前用户在所述显示屏上的注视位置；[0127]对所述注视位置对应区域内的当前显示内容进行调整。[0128]再例如，程序310还包括用于执行以下步骤所述的内容显示方法的指令：[0129]向所述当前用户投射结构光；[0130]拍摄经所述当前用户调制的结构光图像;和[0131]解调所述结构光图像的各个像素对应的相位信息以得到所述当前用户的人脸深度图像；[0132]根据所述当前用户的人脸深度图像和所述结构光图像，生成所述当前用户的人脸3D模型。[0133]本发明实施方式的计算机可读存储介质包括与能够摄像的电子装置1000结合使用的计算机程序。计算机程序可被处理器200执行以完成上述任意一项实施方式的内容显示方法。[0134]例如，计算机程序可被处理器200执行以完成以下步骤所述的内容显示方法：[0135]解调所述结构光图像的各个像素对应的相位信息；[0136]将所述相位信息转化为深度信息;和[0137]根据所述深度信息生成所述人脸深度图像。[0138]再例如，计算机程序还可被处理器200执行以完成以下步骤所述的内容显示方法：[0139]获取所述当前用户对所述注视位置的注视时间；[0140]在所述注视时间大于第一预设时间阈值时，按照第一放大倍数对所述注视位置对应区域内的当前显示内容进行放大处理；[0141]在所述注视时间大于第二预设时间阈值时，按照第二放大倍数对所述注视位置对应区域内的当前显示内容进行放大处理。[0142]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。[0143]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。[0144]流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。[0145]在流程图中表示或在此以其他方式描述的逻辑和或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM，只读存储器ROM，可擦除可编辑只读存储器EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器CDROM。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。[0146]应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列PGA，现场可编程门阵列FPGA等。[0M7]本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。[0148]此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。[0149]上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

权利要求：1.一种内容显示方法，其特征在于，包括：在终端设备的显示屏上显示有图像和或文字时，向使用终端设备的当前用户进行投影，获取所述当前用户的人脸3D模型；对所述人脸3D模型进行分析，获取所述人脸3D模型中眼球的特征点信息；根据所述眼球的特征点信息，确定所述当前用户在所述显示屏上的注视位置；对所述注视位置对应区域内的当前显示内容进行调整。2.根据权利要求1所述的方法，其特征在于，所述向使用终端的当前用户进行投影，获取所述当前用户的人脸3D模型，包括：向所述当前用户投射结构光；拍摄经所述当前用户调制的结构光图像;和解调所述结构光图像的各个像素对应的相位信息以得到所述当前用户的人脸深度图像；根据所述当前用户的人脸深度图像和所述结构光图像，生成所述当前用户的人脸3D模型。3.根据权利要求2所述的方法，其特征在于，所述解调所述结构光图像的各个像素对应的相位信息以得到所述当前用户的人脸深度图像，包括：解调所述结构光图像的各个像素对应的相位信息；将所述相位信息转化为深度信息;和根据所述深度信息生成所述人脸深度图像。4.根据权利要求1所述的方法，其特征在于，所述对所述注视位置对应区域内的当前显示内容进行调整之前，还包括：获取所述当前用户对所述注视位置的注视时间；所述对所述注视位置对应区域内的当前显示内容进行调整，包括：根据所述注视时间对所述注视位置对应区域内的当前显示内容进行调整。5.根据权利要求4所述的方法，其特征在于，所述根据所述注视时间对所述注视位置对应区域内的当前显示内容进行调整，包括：在所述注视时间大于第一预设时间阈值时，按照第一放大倍数对所述注视位置对应区域内的当前显示内容进行放大处理。6.根据权利要求5所述的方法，其特征在于，所述在所述注视时间大于第一预设时间阈值时，按照第一放大倍数对所述注视位置对应区域内的当前显示内容进行放大处理之后，还包括：在所述注视时间大于第二预设时间阈值时，按照第二放大倍数对所述注视位置对应区域内的当前显示内容进行放大处理。7.—种内容显示装置，其特征在于，包括：深度图像采集组件，所述深度图像采集组件用于在终端设备的显示屏上显示有图像和或文字时，向使用终端设备的当前用户进行投影，获取所述当前用户的人脸3D模型；处理器，所述处理器，用于对所述人脸3D模型进行分析，获取所述人脸3D模型中眼球的特征点信息；根据所述眼球的特征点信息，确定所述当前用户在所述显示屏上的注视位置；对所述注视位置对应区域内的当前显示内容进行调整。8.根据权利要求7所述的装置，其特征在于，所述深度图像采集组件包括结构光投射器和结构光摄像头，所述结构光投射器用于向所述当前用户投射结构光；所述结构光摄像头用于，拍摄经所述当前用户调制的结构光图像;和解调所述结构光图像的各个像素对应的相位信息以得到所述当前用户的人脸深度图像；根据所述当前用户的人脸深度图像和所述结构光图像，生成所述当前用户的人脸3D模型。9.根据权利要求8所述的装置，其特征在于，所述结构光摄像头还用于，解调所述结构光图像的各个像素对应的相位信息；将所述相位信息转化为深度信息;和根据所述深度信息生成所述人脸深度图像。10.根据权利要求7所述的装置，其特征在于，所述处理器还用于，获取所述当前用户对所述注视位置的注视时间；根据所述注视时间对所述注视位置对应区域内的当前显示内容进行调整。11.根据权利要求7所述的装置，其特征在于，所述处理器还用于，在所述注视时间大于第一预设时间阈值时，按照第一放大倍数对所述注视位置对应区域内的当前显示内容进行放大处理。12.根据权利要求7所述的装置，其特征在于，所述处理器还用于，在所述注视时间大于第二预设时间阈值时，按照第二放大倍数对所述注视位置对应区域内的当前显示内容进行放大处理。13.—种电子装置，其特征在于，所述电子装置包括：一个或多个处理器；存储器;和一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行权利要求1至6任意一项所述的内容显示方法的指令。14.一种计算机可读存储介质，其特征在于，包括与能够摄像的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成权利要求1至6任意一项所述的内容显示方法。

百度查询： OPPO广东移动通信有限公司 内容显示方法、装置及电子装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD