申请/专利权人：联想(北京)有限公司

申请日：2018-01-02

公开（公告）日：2021-04-13

公开（公告）号：CN108196676B

主分类号：G06F3/01(20060101)

分类号：G06F3/01(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.04.13#授权;2018.07.17#实质审查的生效;2018.06.22#公开

摘要：本公开提供了一种跟踪识别方法，包括：当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，第二图像平面是由第二摄像装置对用户眼睛进行检测而确定的，且第一图像平面与第二图像平面相交，第一摄像装置和第二摄像装置都设置在电子设备上，用户眼睛包括用户的右眼或左眼；以及基于第一图像平面与第二图像平面的交线，确定用户眼睛在屏幕上的注视点。本公开还提供了一种跟踪识别方法。

主权项：1.一种跟踪识别方法，包括：当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，所述第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，所述第二图像平面是由第二摄像装置对所述用户眼睛进行检测而确定的，且所述第一图像平面与所述第二图像平面相交，所述第一摄像装置和所述第二摄像装置都设置在所述电子设备上，所述用户眼睛包括所述用户的右眼或左眼，其中，所述第一图像平面为所述用户眼睛的普尔钦斑成像点、瞳孔中心成像点和所述第一摄像装置的镜头节点确定的平面，所述第二图像平面为所述用户眼睛的普尔钦斑成像点、瞳孔中心成像点和所述第二摄像装置的镜头节点确定的平面，所述瞳孔中心成像点为所述用户眼睛的瞳孔中心在所述用户眼睛的角膜面上的映射中心；以及基于所述第一图像平面与所述第二图像平面的交线，确定所述用户眼睛在所述屏幕上的注视点，包括：将所述第一图像平面与所述第二图像平面的交线作为所述用户眼睛的光轴；确定所述光轴与所述屏幕的交点；以及将所述交点作为所述用户眼睛在所述屏幕上的注视点。

全文数据：跟踪识别方法及系统技术领域[0001]本公开涉及一种跟踪识别方法及系统。背景技术[0002]当用户手持尤其是单手持手机或者平板电脑等手持设备时，人眼跟踪功能可以为用户提供更方便的交互体验。目前，触摸屏和摄像头已经成为智能手机、平板电脑等手持设备的标配，因而可以利用触摸屏和摄像头进行人眼跟踪。[0003]但是，在实现本公开构思的过程中，发明人发现相关技术中至少存在如下缺陷:在相关技术中一般是通过单个摄像头来实现人眼跟踪的，难以准确地识别出人眼在触摸屏上的注视点。发明内容[0004]本公开的一个方面提供了一种跟踪识别方法，包括：当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，上述第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，上述第二图像平面是由第二摄像装置对上述用户眼睛进行检测而确定的，且上述第一图像平面与上述第二图像平面相交，上述第一摄像装置和上述第二摄像装置都设置在上述电子设备上，上述用户眼睛包括上述用户的右眼或左眼；以及基于上述第一图像平面与上述第二图像平面的交线，确定上述用户眼睛在上述屏幕上的注视点。[0005]根据本公开的实施例，当用户注视电子设备的屏幕时，确定第一图像平面包括:当上述用户注视上述电子设备的上述屏幕时，确定上述第一摄像装置对上述用户眼睛的普尔钦斑进行检测而得到的普尔钦斑成像点，以及对上述用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点;确定上述第一摄像装置的镜头节点；以及将上述普尔钦斑成像点、上述瞳孔中心成像点和上述镜头节点三点确定的平面作为上述第一图像平面。_[0006]根据本公开的实施例，确定上述第一摄像装置对上述用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点包括:确定上述用户眼睛的瞳孔中心映射f上述用户眼睛的角膜面上而得到的映射中心;确定上述第一摄像装置对上述映射中心进行检测而得到的映射中心成像点；以及将上述映射中心成像点作为上述瞳孔中心成像点。[0007]根据本公开的实施例，基于上述第一图像平面与上述第二图像平面的交线，确定上述用户眼睛在上述屏幕上的注视点包括:将上述第一图像平面与上述第二图像平面的交线作为上述用户眼睛的光轴;确定上述光轴与上述屏幕的交点；以及将上述交点作为上述用户眼睛在上述屏幕上的注视点。[0008]根据本公开的实施例，上述第一摄像装置与上述第二摄像装置之间间隔预设距离。[0009]根据本公开的实施例，上述第一摄像装置的镜头节点上设置有第一光源;和或上述第二摄像装置的镜头节点上设置第二光源。、，、[0010]本公开的另一个方面提供了一种跟踪识别系统，包括:第一确定模块，用于当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，上述弟一图像十®疋田第一摄像装置对用户眼睛进行检测而确定的，上述第二图像平面是由第二摄像装置^上述用户眼睛进行检测而确定的，且上述第一图像平面与上述第二图像平面相交，上述第一摄像装置和上述第二摄像装置都设置在上述电子设备上，上述用户眼睛包括上述用户的右眼或左眼；以及第二确定模块，用于基于上述第一图像平面与上述第二图像平面的交线，确定上述用户眼睛在上述屏幕上的注视点。_、[0011]根据本公开的实施例，上述第一确定模块包括:第一确定单元，用于当上述用七注视上述电子设备的上述屏幕时，确定上述第一摄像装置对上述用户眼睛的普尔钦斑进行检测而得到的普尔钦斑成像点，以及对上述用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点；第二确定单元，用于确定上述第一摄像装置的镜头节点；以及第三确定单元，用于将上述普尔钦斑成像点、上述瞳孔中心成像点和上述镜头节点三点确定的平面作为上述第一图像平面。[0012]根据本公开的实施例，上述第一确定单元包括:第一确定子单元，用于确定上述用户眼睛的瞳孔中心映射在上述用户眼睛的角膜面上而得到的映射中心;第二确定子单元，用于确定上述第一摄像装置对上述映射中心进行检测而得到的映射中心成像点；以及第三确定子单元，用于将上述映射中心成像点作为上述瞳孔中心成像点。[0013]根据本公开的实施例，上述第二确定模块包括:第四确定单元，用于将上述第一图像平面与上述第二图像平面的交线作为上述用户眼睛的光轴;第五确定单元，用于确定上述光轴与上述屏幕的交点；以及第六确定单元，用于将上述交点作为上述用户眼睛在上述屏幕上的注视点。[0014]本公开的另一方面提供了一种非易失性存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现如上所述的跟踪识别方法。[0015]本公开的另一方面提供了一种计算机程序，上述计算机程序包括计算机可执行指令，上述指令在被执行时用于实现如上所述的跟踪识别方法。附图说明[0016]为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：[0017]图1示意性示出了根据本公开实施例的跟踪识别方法及系统的应用场景；[0018]图2A示意性示出了根据本公开实施例的跟踪识别方法的流程图；[0019]图2B示意性示出了根据本公开实施例的电子设备的示意图；[0020]图3A示意性示出了根据本公开实施例的当用户注视电子设备的屏幕时确定第一图像平面的流程图；[0021]图3B示意性示出了根据本公开实施例的用户眼睛的示意图；[0022]图3C示意性示出了根据本公开实施例的确定第一图像平面的示意图；[0023]图邪示意性示出了根据本公开实施例的确定第一摄像装置对用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点的流程图；[0024]图3E示意性示出了根据本公开实施例的基于第一图像平面与第二图像平面的交线确定用户眼睛在屏幕上的注视点的流程图；[0025]图4示意性示出了根据本公开实施例的跟踪识别系统的框图；[0026]图5A示意性示出了根据本公开实施例的第一确定模块的框图；[0027]图5B示意性示出了根据本公开实施例的第一确定单元的框图；[0028]图5C示意性示出了根据本公开实施例的第二确定模块的框图；以及[0029]图6示意性示出了根据本公开实施例的可实现跟踪识别方法的计算机系统的框图。具体实施方式[0030]以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。[0031]在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。[0032]在此使用的所有术语包括技术和科学术语具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。[0033]在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和或具有A、B、C的系统等）。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和或具有A、B、C的系统等）。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。[0034]附图中示出了一些方框图和或流程图。应理解，方框图和或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和或流程图中所说明的功能操作的装置。[0035]因此，本公开的技术可以硬件和或软件包括固件、微代码等）的形式来实现。另夕卜，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括:磁存储装置，如磁带或硬盘HDD;光存储装置，如光盘CD-ROM;存储器，如随机存取存储器RAM或闪存;和或有线无线通信链路。[0036]本公开的实施例提供了一种跟踪识别方法，包括：当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，第二图像平面是由第二摄像装置对用户眼睛进行检测而确定的，且第一图像平面与第二图像平面相交，第一摄像装置和第二摄像装置都设置在电子设备上，用户眼睛包括用户的右眼或左眼；以及基于第一图像平面与第二图像平面的交线，确定用户眼睛在屏幕上的注视点。[0037]图1示意性示出了根据本公开实施例的跟踪识别方法及系统的应用场景。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。[0038]随着科学技术的发展，用户通过电子设备浏览文件、页面等已十分普遍。如图1所示，在本公开的实施例中，用户正手持电子设备例如手机101浏览文件，但是，在文件过长时需要通过手指滑动文件页面，现有技术的解决方案一般是通过单个摄像头实现人眼跟踪，根据确定出人眼在手机上的注视点滑动手机的页面，但是，现有技术只通过单个摄像头进行人眼跟踪难以准确地识别出人眼在触摸屏上的注视点。此时，可以利用本公开提供的跟踪识别方案，即当用户注视电子设备例如手机101的屏幕时，分别通过安装在电子设备例如手机101上的第一摄像装置和第二摄像装置检测用户眼睛102,以确定第一图像平面和第二图像平面，并基于基于第一图像平面与第二图像平面的交线，确定用户眼睛102在屏幕上的注视点，进而可以提高识别用户眼睛102在电子设备例如手机101屏幕上的注视点的准确度。[0039]图2A示意性示出了根据本公开实施例的跟踪识别方法的流程图。[0040]如图2A所示，该跟踪识别方法可以包括操作S201〜S202,其中：[0041]在操作S201，当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，第二图像平面是由第二摄像装置对用户眼睛进行检测而确定的，且第一图像平面与第二图像平面相交，第一摄像装置和第二摄像装置都设置在电子设备上，用户眼睛包括用户的右眼或左眼。[0042]在本公开的实施例中，电子设备可以包括但不限于手机、平板电脑、笔记本等。电子设备的屏幕可以包括但不限于触摸屏、非触摸屏等。第一摄像装置和第二摄像装置例如可以是设置在电子设备上的第一摄像头和第二摄像头，其中，第一摄像装置和第二摄像装置可以是两个相同的装置，也可以是两个不同的装置。[0043]根据本公开的实施例，第一摄像装置和第二摄像装置均可以设置在电子设备上，在用户注视电子设备的屏幕时，该第一摄像装置可以检测用户眼睛例如检测用户眼睛的视线，以确定第一图像平面;相应的，该第二摄像装置也可以检测用户眼睛例如检测用户眼睛的视线，以确定第二图像平面，其中，该第一图像平面和第二图像平面为非平行的平面，二者可以相交于一条线，即交线。[0044]在操作S202,基于第一图像平面与第二图像平面的交线，确定用户眼睛在屏幕上的注视点。[0045]根据本公开的实施例，上述交线与电子设备的屏幕为非平行关系，即该交线可以与电子设备的屏幕相交于一交点，该交点例如可以是用户眼睛在屏幕上的注视点。[0046]在本公开实施例的一种应用场景中，用户在户外单手持电子设备浏览网页内容时，由于电子设备屏幕有限，有时并不能在一屏中完全显示网页内容。在用户想要浏览下一屏的内容时，用户可能并不希望通过手指滑动电子设备屏幕或者点击电子设备按键以浏览后续内容，此时，可以利用本公开提供的跟踪识别方案，在用户注视电子设备的屏幕时，如图2B所示，可以利用设置在电子设备101中第一摄像装置1〇11和第二摄像装置1〇12，确定出第一图像平面和第二图像平面，并基于第一图像平面和第二图像平面的交线确定用户眼睛在屏幕上的注视点，以便电子设备可以根据用户的注视点滚动页面内容。[0047]与公开的实施例不同，现有技术是通过单个摄像头来实现人眼跟踪的，具体地，现有技术的平板电脑自带的摄像头为红绿蓝RedGreenBlue，简称为RG©摄像头，该摄像头不并能实现人眼跟踪功能，需要重新设置红外线（InfraredRadiation，简称为IR摄像头或者高分辨率摄像头来检测及定位人眼，不仅会增加额外的成本，且利用单个摄像头实现人眼跟踪时难以准确地识别出人眼在触摸屏上的注视点。[0048]通过本公开的实施例，基于人眼视线，利用设置在电子设备中的两个摄像装置确定第一图像平面和第二图像平面，并基于第一图像平面和第二图像平面的交线确定出用户眼睛的在屏幕上的注视点，可以部分或全部解决现有技术利用单个摄像头难以准确识别出人眼在电子设备屏幕上的注视点的问题。[0049]下面参考图3A〜图3E，结合具体实施例对图2A〜2B所示的跟踪识别方法做进一步说明。[0050]图3A示意性示出了根据本公开实施例的当用户注视电子设备的屏幕时确定第一图像平面的流程图。[0051]如图3A所示，当用户注视电子设备的屏幕时确定第一图像平面可以包括操作S301〜S303,其中：[0052]在操作S301，当用户注视电子设备的屏幕时，确定第一摄像装置对用户眼睛的普尔钦斑进行检测而得到的普尔钦斑成像点，以及对用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点。[0053]在操作S302，确定第一摄像装置的镜头节点。[0054]在操作S303，将普尔钦斑成像点、瞳孔中心成像点和镜头节点三点确定的平面作为第一图像平面。[0055]在本公开的实施例中，如图3B所示，普尔钦斑是眼球角膜上的一个亮光点，是由进入瞳孔的光线在角膜外表面上反射而产生的。[0056]根据本公开的实施例，如图3C所不，第一摄像装置例如可以是图中的摄像头j，该摄像头j的镜头位置例如可以表示为镜头节点^可以是图中的摄像头节点）；摄像头j检测用户眼睛的普尔钦斑Pj可以得到普尔钦斑成像点P'j可以是图中的图像平面上的普尔钦斑）；摄像头j检测用户眼睛的瞳孔中心B可以得到瞳孔中心成像点（可以是图中图像平面上的瞳孔中心）。[0057]根据本公开的实施例，可以基于上述普尔钦斑成像点P、、瞳孔中心成像点B、以及镜头节点Cj三点确定平面，并将该平面作为第一图像平面，具体地，第一图像平面可以通过以下公式计算得出[0058]{[Cj-B’j]X[P’j-Cj]}•[X-Cj]=0[0059]其中，X=，737，乂为所求的第一图像平面。[0060]应该理解，第二图像平面的具体确定方法可以参照第一图像平面的确定方法，在此不再赘述。[0061]通过本公开的实施例，基于普尔钦斑成像点、瞳孔中心成像点和镜头节点三点确定第一图像平面和第二图像平面，可以提高识别人眼在电子设备屏幕上的注视点的准确度。[0062]图3D示意性示出了根据本公开实施例的确定第一摄像装置对用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点的流程图。[0063]如图3D所示，确定第一摄像装置对用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点可以包括操作S401〜S403，其中：[0064]在操作S401，确定用户眼睛的瞳孔中心映射在用户眼睛的角膜面上而得到的映射中心。[0065]在操作S402,确定第一摄像装置对映射中心进行检测而得到的映射中心成像点。[0066]在操作S403，将映射中心成像点作为瞳孔中心成像点。[0067]在本公开的实施例中，由于用户眼睛的瞳孔中心在眼睛内部，无法真实检测到该瞳孔中心，因此可以利用物理原理，确定出用户眼睛的瞳孔中心映射在角膜上的映射中心。根据本公开的实施例，第一摄像装置检测用户眼睛的瞳孔中心时可以检测该映射中心，进而可以得到映射中心成像点，即瞳孔中心成像点。[0068]根据本公开的实施例，如图3C所示，用户眼睛的瞳孔中心B在用户眼睛的角膜面上的映射中心为图中的B〃j，在第一摄像装置例如摄像头j对瞳孔中心B检测时，可以检测该映射中心B〃j，并基于该映射中心B〃j以及镜头节点例如摄像头节点Cj确定出瞳孔中心成像点B。。[0069]通过本公开的实施例，利用物理原理确定出瞳孔中心成像点，并基于普尔钦斑成像点、瞳孔中心成像点和镜头节点三点确定第一图像平面和第二图像平面，进而可以提高识别人眼在电子设备屏幕上的注视点的准确度。[0070]图3E示意性示出了根据本公开实施例的基于第一图像平面与第二图像平面的交线确定用户眼睛在屏幕上的注视点的流程图。[0071]如图3E所示，基于第一图像平面与第二图像平面的交线确定用户眼睛在屏幕上的注视点可以包括操作S501〜S503，其中：[0072]在操作S501，将第一图像平面与第二图像平面的交线作为用户眼睛的光轴。[0073]在操作S502,确定光轴与屏幕的交点。[0074]在操作S503,将交点作为用户眼睛在屏幕上的注视点。[0075]在本公开的实施例中，第一图像平面与第二图像平面可以交于一交线，该交线可以作为用户眼睛的光轴。由于用户眼睛正注视着电子设备屏幕，即上述光轴与屏幕之间必有一交点，则可以将该交点作为注视点。[0076]根据本公开的实施例，通过使用立体视线跟踪得到用户的注视点，并通过该注视点数据凝视参数可以对应实际电子设备屏幕上的某一位置可以是注视点），进而根据该位置和电子设备的屏幕例如触控屏结合可以实现用户交互。[0077]通过本公开的实施例，通过立体视线跟踪得到用户的注视点，可以提供移动设备轻松的单手交互，还可以提供比现有技术更方便的交互模式。[0078]作为一种可选的实施例，第一摄像装置与第二摄像装置之间间隔预设距离。[0079]根据本公开的实施例，为了避免第一摄像装置与第二摄像装置重叠或者相互影响，可以在第一摄像装置与第一摄像装置之间设置一•定间距。[0080]作为一种可选的实施例，第一摄像装置的镜头节点上设置有第一光源.和或第二摄像装置的镜头节点上设置第二光源。’[0081]根据本公开的实施例，为了可以清楚的识别用户的视线，可以在第一摄像装置的镜头节点上设置有第一光源;和或在第二摄像装置的镜头节点上设置第二光源。具体地，该第一光源和第二光源例如可以是红外灯，也可以是与红外灯有相似作用的光源。[0082]图4示意性示出了根据本公开实施例的跟踪识别系统的框图。[0083]如图4所示，该跟踪识别系统400可以包括第一确定模块410和第二确定模块420，其中：[0084]第一确定模块410用于当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，第二图像平面是由第二摄像装置对用户眼睛进行检测而确定的，且第一图像平面与第二图像平面相交，第一摄像装置和第二摄像装置都设置在电子设备上，用户眼睛包括用户的右眼或左眼。[0085]第二确定模块420用于基于第一图像平面与第二图像平面的交线，确定用户眼睛在屏幕上的注视点。[0086]通过本公开的实施例，基于人眼视线，利用设置在电子设备中的两个摄像装置确定第一图像平面和第二图像平面，并基于第一图像平面和第二图像平面的交线确定出用户眼睛的在屏幕上的注视点，可以部分或全部解决现有技术利用单个摄像头难以准确识别出人眼在电子设备屏幕上的注视点的问题。[0087]图5A示意性示出了根据本公开实施例的第一确定模块的框图。[0088]如图5A所示，第一确定模块410可以包括第一确定单元411、第二确定单元412和第三确定单元413,其中：[0089]第一确定单元411用于当用户注视电子设备的屏幕时，确定第一摄像装置对用户眼睛的普尔钦斑进行检测而得到的普尔钦斑成像点，以及对用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点。[0090]第二确定单元412用于确定第一摄像装置的镜头节点。[0091]第三确定单元413用于将普尔钦斑成像点、瞳孔中心成像点和镜头节点三点确定的平面作为第一图像平面。_[0092]通过本公开的实施例，基于普尔钦斑成像点、瞳孔中心成像点和镜头节点三点确定第一图像平面和第二图像平面，可以提高识别人眼在电子设备屏幕上的注视点的准确度。[0093]图5B示意性示出了根据本公开实施例的第一确定单元的框图。一[0094]如图5B所示，第一确定单元411可以包括第一确定子单元4111、第二确定子单元4112和第三确定子单元4113,其中：~[0095]第一确定子单元4111用于确定用户眼睛的瞳孔中心映射在用户眼睛的角膜面上而得到的映射中心。__[0096]第二确定子单元4112用于确定第一摄像装置对映射中心进行检测而得到的映射中心成像点。[0097]第三确定子单元4113用于将映射中心成像点作为瞳孔中心成像点。[0098]通过本公开的实施例，利用物理原理确定出瞳孔中心成像点，并基于普尔钦斑成像点、瞳孔中心成像点和镜头节点三点确定第一图像平面和第二图像平面，进而可以提高识别人眼在电子设备屏幕上的注视点的准确度。[0099]图5C示意性示出了根据本公开实施例的第二确定模块的框图。[0100]如图5C所示，第二确定模块42〇可以包括第四确定单元似1、第五确定单元422和第六确定单元423,其中：[0101]第四确定单元421用于将第一图像平面与第二图像平面的交线作为用户眼睛的光轴。[0102]第五确定单元422用于确定光轴与屏幕的交点。[0103]第六确定单元423用于将交点作为用户眼睛在屏幕上的注视点。[0104]通过本公开的实施例，通过立体视线跟踪得到用户的注视点，可以提供移动设备轻松的单手交互，还可以提供比现有技术更方便的交互模式。[0105]图6示意性示出了根据本公开实施例的可实现跟踪识别方法的计算机系统的框图。[0106]如图6所示，如图6所示，计算机系统600包括处理器610以及计算机可读存储介质620。该计算机系统600可以执行上面参考图2A〜2B、图3A〜图3E描述的方法。[0107]具体地，处理器610例如可以包括通用微处理器、指令集处理器和或相关芯片组和或专用微处理器例如，专用集成电路ASIC，等等。处理器610还可以包括用于缓存用途的板载存储器。处理器610可以是用于执行参考图2A〜2B、图3A〜图3E描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。[0108]计算机可读存储介质620,例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括:磁存储装置，如磁带或硬盘HDD;光存储装置，如光盘CD-ROM;存储器，如随机存取存储器RAM或闪存;和或有线无线通信链路。[0109]计算机可读存储介质620可以包括计算机程序621，该计算机程序621可以包括代码计算机可执行指令，其在由处理器610执行时使得处理器610执行例如上面结合图2A〜2B、图3A〜图3E所描述的方法流程及其任何变形。[0110]计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序621中的代码可以包括一个或多个程序模块，例如包括模块621A、模块621B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器610执行时，使得处理器610可以执行例如上面结合图2A〜2B、图3A〜图3E所描述的方法流程及其任何变形。根据本发明的实施例，第一确定模块410以及第二确定模块420中的至少一个可以实现为参考图6描述的计算机程序模块，其在被处理器610执行时，可以实现上面描述的相应操作。[0112]本领域技术人员可以理解，本公开的各个实施例和或权利要求中记载的特征可以进行多种组合或或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和或权利要求中记载的特征可以进行多种组合和或结合。所有这些组合和或结合均落入本公开的范围。[0113]尽管己经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

权利要求：1.一种跟踪识别方法，包括：当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，所述第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，所述第二图像平面是由第二摄像装置对所述用户眼睛进行检测而确定的，且所述第一图像平面与所述第二图像平面相交，所述第一摄像装置和所述第二摄像装置都设置在所述电子设备上，所述用户眼睛包括所述用户的右眼或左眼；以及基于所述第一图像平面与所述第二图像平面的交线，确定所述用户眼睛在所述屏幕上的注视点。2.根据权利要求1所述的方法，其中，当用户注视电子设备的屏幕时，确定第一图像平面包括：当所述用户注视所述电子设备的所述屏幕时，确定所述第一摄像装置对所述用户眼睛的普尔钦斑进行检测而得到的普尔钦斑成像点，以及对所述用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点；确定所述第一摄像装置的镜头节点；以及将所述普尔钦斑成像点、所述瞳孔中心成像点和所述镜头节点三点确定的平面作为所述第一图像平面。3.根据权利要求2所述的方法，其中，确定所述第一摄像装置对所述用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点包括：确定所述用户眼睛的瞳孔中心映射在所述用户眼睛的角膜面上而得到的映射中心；确定所述第一摄像装置对所述映射中心进行检测而得到的映射中心成像点；以及将所述映射中心成像点作为所述瞳孔中心成像点。4.根据权利要求1所述的方法，其中，基于所述第一图像平面与所述第二图像平面的交线，确定所述用户眼睛在所述屏幕上的注视点包括：将所述第一图像平面与所述第二图像平面的交线作为所述用户眼睛的光轴；确定所述光轴与所述屏幕的交点；以及将所述交点作为所述用户眼睛在所述屏幕上的注视点。5.根据权利要求1至4中任一项所述的方法，其中，所述第一摄像装置与所述第二摄像装置之间间隔预设距离。6.根据权利要求5所述的方法，其中：所述第一摄像装置的镜头节点上设置有第一光源;和或所述第二摄像装置的镜头节点上设置第二光源。7.—种跟踪识别系统，包括：第一确定模块，用于当用户注视电子设备的屏幕时，确定第一图像平面和第二图像平面，其中，所述第一图像平面是由第一摄像装置对用户眼睛进行检测而确定的，所述第二图像平面是由第二摄像装置对所述用户眼睛进行检测而确定的，且所述第一图像平面与所述第二图像平面相交，所述第一摄像装置和所述第二摄像装置都设置在所述电子设备上，所述用户眼睛包括所述用户的右眼或左眼；以及第二确定模块，用于基于所述第一图像平面与所述第二图像平面的交线，确定所述用户眼睛在所述屏幕上的注视点。8.根据权利要求7所述的系统，其中，所述第一确定模块包括：第一确定单元，用于当所述用户注视所述电子设备的所述屏幕时，确定所述第一摄像装置对所述用户眼睛的普尔钦斑进行检测而得到的普尔钦斑成像点，以及对所述用户眼睛的瞳孔中心进行检测而得到的瞳孔中心成像点；第二确定单元，用于确定所述第一摄像装置的镜头节点；以及第三确定单元，用于将所述普尔钦斑成像点、所述瞳孔中心成像点和所述镜头节点三点确定的平面作为所述第一图像平面。9.根据权利要求8所述的系统，其中，所述第一确定单元包括：第一确定子单元，用于确定所述用户眼睛的瞳孔中心映射在所述用户眼睛的角膜面上而得到的映射中心；第二确定子单元，用于确定所述第一摄像装置对所述映射中心进行检测而得到的映射中心成像点；以及第三确定子单元，用于将所述映射中心成像点作为所述瞳孔中心成像点。10.根据权利要求7所述的系统，其中，所述第二确定模块包括：第四确定单元，用于将所述第一图像平面与所述第二图像平面的交线作为所述用户眼睛的光轴；第五确定单元，用于确定所述光轴与所述屏幕的交点；以及第六确定单元，用于将所述交点作为所述用户眼睛在所述屏幕上的注视点。

百度查询： 联想(北京)有限公司 跟踪识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD