申请/专利权人：像航(上海)科技有限公司

申请日：2019-01-22

公开（公告）日：2024-04-26

公开（公告）号：CN109634431B

主分类号：G06F3/01

分类号：G06F3/01;G06V40/18;G09F19/18

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2019.05.10#实质审查的生效;2019.04.16#公开

摘要：本发明公开了一种无介质浮空投影视觉追踪互动系统，包含：显示模块，所述显示模块用于产生影像内容；投影模块，所述投影模块用于将所述影像内容转化成浮空的空中实像；视觉交互模块，所述视觉交互模块用于对用户视觉进行定位；控制模块，所述控制模块用于根据用户视觉数据，控制所述显示模块的显示内容与用户进行交互。本发明能够让用户根据视线来控制程序，富有科技感，给用户一种用眼睛控制电脑的打破次元壁的超能力体验，大大提高了客户体验。

主权项：1.一种无介质浮空投影视觉追踪互动系统，其特征在于，包含：显示模块，所述显示模块用于产生影像内容；投影模块，所述投影模块用于将所述影像内容转化成浮空的空中实像；视觉交互模块，所述视觉交互模块用于对用户视觉进行定位；所述视觉交互模块包含，光源，所述光源用于使用户眼睛的角膜和瞳孔上产成反射图像；图像传感器，所述图像传感器用于采集所述角膜和瞳孔上产成的反射图像；视觉处理器，所述视觉处理器用于根据所述图像传感器采集的反射图像确定眼睛在空间中的位置和视线位置，用户眼睛静止注视目标时间不少于800毫秒；所述视觉处理器采用瞳孔角膜向量反射法确定眼睛在空间中的位置和视线位置，眼球中心和虹膜中心的连线与注视平面之间的交点视为人的注视点，虹膜中心坐标和注视点坐标之间的映射关系的二阶多项式关系为，x0=fxe,ye=a0+a1xe+a2ye+a3xeye+a4xe2+a5ye2y0=fxe,ye=b0+b1xe+b2ye+b3xeye+b4xe2+b5ye2其中，x0,y0表示注视点坐标，xe,ye表示相应时刻虹膜中心在眼图中的坐标；在确定所述注视点之前，先让用户注视多个校准点，获取对应时刻眼图中的虹膜中心坐标，获取注视点和所述虹膜中心的坐标之间的对应的映射关系，再利用所述映射关系，实现注视点的标定；所述映射关系的获取方法为，令A=[a0,a1,a2,a3,a4,a5]T,B=[b0,b1,b2,b3,b4,b5]T，给定n个样本对，用x0,y0，xe,ye分别表示i个样本点对的虹膜中心坐标和注视点坐标，取最小值的A，B就是所述映射关系的函数参数；在校准标定时，所述视觉处理器分别使用明瞳和暗瞳的方式进行测试以识别最适合当前光线条件和用户眼睛特征的追踪方式；控制模块，所述控制模块用于根据用户视觉数据，控制所述显示模块的显示内容与用户进行交互。

全文数据：无介质浮空投影视觉追踪互动系统技术领域本发明涉及一种无介质投影技术，特别涉及一种无介质浮空投影视觉追踪互动系统。背景技术现有技术中，无介质浮空投影技术，利用一种使入射图像的光线产生弯曲的微通道矩阵光波导平板，所述光线在光学元件中经过至少2次反射后，形成与入射图像对应的空中实像。应用无介质浮空投影技术，不需要任何介质，可在不存在任何事物的空中，出现正视的映像，便于实现崭新的空中成像人机交互系统。而现有技术中无介质浮空投影系统的交互是利用手势、语音或者红外触控等技术来实现交互，目前还不能通过视线接触进行信息交互，只能凭直觉操控电子设备，用户体验并不高，不能实现大规模商业化。发明内容根据本发明实施例，提供了一种无介质浮空投影视觉追踪互动系统，包含：显示模块，所述显示模块用于产生影像内容；投影模块，所述投影模块用于将所述影像内容转化成浮空的空中实像；视觉交互模块，所述视觉交互模块用于对用户视觉进行定位；控制模块，所述控制模块用于根据用户视觉数据，控制所述显示模块的显示内容与用户进行交互。进一步，所述投影模块包含光学成像元件，所述光学成像元件将显示模块所显示的影像内容，进行不少于2次反射，在浮空中形成与入射影像内容对应的空中实像。进一步，所述光学成像元件为微通道矩阵光波导平板。进一步，所述视觉交互模块包含：光源，所述光源用于使用户眼睛的角膜和瞳孔上产成反射图像；图像传感器，所述图像传感器用于采集所述角膜和瞳孔上产成的反射图像；视觉处理器，所述视觉处理器用于根据所述图像传感器采集的反射图像确定眼睛在空间中的位置和视线位置。进一步，所述控制模块用户眼睛静止注视目标时间不少于800毫秒。进一步，所述光源为近红外光源。进一步，所述近红外光源为近红外LED。进一步，所述近红外光源与用户的眼睛距离不小于60cm。进一步，所述图像传感器为高分辨率摄像传感器。进一步，所述视觉处理器采用瞳孔角膜向量反射法确定眼睛在空间中的位置和视线位置。根据本发明实施例的无介质浮空投影视觉追踪互动系统，能够让用户根据视线来控制程序，富有科技感，给用户一种用眼睛控制电脑的打破次元壁的超能力体验，大大提高了客户体验。要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。附图说明图1为根据本发明实施例无介质浮空投影视觉追踪互动系统的逻辑框图。具体实施方式以下将结合附图，详细描述本发明的优选实施例，对本发明做进一步阐述。首先，将结合图1描述根据本发明实施例的无介质浮空投影视觉追踪互动系统，可广泛应用于人机交互、智能家居控制系统、辅助驾驶、心理研究、虚拟现实和军事等多个领域，应用场景很广。如图1所示，本发明实施例的无介质浮空投影视觉追踪互动系统，具有：显示模块1、投影模块2、视觉交互模块3和控制模块4。其中，显示模块1用于产生影像内容；投影模块2用于将影像内容转化成浮空的空中实像；视觉交互模块3用于对用户视觉进行定位；控制模块4用于根据用户视觉数据，控制显示模块1的显示内容与用户进行交互。在本实施例中，为了取得最佳的控制效果，用户眼睛静止注视目标时间不少于800毫秒，既不会增加用户的注视时间影响用户体验，也能够保证系统响应的速度。具体地，如图1所示，显示模块1除了显示器11的必配备外，在本实施例中，为了增加用户体验，还增加了与显示器连接的转向机构12，其中，显示器11用于显示外部设备的影像内容，转向机构12和控制模块5通过电路连接，控制模块5与视觉交互模块3相连，根据视觉交互的内容控制转向机构带动显示器11转向，以实现与系统进行视觉交互的用户能够正视空中实像。在本实施例中，转向机构12为转盘。具体地，如图1所示，投影模块2包含光学成像元件，光学成像元件将显示模块所显示的影像内容，进行不少于2次反射，在浮空中形成与入射影像内容对应的空中实像。在本实施例中，光学成像元件选用微通道矩阵光波导平板（Microchannelmatrixopticalwaveguideplate，简称MOW）。具体地，如图1所示，视觉交互模块3包含：光源31、图像传感器32、视觉处理器33。其中，光源31用于使用户眼睛的角膜和瞳孔上产成反射图像，采用近红外光源，由于用户瞳孔和虹膜之间的分界线并没那么清晰，为了提高这一步的精准度，交替用不同方位的光源向人眼发出近红外线，然后在每两帧相邻的图像中，获取用户暗淡的瞳孔，从而更清晰地“抠”出瞳孔，再计算瞳孔的质心和形状等参数。采用近红外光源，由于光束很弱，并且近红外光源与用户的眼睛距离不小于60cm，用户即使在工作的视觉交互模块3前待8个小时也不会有放射性危险，保证用户的使用安全。在本实施例中，近红外光源采用近红外LED。图像传感器32用于采集经光源31照射后用户角膜和瞳孔上产成的反射图像，在本实施例中，图像传感器32为高分辨率摄像传感器。图像传感器32将来自一个或者多个传感器的输入信号转换成某种适合的信号模式。通常,使用红外照相机拍摄一副眼睛的图像,并抓取适当解析度,比如640×480的图像。为了减少噪声和处理代价,也可以选择生成更小的图像。另外,对于特殊硬件的系统,图像传感器32负责将视频信号拆解开,分别生成亮瞳孔和暗瞳孔图像。明瞳追踪，即光源31与成像设备在同一条光学路径上，使瞳孔出现发亮的效果这与相片中出现的红眼现象相同；暗瞳追踪，即光源31放置在成像设备较远的位置不在同一条光学路径上，产生瞳孔比虹膜暗的效果（明显的对比）。通常，近红外光源31的轴线和高分辨率摄像传感器镜头同轴时会产生亮瞳孔效应；反之，在两者不同轴时,瞳孔比眼睛的其他部分更暗一些。在使用这两种追踪技术时，瞳孔的检测都会受到不同的因素影响。例如，当使用明瞳追踪时，诸如被试者的年龄和光线环境等因素可能会对眼睛的追踪能力产生影响。被试者的人种也是能够影响明瞳暗瞳追踪的其他因素之一：对于拉美和高加索人种来说，明瞳追踪的效果较好，但是这种方法经证实不太适合亚洲人种；而对于亚洲人种，暗瞳追踪可提供更好的追踪能力。在使用这两种追踪技术时，瞳孔的检测都会受到不同的因素影响。例如，当使用明瞳追踪时，诸如被试者的年龄和光线环境等因素可能会对眼睛的追踪能力产生影响。被试者的人种也是能够影响明瞳暗瞳追踪的其他因素之一：对于拉美和高加索人种来说，明瞳追踪的效果较好，但是这种方法经证实不太适合亚洲人种；而对于亚洲人种，暗瞳追踪可提供更好的追踪能力。视觉处理器33用于根据图像传感器32采集的反射图像确定眼睛在空间中的位置和视线位置。视觉处理器33从采集到的反射图像中提取瞳孔中心坐标和角膜反射光斑中心坐标。首先，探测瞳孔轮廓以及获得特征点，然后验证拟合瞳孔轮廓，确定瞳孔中心坐标。由于瞳孔中心坐标是后续工作的基础，因此瞳孔中心坐标的提取环节，定位算法的优劣将直接并严重影响整个视觉交互模块3的精确度。同时还要对眨眼或眼睑遮蔽瞳孔的情况作处理。瞳孔定位，为了确定瞳孔和角膜高光的位置，首先使用高分辨率摄像传感器拍摄眼睛的图像，然后对图像进行分割，并对得到的眼睛各部分进行分析参数化。通常，先对眼睛图像进行灰度化处理，然后使用阈值的方法或者搜索眼睛图像中的连通区域的方法实现对瞳孔的检测。在检测到候选瞳孔后，使用人体测量学的方法对瞳孔进行确认。然后对瞳孔进行参数化处理,以消除睫毛、下眼皮和普金野图像等对瞳孔区域的覆盖而产生的影响。双椭圆拟和方法可以很好地消除这些噪声。首先要大致确定出瞳孔中心点的位置和瞳孔半径，进行瞳孔粗定位，为下一步精确计算瞳孔中心坐标提供基础。在粗定位瞳孔的基础上，检测瞳孔边缘，然后拟合瞳孔轮廓，最终确定瞳孔中心的精确位置。在本实施例中，视觉处理器33采用瞳孔角膜向量反射法确定眼睛在空间中的位置和视线位置。具体地，人的注视点可以看作是人眼球中心和虹膜中心的连线与注视平面之间的交点。可以认为虹膜中心坐标和注视点坐标之间满足二阶多项式关系：X0=fxe,ye=a0+a1xe+a2ye+a3xeye+a4xe2+a5ye2y0=fxe,ye=b0+b1xe+b2ye+b3xeye+b4xe2+b5ye2其中x0,y0表示注视点坐标，xe,ye表示相应时刻虹膜中心在眼图中的坐标。注视点标定使用了基于映射的方法，认为虹膜中心和注视点坐标之间存在某种映射关系，通过校准过程获取映射函数，之后，利用这个映射关系计算用户的注视点。人的注视点可以看作是人眼球中心和虹膜中心的连线与注视平面之间的交点，当人的头部静止不动时，眼球中心的位置是不变的，这时唯一在动的就是虹膜中心，映射到眼图中，可以认为虹膜中心在眼图中的位置和注视点在注视平面上的位置是一一对应的。人眼注视点估计方法就是基于这一点，在真正开始计算人的注视点之前，先让用户注视几个校准点，获取对应时刻眼图中的虹膜中心坐标，计算得到注视点和虹膜中心坐标之间的对应关系，之后，可以利用这个映射关系，实现注视点的标定。校准开始后，用户需要保持头部静止，然后按照提示依次观看这九个点的坐标，计算机会实时记录记录人眼注视点坐标和相应时刻图片中的虹膜中心坐标，用于映射函数的计算。令A=[a0,a1,a2,a3,a4,a5]T,B=[b0,b1,b2,b3,b4,b5]T，给定n个样本对，用x0,y0，xe,ye分别表示i个样本点对的虹膜中心坐标和注视点坐标，那么使得公式中取最小值的参数A，B就是本发明要求得的映射函数的参数。每一个校准点给出两个方程，4个校准点给出8个方程。被测水平移动，得到不同位置变换参数，经插值运算后可用于实测。标定后，由于人眼形状，大小，结构，存在个体差异，眼睛球面上的点在图像传感器32参照系中的投影点位置和眼睛转动角度之间存在非线性关系，并且视线估计方向与真实视线方向有模型误差，所以视觉交互模块3需要校准环节。由于视网膜中心不完全在眼球几何轴线上，所以视线方向与眼球光轴存在一定的夹角。视线方向与眼球光轴在水平方向夹角大约为5度，左眼为5度，右眼为-5度，竖直方向夹角大约为1.5度，不同的使用者之间最大存在3度的差异，所以使用时需要标定其kappa角：具体步骤如下：1）使用者注视屏幕上固定点Pe，同时根据上一过程计算出光轴方向OP0。2）连接眼球中心O和固定点Pe，得出视线方向OPe。3）分别求出视线和光轴两直线的方位角。当眼睛注视各点时，测量相应的瞳孔与光斑间位置相对偏移量，然后确定眼睛转动引起的注视点变化与偏移量间存在的映射关系。在此过程中，视觉处理器33会测量用户眼睛的特征并利用这些与内部的眼球模型结合计算凝视数据。此模型包含了眼睛不同部分（如角膜，中央窝位置等）的形状，光线折射与反射信息。在校准过程中，用户需要观察屏幕上特定位置出现的点，此点被称为校准点，建立用户眼睛特征与屏幕呈现内容之间的关系,从而获得一个对应点的集合。在此期间，视觉处理器33会对采集到的几幅眼睛的图像进行分析。然后分析的结果信息会与眼球模型结合并计算出每幅图像的凝视点。在校准过程中用户不需要将头部完全保持静止，只要令视线的焦点跟随移动的校准点移动即可。在校准时视觉处理器33会使用明瞳和暗瞳两种方式进行测试以识别最适合当前光线条件和用户眼睛特征的追踪方式。当本发明的无介质浮空投影视觉追踪互动系统工作时，用户只需要通过视觉控制虚拟图像，即可通过视觉交互模块3确定用户的注视方向和目标，有控制模块4控制显示模块1呈现响应的操作。以上，参照图1描述了根据本发明实施例的无介质浮空投影视觉追踪互动系统，能够让用户根据视线来控制程序，富有科技感，给用户一种用眼睛控制电脑的打破次元壁的超能力体验，大大提高了客户体验。需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个无介质浮空投影视觉追踪互动系统”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

权利要求：1.一种无介质浮空投影视觉追踪互动系统，其特征在于，包含：显示模块，所述显示模块用于产生影像内容；投影模块，所述投影模块用于将所述影像内容转化成浮空的空中实像；视觉交互模块，所述视觉交互模块用于对用户视觉进行定位；控制模块，所述控制模块用于根据用户视觉数据，控制所述显示模块的显示内容与用户进行交互。2.如权利要求1所述的无介质浮空投影视觉追踪互动系统，其特征在于，所述投影模块包含光学成像元件，所述光学成像元件将显示模块所显示的影像内容，进行不少于2次反射，在浮空中形成与入射影像内容对应的空中实像。3.如权利要求2所述的无介质浮空投影视觉追踪互动系统，其特征在于，所述光学成像元件为微通道矩阵光波导平板。4.如权利要求1所述的无介质浮空投影视觉追踪互动系统，其特征在于，所述视觉交互模块包含：光源，所述光源用于使用户眼睛的角膜和瞳孔上产成反射图像；图像传感器，所述图像传感器用于采集所述角膜和瞳孔上产成的反射图像；视觉处理器，所述视觉处理器用于根据所述图像传感器采集的反射图像确定眼睛在空间中的位置和视线位置。5.如权利要求4所述的无介质浮空投影视觉追踪互动系统，其特征在于，所述控制模块用户眼睛静止注视目标时间不少于800毫秒。6.如权利要求4所述的无介质浮空投影视觉追踪互动系统，其特征在于，所述光源为近红外光源。7.如权利要求6所述的无介质浮空投影视觉追踪互动系统，其特征在于，所述近红外光源为近红外LED。8.如权利要求6所述的无介质浮空投影视觉追踪互动系统，其特征在于，所述近红外光源与用户的眼睛距离不小于60cm。9.如权利要求4所述的无介质浮空投影视觉追踪互动系统，其特征在于，所述图像传感器为高分辨率摄像传感器。10.如权利要求4所述的无介质浮空投影视觉追踪互动系统，其特征在于，所述视觉处理器采用瞳孔角膜向量反射法确定眼睛在空间中的位置和视线位置。

百度查询： 像航(上海)科技有限公司 无介质浮空投影视觉追踪互动系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD