申请/专利权人：沈阳工业大学

申请日：2023-09-26

公开（公告）日：2024-04-05

公开（公告）号：CN117333506B

主分类号：G06T7/20

分类号：G06T7/20;G06T7/70;G06T7/66;G06T7/62

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2024.01.19#实质审查的生效;2024.01.02#公开

摘要：本发明涉及一种基于TOF相机的三维眼动追踪方法，步骤为：使用标定平面标定；采集受试者凝视图像；得到受试者单只眼睛图像上7个关键点；得到单只眼睛图像上7个畸变校正后的眼部landmarks点的2D坐标；将7个关键点的2D坐标转化为相机坐标系中的3D坐标；得到受试者水平方向凝视时的眼球中心在相机坐标系中的3D坐标值，以及受试者垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值；得到受试者在水平和垂直方向凝视时的瞳孔点的3D坐标；计算出受试者在水平和垂直方向的凝视角度yaw和pitch，从而实现三维眼动追踪。解决了现有的基于模型的眼动追踪技术中存在的眼球结构建模复杂、求解凝视角度困难的问题。

主权项：1.一种基于TOF相机的三维眼动追踪方法，其特征在于，步骤为：S201：受视者结合自身应用场景任意选取一个平面为标定平面，使用标定平面通过标定环节输出TOF相机畸变系数、TOF相机内参矩阵；S202：TOF相机采集受试者凝视图像；S203：将凝视图像输入到眼部landmarks点检测模型，得到受试者单只眼睛图像上7个关键点；S204：结合标定环节得到的TOF相机畸变系数，对受试者凝视图像进行切向和径向的畸变校正，得到单只眼睛图像上7个校正后的眼部landmarks点的2D坐标；S205：结合标定环节得到的TOF相机内参，将7个关键点的2D坐标转化为相机坐标系中的3D坐标；S206：根据7个关键点的3D坐标建立凝视角度水平方向受试者眼球中心点与左、右眼角点的数学模型，得到受试者水平方向凝视时的眼球中心在相机坐标系中的3D坐标值；同时，建立凝视角度垂直方向眼球中心与左、右眼角点的数学模型，得到受试者垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值；S207：根据步骤S206得到的水平方向和垂直方向眼球中心在相机坐标系中的3D坐标值，分别建立水平方向、垂直方向受试者眼球中心点与瞳孔点的数学关系式，得到受试者在水平和垂直方向凝视时的瞳孔点的3D坐标；S208：根据步骤S206得到的受试者水平方向凝视时的眼球中心在相机坐标系中的3D坐标值和受试者垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值，步骤S207得到的受试者在水平和垂直方向凝视时的瞳孔点的3D坐标，分别计算出受试者在水平和垂直方向的凝视角度yaw和pitch，从而实现三维眼动追踪；步骤1中所述标定环节的步骤为：S301：使用开源计算机视觉库opencv标定TOF相机内参矩阵和畸变系数；S302：受视者结合自身应用场景任意选取一个平面为标定平面，设定标定次数N和标定平面上分布的凝视点个数M；S303：获取TOF相机在标定平面的位置坐标以及其位置坐标与标定平面上各个凝视点的位置关系，得到凝视点在相机坐标系中的坐标值；S304：受试者依次凝视标定平面上的凝视点，TOF相机采集受试者凝视标定平面上凝视点的凝视图像；S305：将受试者的凝视图像输入眼部landmarks点检测模型，得到单个眼睛图像上的7个关键点；S306：结合TOF相机畸变系数，对受试者凝视图像进行畸变校正；S307：结合TOF相机内参，将7个关键点的2D坐标转化为3D坐标；S308：计算相机坐标系中瞳孔点的坐标值，结合相机坐标系中标定平面上的凝视点位置坐标计算出受试者注视当前凝视点时的水平和垂直方向的真值凝视角度αrc、βrc；S309：根据7个关键点的3D坐标建立凝视角度水平方向眼球中心与左、右眼角点的数学模型，将受试者在水平方向凝视时的眼球半径值R1的取值设定在[5,40]，求解得到受试者水平方向凝视时的眼球中心在相机坐标系中的3D坐标值；S310：统计受试者在标定过程中，其眼球在垂直方向凝视时的眼睛高宽比p；S311：将受试者在垂直方向凝视时的眼球半径值R2的取值设定在[5,40]，建立凝视角度垂直方向眼球中心与左、右眼角点的数学模型，得到受试者垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值；S312：将受试者在水平、垂直方向凝视时其眼球中心到瞳孔的距离值d1和d2的取值设定为[5,40]，根据受试者在水平、垂直凝视方向的眼球中心的3D坐标值，分别建立水平和垂直方向眼球中心与瞳孔点的数学关系式，分别求解得到受试者在水平和垂直方向凝视时的瞳孔点的3D坐标；S313：根据求解得到的受试者在水平和垂直方向凝视时的眼球中心在相机坐标系中的3D坐标值、受试者在水平和垂直方向凝视时的瞳孔点的3D坐标，分别计算出R1、R2、d1、d2在[5,40]范围内遍历时、每一组参数求解得到的受试者凝视当前凝视点的水平和垂直方向的凝视角度yaw′和pitch′；S314：将每组参数计算得到的水平方向和垂直方向凝视角度值yaw′和pitch′与步骤S308得到的该凝视点对应的真值凝视角度αrc和βrc相减，取其角度偏差的绝对值，记为标定平面上当前凝视点的凝视角度偏差；S315：判断标定次数是否达到预定的N次且每次标定时是否获得标定平面上M个凝视点的受试者凝视图像，若是，进行S316；若否，返回S304；S316：计算N次标定中标定平面上M个凝视点的平均角度偏差，输出平均偏差最小的一组参数R1、R2、d1、d2；步骤306中所述的7个关键点包括左眼角点401、第一上眼睑点402、第二上眼睑点403、右眼角点404、第一下眼睑点405、第二下眼睑点406和瞳孔点407。

全文数据：

权利要求：

百度查询： 沈阳工业大学 一种基于TOF相机的三维眼动追踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD