申请/专利权人：东南大学

申请日：2021-03-22

公开（公告）日：2024-04-09

公开（公告）号：CN112907635B

主分类号：G06T7/246

分类号：G06T7/246;G06T7/00;G06T5/70;G06N3/0464;G06N3/042;G06N3/045;G06N3/08;G06N20/10;G16H30/20

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2021.06.22#实质审查的生效;2021.06.04#公开

摘要：本发明公开了基于几何分析提取眼部异常运动特征的方法，首先，使用摄像机或手机，从正面拍摄静坐状态下受试者面部视频图像序列。然后，通过人脸对齐，对视频图像序列中的面部关键点进行几何定位，提取眼部特征点的几何信息，计算眼睛相对开度。接着，通过经验模态分解去噪、闭眼检测等处理，对眼睛相对开度序列进行滤波与修正。随后，使用固定长度滑窗，提取眼睛相对开度序列片段，训练眨眼检测器，对序列中的眨眼运动模式进行识别。最后，结合眨眼与闭眼运动模式识别结果，对眼睛相对开度序列进行统计分析，提取眼部异常运动特征。本发明实现了眼部异常运动特征的精确客观度量，可用于面部运动障碍疾病严重程度评估，对促进人工智能医学影像辅助诊断技术发展具有重要意义。

主权项：1.一种基于几何分析提取眼部异常运动特征的方法，其特征在于：以视频图像序列为信息载体，使用智能分析算法，自动测量受试者眼睛的相对开度，精确提取眼部异常运动特征，包括如下步骤：步骤1，受试者面部视频采集；步骤1中，使用摄像机或手机，拍摄受试者在静坐状态下的面部运动视频图像序列，其中受试者包括面部运动障碍疾病患者和健康对照者，并由运动障碍疾病诊治专家观看受试者面部运动视频图像，诊断受试者是否患病、患病类型以及患病严重程度；根据患者眼部异常运动的临床表现，将面部运动障碍疾病分为若干亚类，与健康受试者形成对照，构建面部运动障碍疾病视频图像数据集；步骤2，人脸检测与人脸对齐；步骤2中，对受试者面部视频图像序列，使用多任务卷积神经网络MTCNN进行人脸检测，并使用卷积专家约束局部模型CE-CLM进行人脸对齐，实现面部特征点定位；CE-CLM包括两部分：使用卷积专家网络CEN计算响应图；再使用点分布模型PDM更新形状参数；第一步，对每一个特征点的位置进行对齐估计，各个特征点的位置相互独立；第二步，将所有特征点的位置一起更新，使用点分布模型对未对齐特征点和不规则形状进行惩罚；CE-CLM模型初始化使用MTCNN实现，即学习了从MTCNN检测器输出的边界框到面部特征点的线性映射；跟踪特征点时，基于前一帧特征点检测结果初始化当前帧CE-CLM模型，其中CE-CLM模型可估计视频序列中每一帧图像内面部特征点在相机坐标系下的三维坐标；步骤3，眼睛相对开度计算；步骤4，经验模态分解去噪；步骤5，闭眼检测与序列修正；步骤6，眨眼运动模式识别；步骤7，眼部异常运动特征提取。

全文数据：

权利要求：

百度查询： 东南大学 基于几何分析提取眼部异常运动特征的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD