申请/专利权人：华侨大学

申请日：2023-11-01

公开（公告）日：2024-01-16

公开（公告）号：CN117409480A

主分类号：G06V40/20

分类号：G06V40/20;G06V40/16;G06V40/18;G06V20/40;G06V10/22

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.02.02#实质审查的生效;2024.01.16#公开

摘要：本发明提供基于单目相机人脸动作捕捉的第一人称视角方向控制方法，包括：步骤S1、用户进入拍摄范围，计算上下嘴唇的初始距离；步骤S2、用户第一次张嘴，初始化左右虹膜的中心位置坐标以及两者之间的距离；步骤S3、捕捉视频流中下一设定间隔帧，记录该帧中左右虹膜中心位置坐标，计算两者之间新的距离；步骤S4、根据左右虹膜中心位置坐标及之间的距离判断头部姿态；步骤S5、将头部姿态映射成第一人称视角方向控制的对应动作；步骤S6、再一次检测到用户张嘴，将当前左右虹膜的中心位置坐标作为初始化坐标，计算两者之间的距离作为初始化距离D0；步骤S7、当用户离开拍摄范围，结束控制。本发明算法简单，鲁棒性好，也极大地降低了使用成本和门槛。

主权项：1.基于单目相机人脸动作捕捉的第一人称视角方向控制方法，其特征在于：包括如下步骤：步骤S1、当用户进入单目相机的拍摄范围后，基于单目相机进行脸部动作捕捉，从视频帧中提取脸部虹膜和嘴唇信息，计算上下嘴唇的初始距离L0；步骤S2、检测到用户第一次张嘴动作后，将左、右虹膜的中心位置坐标作为初始化坐标位置XL0,YL0和XR0,YR0，计算左、右虹膜中心之间的距离作为初始化距离D0；步骤S3、继续捕捉视频流中下一设定间隔帧，将该帧中左、右虹膜中心位置坐标记为XL1,YL1和XR1,YR1，计算左、右虹膜中心之间新的距离D1；步骤S4、当如下条件同时满足时，判断用户头部姿态在向左旋转；当如下条件同时满足时，判断用户头部姿态在向右旋转；当如下条件同时满足时，判断用户头部姿态在向左平移；当如下条件同时满足时，判断用户头部姿态在向右平移；当如下条件同时满足时，判断用户有一个抬头动作；当如下条件同时满足时，判断用户有一个低头动作；当如下条件D1-D0＞Th5满足时，判断用户头部姿态有一个前进动作；当如下条件D1-D0＜-Th5满足时，判断用户头部姿态有一个后退动作；其中，Th1为头部姿态左右旋转时，左、右虹膜中心位置x坐标变化量阈值，Th2为头部姿态左右旋转时，左、右虹膜中心距离变化量阈值，Th3为头部姿态左右移动时，左、右虹膜中心位置x坐标的变化量阈值，Th4为抬头低头动作时，左、右虹膜中心y坐标的变化量阈值，Th5为头部前进后退时，左、右虹膜中心的距离变化量阈值；步骤S5、根据步骤S4的判断结果，将头部的各个动作一一映射成第一人称视角方向控制的对应动作；步骤S6、当再一次检测到用户张嘴后，将当前左、右虹膜的中心位置坐标作为初始化坐标位置XL0,YL0和XR0,YR0，计算左、右虹膜中心之间的距离作为初始化距离D0，否则进入步骤S3；步骤S7、当用户离开单目相机拍摄范围，结束第一人称视角方向控制。

全文数据：

权利要求：

百度查询： 华侨大学 基于单目相机人脸动作捕捉的第一人称视角方向控制方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD