申请/专利权人：无锡车联天下信息技术有限公司

申请日：2024-03-12

公开（公告）日：2024-04-12

公开（公告）号：CN117877126A

主分类号：G06V40/20

分类号：G06V40/20;G06T7/73;G06V10/766;G06V10/82;G06V40/16

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本申请提供的一种基于人脸关键点与Haar特征的头部姿态估计方法，通过人脸的对称性将获取到的3D人脸关键点进行优化，提高人脸关键点的精准度，从而提高PNP方法对于头部姿态估计计算的准确率，得到头部姿态角r1；本方法中基于RepVGG构建头部姿态估计网络，提取人脸图像的Haar特征后通过神经网络回归预测得到出头部姿态角r2，利用Haar特征来降低光照、表情、容貌等因素的对头部姿态预测结果的影响，最后将r1和r2两者头部姿态结果进行加权，得到最优的头部姿态角。

主权项：1.一种基于人脸关键点与Haar特征的头部姿态估计方法，其包括以下步骤：S1：通过深度相机采集包括待识别对象的图像，提取图像中的脸部区域，得到待识别脸部区域图像；将所述待识别脸部区域图像中脸部对应的头部姿态角记作：待识别头部姿态角r1；所述待识别头部姿态角r1∈R3，三个维度分别对应俯仰角、偏航角和旋转角；将所述待识别脸部区域图像中人脸3D关键点信息记作：待检测人脸关键点Pn；所述待检测人脸关键点Pn∈R3，n为预设的人脸关键点个数，Pn分别代表n个关键点的x、y、z坐标；所述深度相机为已经完成内参标定的相机；其特征在于，其还包括以下步骤：S2：基于轻量化FasterNet构建关键点预测网络；所述关键点预测网络的输入为脸部区域图像，输出脸部区域的预测关键点信息；所述预测关键点信息包括：脸部区域的关键点坐标及每个关键点被遮挡的概率；S3：将所述待识别脸部区域图像输入到训练好的所述关键点预测网络中，得到对应的所述预测关键点信息；根据所述预测关键点信息中人脸的鼻子和嘴巴中间部分的3D关键点计算得到人脸的中心面；人脸中心面垂直于人脸并将人脸分割为对称的两部分；S4：根据人脸基于所述人脸中心面对称的原理，通过所述人脸中心面两侧的对称的关键点坐标，对所述预测关键点信息中被遮挡的关键点的坐标进行补充优化，得到优化后的所述预测关键点信息，其对应的脸部区域记作：优化后脸部区域；S5：获取平均人脸关键点坐标；S6：基于PnP算法计算得到所述深度相机拍摄的图像中的人脸关键点和所述平均人脸的关键点集之间的变换关系矩阵；基于所述变换关系矩阵，求解出所述优化后脸部区域相对于所述深度相机的头部姿态角r1；所述头部姿态角r1包括：俯仰角、偏航角和旋转角；S7：提取所述待识别脸部区域图像的Haar特征；所述Haar特征包括：脸部轮廓和脸部器官位置；S8：基于RepVGG构建头部姿态估计网络；所述头部姿态估计网络的输出为预测姿态角落在细分区域的概率；所述预测姿态角包括三个维度的角度：预测俯仰角、预测偏航角和预测旋转角；S9：指定所述头部姿态估计网络每个预测姿态角的细分区域的个数m；所述预测俯仰角、所述预测偏航角和所述预测旋转角的取值范围为：[-90,90]；将每个姿态角均匀划分为m个细分区域Dj； ；其中，j为区域序号，j=1，2，....，m；则，所述头部姿态估计网络输出的预测姿态角的计算方法为： ；其中，Qj为头部姿态估计网络的姿态角落在细分区域Dj的概率，Cj为Dj的中心；S10：将所述Haar特征输入到训练好的所述头部姿态估计网络中，得到预测姿态角r2；S11：基于所述头部姿态角和所述预测姿态角计算得到最优头部姿态角，完成头部姿态估计；rp=α*r1+β*r2；其中，rp为最优头部姿态角，r1为头部姿态角，r2为预测姿态角；α和β预设的权参数。

全文数据：

权利要求：

百度查询： 无锡车联天下信息技术有限公司 一种基于人脸关键点与Haar特征的头部姿态估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD