申请/专利权人：广州纳丽生物科技有限公司

申请日：2020-05-26

公开（公告）日：2024-01-30

公开（公告）号：CN111612912B

主分类号：G06T17/20

分类号：G06T17/20;G06T7/33;G06T7/11

优先权：

专利状态码：有效-授权

法律状态：2024.01.30#授权;2020.09.25#实质审查的生效;2020.09.01#公开

摘要：本发明公开了一种基于Kinect2相机面部轮廓点云模型的快速三维重构及优化方法，包括以下步骤：1利用Kinect2相机获取面部个性点云模型KF；2结合Dlib人脸数据库和姿态估计模型提取面部68个特征点，通过Kinect2彩色、深度图像配准获取特征点三维坐标，此建立Dlib特征点约束模型DP；3基于Dlib特征点约束模型DP对获取的面部个性点云模型KF进行约束变形，得到变形更新后的面部点云模型KN；4对点云模型KN进行三角化后得到网格模型，进行网格细化得到细化插补后的面部点云模型KN_N；5对点云模型KN_N进行重心Voronoi优化后进行重新网格化得到完整面部三维网格模型KN_NV。本发明通过约束变形、细化及优化提高了面部三维模型精度，使面部轮廓三维模型更贴近真实面部轮廓。

主权项：1.一种基于Kinect2相机面部轮廓点云模型的快速三维重构及优化方法，其特征在于，其包括以下步骤：1利用Kinect2相机快速获取面部个性点云模型KF，包括：以人体头部模型作为实验对象，基于Kinect2获取人脸面部1347个特征点个性点云模型KF，其坐标值为相机坐标系下的数值：KF＝{KF1,KF2,...,KFi,...,KF1347}，2结合Dlib人脸数据库和姿态估计模型提取面部68个特征点，通过Kinect2彩色、深度图像配准获取特征点三维坐标，由此建立Dlib特征点约束模型DP，包括：对Kinect2相机获取的彩色图像运用Dlib人脸检测模型进行面部特征点的检测，得到面部68个特征点，进行彩色、深度图像配准得到Dlib特征点优化模型DP，模型中各点坐标值为相机坐标系下的数值：3基于Dlib特征点约束模型DP对获取的面部个性点云模型KF进行约束变形，得到变形更新后的面部点云模型KN，包括：以模型DP中的特征点为参照点，遍历模型KF中的所有点，分别计算并比较各点到模型DP中各点的距离，将模型KF中距离模型最近的点通过仿射变换正则化，得到变形面部特征点模型KP，其中特征点属于模型KF，数量与模型DP相同： 定义基于特征点优化模型DP的面部点云自动移动公式为： 式中i∈{1,2,...,1347}；m∈{1,2,...,68}；n∈{1,2,...,68}；为距离KFi最近的Dlib特征点坐标值；为距离最近的Dlib特征点坐标值；为KP中与对应点的坐标值；为距离最近点的坐标值；由面部点云自动移动公式得到变形更新后的面部点云模型KN，由于模型变形并未增加特征点数量，因此模型KN中特征点数量与模型KF相同：KN＝{KN1,KN2,...,KNi,...,KN1347},然后进行循环判定，遍历模型KN，将其中距离模型最近的点通过仿射变换正则化，得到变形后面部特征点模型KNP，其中特征点属于模型KN，数量与模型KN相同：KNP＝{KNP1,KNP2,...,KNP6},NPi＝KNjj∈{1,2,...,1347} 判断KNP是否等于DP，若不满足判定条件，则基于面部点云自动移动公式继续进行面部模型变形，直至得到满足判定条件的KN，停止面部点云模型的变形更新，完成Kinect2面部点云模型特征优化；4对点云模型KN进行三角化后得到网格模型，基于边记分函数进行网格细化得到细化插补后的面部点云模型KN-N，包括：取KN中的部分点集，相邻两点构成边 边的长度为： 定义边的记分函数Mij符合标准正态分布： 定义由KN得到的面部三角网格所有边的记分平均值为 式中n为面部三角网格中边总数；若则对该边进行边分裂操作，即在该边的中点处插入一个黄色点，作为新的顶点，上述过程在面部网格模型上迭代，直到没有边需要插入新顶点，定义细化插补后的面部点云模型为KN-N，模型特征点数量N为细化插补后模型特征点的总数： 5对点云模型KN-N进行重心Voronoi优化后进行重新网格化得到完整面部三维网格模型KN-NV。

全文数据：

权利要求：

百度查询： 广州纳丽生物科技有限公司 一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD