申请/专利权人：娄浩哲;占梓桐

申请日：2021-07-08

公开（公告）日：2024-04-30

公开（公告）号：CN113591602B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/44;G06V10/75;G06V10/774;G06V10/82;G06N3/04;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2021.11.19#实质审查的生效;2021.11.02#公开

摘要：本发明属于人脸三维重建和计算机视觉技术领域，具体地说，涉及一种基于单视角的人脸三维轮廓特征重建装置及重建方法，该装置包括：参数获取模块，用于获取汇集后的平面图像和深度数据；人脸特征数据库，用于存储待人脸三维重建的特定类型特征向量、待核函数矩阵和对应类型的待标准矩阵；数据筛选模块，用于筛选待人脸三维重建所需要的待核函数矩阵和对应的待标准矩阵；人脸轮廓特征点提取模块，用于将汇集后的平面图像和深度数据，输入至预先建立的深度神经网络模型，提取待人脸三维重建的轮廓关键特征点；人脸轮廓重建模块，用于通过路径积分方法融合，获得人脸轮廓数据；再根据人脸轮廓数据与标准矩阵，建立刚体深度信息与物理轮廓匹配模型。

主权项：1.一种基于单视角的人脸三维轮廓特征重建装置，其特征在于，该装置包括：参数获取模块、人脸特征数据库、数据筛选模块、人脸轮廓特征点提取模块和人脸轮廓重建模块；所述参数获取模块，用于根据实时获取的获取待人脸三维重建所需要的深度图像数据和平面图像数据，获取汇集后的平面图像和深度数据；所述人脸特征数据库，用于存储待人脸三维重建的特定类型特征向量、待核函数矩阵和对应类型的待标准矩阵；其中，定义特定类型特征向量为：与图像数据和年龄，肤色数据相关的一种自定义特征向量；所述数据筛选模块，用于根据人脸特征数据库，筛选待人脸三维重建所需要的待核函数矩阵和对应的待标准矩阵；所述人脸轮廓特征点提取模块，用于将汇集后的平面图像和深度数据，输入至预先建立的深度神经网络模型，提取待人脸三维重建的轮廓关键特征点；所述人脸轮廓重建模块，用于将待人脸三维重建的轮廓关键特征点与数据筛选模块输出的待核函数矩阵通过路径积分方法融合，获得人脸轮廓数据；再根据人脸轮廓数据与标准矩阵，计算实值矩阵；再根据实值矩阵与待标准矩阵取均值，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵，并存储至人脸特征数据库，建立刚体深度信息与物理轮廓匹配模型，完成人脸三维轮廓特征重建；所述深度神经网络模型为高分辨率网络；所述深度神经网络模型的训练步骤为：步骤1）建立训练集；所述训练集包含若干组训练数据，每组训练数据为汇集后的平面图像和深度数据，其包含人脸平面图像和对应的标注特征点位置的热力图；步骤2）将一组训练数据中的人脸平面图像输入至深度神经网络模型，提取出特征点所在位置的热力图；训练过程采用的是均方差损失函数来进行监督学习；具体方程为：均方差损失函数输出值满足下式： 其中，为训练集中的标注特征点位置热力图；为训练后输出的特征点所在位置的热力图；步骤3）通过多次迭代训练，得到最小的对应参数，输出训练好的深度神经网络模型；步骤4）通过预训练好的深度神经网络模型，输入实时获取的新的人脸平面图像，输出对应的特征点所在位置的热力图，通过取热力图的中心点位，可得到输入平面图像的特征点；所述人脸轮廓重建模块的具体过程为：步骤1）从待核函数矩阵中获取基函数fa,b和采样频率k,定义函数曲线ga,b为基函数fa,b的路径积分；其中，a为任意两个人脸轮廓关键特征点的起始点的二维坐标；b为任意两个人脸三维轮廓关键特征点的终止点的二维坐标，每个a,b之间定义n条基函数； 其中,为输入数据的维度，其中，输入数据为人脸三维轮廓关键特征点；遍历计算n条基函数，求得基于起始点a，终止点b的n条函数曲线，通过对每条函数曲线进行k次采样，获得和关键特征点关联的n条离散曲线；步骤2）基于每条和关键特征点关联的离散曲线，生成一个和关键特征点关联的离散函数： 其中，是0和1之间已知参数；步骤3）定义深度方程Dx,y=d,该深度方程的输入为平面图像数据x,y和深度数据d中的二维坐标，用来标记平面图像数据和深度数据的像素点相对于图像的位置，输出为深度数据d；基于和关键特征点关联的离散函数Ka,b，带入起始点a和终止点b的坐标值，计算一条离散特征曲线来表示起始点a到终止点b之间的轮廓，然后将K（a,b）带入D方程中，得到DKa,b=d；根据上述方程，获取该条离散特征曲线路径上的离散深度数据；起始点a和终止点b之间的路径数据加上离散深度数据构成两个特征点之间的特征曲线；针对每一组起始点和终止点（a,b，存在一条特征曲线来描述其中的关系；步骤4）重复步骤1）到步骤3），得到n’条特征曲线，整合n’条特征曲线可得特征矩阵,特征矩阵，即为高精度的人脸轮廓三维重建数据，再根据人脸轮廓特征矩阵A与标准矩阵，计算实值矩阵；再根据实值矩阵，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵和待核函数，建立刚体深度信息与物理轮廓匹配模型，并存储至人脸特征数据库，完成人脸三维轮廓特征重建。

全文数据：

权利要求：

百度查询： 娄浩哲;占梓桐 一种基于单视角的人脸三维轮廓特征重建装置及重建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD