申请/专利权人：重庆邮电大学

申请日：2021-02-03

公开（公告）日：2022-07-22

公开（公告）号：CN112967373B

主分类号：G06T17/00

分类号：G06T17/00;G06N3/04;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2022.07.22#授权;2021.07.02#实质审查的生效;2021.06.15#公开

摘要：本发明涉及一种基于非线性3DMM的人脸图像特征编码方法，属于图像处理领域。该方法利用大量非受限的二维人脸图像去学习一个非线性三维模型，表示能力和重建效果远远要优于传统3DMM。本发明在非线性3DMM的框架基础上，通过对模型拟合部分特别是编码器网络部分进行改进。首先通过对输入的人脸图像进行预处理，包括数据增强和归一化处理；其次利用DenseNet网络作为编码器网络的主干网络，编码估计输入图像中的人脸的各项特征参数；在经过两个解码器网络分别进行解码处理，得到最终的3D面部形状和真实反照率；最后将得到的光照、投影参数、反照率以及3D面部形状通过一个渲染层去重建原始输入面部。

主权项：1.一种基于非线性3DMM的人脸图像特征编码方法，其特征在于：该方法包括以下步骤：S1：图像数据集数据增强预处理；S2：图像归一化处理；S3：对DenseNet神经网络结构进行改造；S4：解码器网络解析特征参数；S5：渲染层网络渲染图像，重建原始人脸；所述S1具体为：利用Retinex算法对数据集图像进行增强预处理，具体公式如下：Ix,y＝Lx,y*Rx,y其中Ix,y代表被观察或照相机接收到的图像信号；Lx,y代表环境光的照射分量；Rx,y表示携带图像细节信息的目标物体的反射分量；将上述等式两边分别取对数，抛开入射光的性质得到物体本来的面貌，公式如下：Log[Rx,y]＝Log[Ix,y]-Log[Lx,y]其中假设一幅图像数据Ix,y，计算出对应的Rx,y，则认为Rx,y是增强后的图像；所述S3具体为：利用DCNN充当一个编码器，去估计编码当前输入的人脸图像各项特征参数，包括光照参数、投影参数、面部形状参数以及面部纹理参数或者是反照率参数；整个编码器网络功能表示如下：E:I→m，L，fS，fA其中I表示输入的一组2D人脸图像，m，L，fS，fA分别表示投影参数、光照参数、形状参数以及反照率参数；编码器采用的基干网络为DenseNet网络，具体为DenseNet121；将最后一个全连接层进行改造，将该全连接层的上一层结果进行分解，分成四个分支各自进行光照参数、投影参数、形状参数和反照率参数的估计；每一个分支再经过一个卷积块，由卷积层和批量归一化层构成；接着再利用池化层处理，采用平均池化；最后估计形状和反照率参数的分支再通过池化操作得到相应的特征参数值，估计光照和投影参数的分支经过一线性层的处理得到最终的估计值；所述S4具体为：编码器网络对输入人脸图像进行编码估计后，与解码器网络进行融合，解码器网络是非线性3DMM；解码器网络由形状解码器和反照率解码器两部分构成，分别负责对编码器的估计输出进行解码操作，形状解码器和反照率解码器分别由两个深度神经网络DCNN组成，只是最终的输出层的设置不同，解析3D面部形状和真实反照率；解码器网络表示如下： 其中DS,DA分别表示形状和反照率解码器，S,A为解码得到的三维面部形状和真实反照率；所述S5具体为：解码器解码完成之后，利用获取的光照参数、投影参数、以及解析的形状和反照率通过一渲染层进行渲染得到最终的重建图像，涉及三维空间到二维平面的映射；具体分为如下几部分：1利用旋转后的面部形状和投影参数计算表面法线映射，再通过预先选择的光照模型，计算UV空间的阴影CUV；2通过将解码器解析得到的真实反照率进行UV空间映射，得到相应空间中的反照率表示AUV，然后将反照率和阴影进行融合计算出来纹理TUV；3利用Z-Buffering渲染器通过前面获得的纹理和面部网格进行渲染，实现重建原始人脸图像的任务；最终的目标函数表示为： 其中表示重建的图像，表示为表示渲染层；损失函数分为两个阶段，两个阶段依次递进，具体表示如下公式：L＝Lrec+λlandLland+λregLregLpre＝LS+λTLT+λmLm+λlandLland+λregLreg其中Lpre表示预训练阶段损失，在模型前期训练过程中，引入预训练损失函数来指导早期迭代中的训练；等到预训练损失收敛之后，再将整个损失切换到正式损失阶段即L。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于非线性3DMM的人脸图像特征编码方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD