申请/专利权人：云南大学;云南览易网络科技有限责任公司

申请日：2024-03-04

公开（公告）日：2024-04-09

公开（公告）号：CN117853664A

主分类号：G06T17/00

分类号：G06T17/00;G06N3/0464;G06V10/80;G06V40/16

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本发明涉及图像处理技术领域，且公开了基于双分支特征融合三维人脸重建方法，获取待进行重建的人脸图像，采用双分支网络对人脸图像进行特征提取，并将双分支输出的特征图进行融合，接着将特征图进行解码并输出VW位置图，接着通过损失函数进行回归运算，根据VW位置图渲染人脸模型，并进行评估。该基于双分支特征融合三维人脸重建方法通过双分支网络充分发挥卷积和TRANSFORMER的优点，卷积运算擅长提取局部特征，而TRANSFORMER可以捕获长距离的特征依赖，融合模块将双分支的输出融合优势互补，解决了卷积层的缺点，捕获全局特征表示的局限性，解决了TRANSFORMER的缺点，提高了对无约束环境下人脸重建的准确性。

主权项：1.一种基于双分支特征融合三维人脸重建方法，其特征在于：包括以下步骤：S1、获取待进行重建的人脸图像，包括输入任意尺寸大小的图片，获取图片中人脸位置中心，以人脸位置中心裁剪出人脸图像；S2、采用双分支网络对人脸图像进行特征提取，双分支网络包括ResNet分支和TRANSFORMER分支；S3、对步骤S2中双分支输出的特征图进行进行自注意力交互后进行交叉注意力交互；S4、将步骤S3中的特征图进行解码并输出VW位置图，接着通过损失函数进行回归运算；S5、根据步骤S4中的VW位置图渲染人脸模型，并进行评估；所述步骤S2的具体过程如下：S2.1、建立一个具有ResNet分支和TRANSFORMER分支的双分支网络；S2.2、接收步骤S1获取的人脸图像，通过ResNet分支对其进行下采样和升维；S2.3、将升维后的特征图通过多次不同的下采样倍数升维输入到TRANSFORMER分支中；S2.4、根据步骤S2.3中的采样倍数的次数构建特征金字塔，沿通道方向排列并对特征进行输出；所述TRANSFORMER分支通过注意力机制先对特征图进行横向分割，之后对每个子区域分别输入到全连接层内，并通过注意力交互，得到横向输出，并将输出重新拼接，得到水平方向自注意力交互的输出，具体表达式如下： ； ； ；其中，表示的是横向的第个子区域，且，、和分别表示对应、、的三个注意力权值矩阵，（）表示自注意力交互，表示对子区域的输出进行拼接；接着所述TRANSFORMER分支通过注意力机制先对特征图进行纵向分割，之后对每个子区域分别输入到全连接层内，并通过注意力交互，得到纵向输出，并将输出重新拼接，得到水平方向自注意力交互的输出，具体表达式如下： ； ； ；其中，表示的是纵向的第个子区域，、别表示对应、、的三个注意力权值矩阵，（）表示自注意力交互，表示对子区域的输出进行拼接。

全文数据：

权利要求：

百度查询： 云南大学;云南览易网络科技有限责任公司 基于双分支特征融合三维人脸重建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD