申请/专利权人：清华大学

申请日：2021-07-02

公开（公告）日：2024-04-26

公开（公告）号：CN113674373B

主分类号：G06T11/00

分类号：G06T11/00;G06T13/80;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2021.12.07#实质审查的生效;2021.11.19#公开

摘要：本发明本发明公开了一种基于深度学习的人脸真实感渲染方法，其中，方法包括：预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络，根据人脸视频数据集建立人脸混和模型，并对人脸混和模型进行重建，根据人脸神经纹理和重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果。该方法基于深度学习的渲染方式给定训练得到的神经纹理的渲染网络的输入光照以及人脸运动，对人脸的神经纹理在相机空间的投影进行处理，得到逼真的渲染结果。

主权项：1.一种基于深度学习的人脸真实感渲染方法，其特征在于，包括以下步骤：预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络；根据所述人脸视频数据集建立人脸混和模型，并对所述人脸混和模型进行重建；根据所述人脸神经纹理和重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果；其中，所述根据所述人脸视频数据集建立人脸混和模型，包括：根据所述人脸视频数据集中出现的方向光下的不同表情人脸数据融合得到所述人脸混和模型；其中，所述根据所述人脸视频数据集建立人脸混和模型，并对所述人脸混和模型进行重建，包括：对不同用户建立所述人脸混和模型，并对所述人脸视频数据集中的人脸运动进行重建，得到人脸相对中性表情在所述人脸混和模型中的相对运动；其中，在所述神经纹理和所述人脸相对中性表情的运动经过所述神经渲染网络渲染之后，恢复所述预先采集的人脸视频数据集；其中，所述人脸神经纹理存储在所述人脸混合模型的UV图之中，所述人脸相对运动，通过人脸混合模型线性插值，并投影到所述UV图中得到；其中，所述根据所述人脸神经纹理和重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果，包括：利用所述神经渲染网络，以及所述人脸神经纹理和所述重建后的人脸混合模型，对所述人脸神经纹理进行操控，并指定一个目标光照，得到人脸的在不同光照下具有真实感的人脸图片。

全文数据：

权利要求：

百度查询： 清华大学 基于深度学习的真实感人脸渲染方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD