申请/专利权人：广东工业大学

申请日：2021-06-07

公开（公告）日：2021-09-14

公开（公告）号：CN113395476A

主分类号：H04N7/14(20060101)

分类号：H04N7/14(20060101);H04N13/275(20180101);G06T7/55(20170101);G06T13/40(20110101);G06N3/04(20060101);G06N3/08(20060101)

优先权：

专利状态码：失效-发明专利申请公布后的驳回

法律状态：2023.10.27#发明专利申请公布后的驳回;2021.10.01#实质审查的生效;2021.09.14#公开

摘要：本发明为克服视频通话流畅度低、灵活性低的缺陷，提出一种于三维人脸重构的虚拟人物视频通话方法及系统，包括以下步骤：获取第一通信终端的视频流和音频流，或仅获取第一通信终端的音频流；将视频流图像帧输入三维人脸重构网络，得到预测的三维人脸模型参数；或将音频流输入音频预测网络中得到预测的三维人脸模型参数；根据预测的三维人脸模型参数对预设的初始三维人脸模型参数进行合并更新后保存为参数文件；将参数文件和第一通信终端的音频流传输至第二通信终端，第二通信终端根据参数文件利用三维人脸重构技术恢复对应的三维人脸模型，然后映射到二维图像平面得到恢复的视频图像帧序列；对视频图像帧序列进行渲染后与音频流合成虚拟人物视频。

主权项：1.一种基于三维人脸重构的虚拟人物视频通话方法，其特征在于，包括以下步骤：S1：选择虚拟人物视频通话方式，包括视频到视频通话方式和音频到视频通话方式：当选择视频到视频通话方式时：获取第一通信终端的视频流和音频流，将所述视频流分解为图像帧后采用三维人脸重构网络进行参数化三维人脸的模型参数预测，得到预测的三维人脸模型参数并保存为参数文件；当选择音频到视频通话方式时：获取第一通信终端的音频流，将所述音频流输入音频预测网络中进行参数化三维人脸的模型参数预测，得到预测的三维人脸模型参数；根据所述预测的三维人脸模型参数对预设的初始三维人脸模型参数进行合并更新后保存为参数文件；S2：将所述参数文件和第一通信终端的音频流传输至第二通信终端，第二通信终端根据所述参数文件利用三维人脸重构技术恢复对应的三维人脸模型，然后映射到二维图像平面得到恢复的视频图像帧序列；S3：对所述视频图像帧序列进行渲染后与所述音频流合成虚拟人物视频。

全文数据：

权利要求：

百度查询： 广东工业大学 一种基于三维人脸重构的虚拟人物视频通话方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD