申请/专利权人：上海网达软件股份有限公司

申请日：2023-12-18

公开（公告）日：2024-03-22

公开（公告）号：CN117750064A

主分类号：H04N21/234

分类号：H04N21/234;H04N21/242;H04N21/44;H04N21/43;G10L21/10;G10L21/055

优先权：

专利状态码：在审-公开

法律状态：2024.03.22#公开

摘要：本发明提供了一种在数字人领域驱动中文语音精准生成唇形视频的方法，包括：下载CMLR中文数据集并进行预处理，得到预处理后的CMLR中文数据集；将预处理后的CMLR中文数据集作为训练数据，按照设置的训练标准对wav2lip唇形同步模型进行训练，得到新的模型；将预处理后的视频帧输入到新的模型进行唇部推理，输出新的口型驱动视频。本发明针对现有的模型中对中文语音支持度差的缺陷，通过采用中文语音的数据集进行了重训练，使得中文发音口型得到校准；避免了现有模型在匹配到中文语音时口型开合过快的问题。此外，新的模型在训练时采用人脸关键点检测技术，从而能够更好的适配了下半脸，使上下脸看起来更加协调。

主权项：1.一种在数字人领域驱动中文语音精准生成唇形视频的方法，其特征在于，包括：步骤1：下载CMLR中文数据集并进行预处理，得到预处理后的CMLR中文数据集；步骤2：将预处理后的CMLR中文数据集作为训练数据，按照设置的训练标准对wav2lip唇形同步模型进行训练，得到新的模型；步骤3：将预处理后的视频帧输入到新的模型进行唇部推理，输出新的口型驱动视频。

全文数据：

权利要求：

百度查询： 上海网达软件股份有限公司 在数字人领域驱动中文语音精准生成唇形视频的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD