申请/专利权人：世优(北京)科技有限公司

申请日：2023-11-14

公开（公告）日：2024-03-22

公开（公告）号：CN117746886A

主分类号：G10L21/10

分类号：G10L21/10;G06V40/16;G06V10/82;G06N3/0464;G10L21/18;G10L25/30;G10L25/18;G10L25/24

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本申请提供了一种嘴型模型的训练方法、装置及嘴型的生成方法及装置，其中，该训练方法包括：获取包含数字人的面部的第一面部图片；从包含目标人物的视频中，提取出包含所述目标人物的脸部的第二面部图片并提取出和所述第二面部图片对应的音频向量；对所述第二面部图片进行处理，使得所述第二面部图片中包括从所述视频中提取到的不同状态下的多张不同类型嘴部信息；对所述第一面部图片和处理后的所述第二面部图片进行图像编码，并对所述音频向量进行音频编码；利用解码器对经图像编码后得到的图像数据以及经音频编码后得到的音频数据进行解码，得到第三面部图片；比较所述第一面部图片和所述第三面部图片之间的损失，并基于所述损失训练嘴型模型。

主权项：1.一种嘴型模型的训练方法，其特征在于，包括：获取包含数字人的面部的第一面部图片；从包含目标人物的视频中，提取出包含所述目标人物的脸部的第二面部图片并提取出和所述第二面部图片对应的音频向量；对所述第二面部图片进行处理，使得所述第二面部图片中包括从所述视频中提取到的不同状态下的多张不同类型嘴部信息；对所述第一面部图片和处理后的所述第二面部图片进行图像编码，并对所述音频向量进行音频编码；利用解码器对经图像编码后得到的图像数据以及经音频编码后得到的音频数据进行解码，得到第三面部图片；比较所述第一面部图片和所述第三面部图片之间的损失，并基于所述损失训练嘴型模型。

全文数据：

权利要求：

百度查询： 世优(北京)科技有限公司 嘴型模型的训练方法、装置及嘴型的生成方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD