申请/专利权人：北京百度网讯科技有限公司

申请日：2023-08-17

公开（公告）日：2024-04-09

公开（公告）号：CN116778040B

主分类号：G06T13/20

分类号：G06T13/20;G06T13/40;G06T15/00;G06T19/20

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2023.10.10#实质审查的生效;2023.09.19#公开

摘要：本公开提供了一种基于口型的人脸图像生成方法、模型的训练方法以及设备，涉及人工智能领域，尤其涉及云计算和数字人领域。具体实现方案为：获取待识别的音频数据和预设的人脸图像；确定所述待识别的音频数据的音频特征；其中，所述音频特征包括语速特征和语义特征；根据所述语速特征和所述语义特征对所述预设的人脸图像进行处理，生成具有口型的人脸图像。通过结合音频数据的语义特征和语速特征，支持在任意语速下，对人脸图像中的口型进行准确驱动，提高人脸图像的确定精度。

主权项：1.一种基于口型的人脸图像生成方法，包括：获取待识别的音频数据和预设的人脸图像；确定所述待识别的音频数据的音频特征；其中，所述音频特征包括语速特征和语义特征；所述语义特征用于表示所述待识别的音频数据中的音素所表达的含义；其中，所述语速特征是根据预设的第一特征提取模型确定的；所述第一特征提取模型用于从待识别的音频数据中提取语速特征；基于预设的人脸口型确定模型对所述语速特征和所述语义特征进行拼接处理，得到所述待识别的音频数据的拼接特征；其中，所述拼接特征表征语速特征和语义特征；根据所述预设的人脸口型确定模型中的卷积层，对所述拼接特征进行特征提取，得到人脸驱动参数；其中，所述人脸驱动参数用于表示驱动人脸图像中的口型变化所需的参数；所述人脸驱动参数为混合变形的权重参数；根据所述人脸驱动参数对所述预设的人脸图像进行图像渲染，生成具有口型的人脸图像；所述根据预设的第一特征提取模型确定所述语速特征，包括：将所述待识别的音频数据输入至预设的第一特征提取模型中进行特征提取，得到所述待识别的音频数据的语音后验概率特征；对所述语音后验概率特征进行快速傅里叶变换处理，得到频域信号特征；其中，所述频域信号特征表征待识别的音频数据的音素类别的信息；根据预设的频段大小，将所述频域信号特征切分为至少两个频段的频域信号特征；对所述至少两个频段的频域信号特征进行积分处理，得到所述待识别的音频数据的语速特征。

全文数据：

权利要求：

百度查询： 北京百度网讯科技有限公司 基于口型的人脸图像生成方法、模型的训练方法以及设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD