申请/专利权人：中国传媒大学;中仪英斯泰克科技有限公司

申请日：2023-10-31

公开（公告）日：2024-03-12

公开（公告）号：CN117153195B

主分类号：G10L25/57

分类号：G10L25/57;G10L21/10;G06F18/25;G06V40/16

优先权：

专利状态码：有效-授权

法律状态：2024.03.12#授权;2023.12.19#实质审查的生效;2023.12.01#公开

摘要：本发明提供了一种基于自适应区域遮挡的说话人脸视频生成方法及系统，包括S1：从多模态信息中分别提取各模态的特征，将所述各模态的特征进行融合，得到融合特征；S2：将所述融合特征输入预训练的深度神经网络，得到情感类型和情感强度；S3：根据所述情感类型和所述情感强度对帧图像中面部相关标记点组成的网格区域进行遮挡，以提取所述真实说话人的身份图像；S4：根据所述身份图像和所述帧图像提取身份信息和姿势信息，并合成所述身份信息和所述姿势信息一致的面部图像的参考；根据所述面部图像的参考、所述情感类型、所述情感强度和所述真实说话人的语音构建视频帧。本发明提高了生成的说话人脸视频的情感准确度和面部运动自然度。

主权项：1.一种基于自适应区域遮挡的说话人脸视频生成方法，其特征在于，包括以下步骤：S1：从真实说话人的多模态信息中分别识别并提取各模态的特征，将所述各模态的特征进行融合，得到融合特征；S2：将所述融合特征输入预训练的深度神经网络，得到所述真实说话人的情感类型和所述情感类型的情感强度；S3：根据所述情感类型和所述情感强度对所述真实说话人的帧图像中的面部相关标记点组成的网格区域进行遮挡，以提取所述真实说话人的身份图像；S4：根据所述身份图像和所述帧图像提取所述真实说话人的身份信息和姿势信息，并合成所述身份信息和所述姿势信息一致的虚拟说话人的面部图像的参考；根据所述面部图像的参考、所述情感类型、所述情感强度和所述真实说话人的语音构建所述虚拟说话人的视频帧；在所述步骤S4中，采用身份编码器、情感编码器、语音编码器、噪声编码器以及视频解码器共同构建所述虚拟说话人的视频帧；根据所述身份图像和所述帧图像提取所述真实说话人的身份信息和姿势信息，并合成所述身份信息和所述姿势信息一致的虚拟说话人的面部图像的参考包括：采用所述身份编码器编码，将所述帧图像和所述身份图像相连的整体作为联合输入，输出所述身份信息和所述姿势信息统一的视觉嵌入，将所述视觉嵌入提供给所述视频解码器，作为所述面部图像的参考；根据所述面部图像的参考、所述情感类型、所述情感强度和所述真实说话人的语音构建所述虚拟说话人的视频帧包括：将所述情感类型输入所述情感编码器，输出情感嵌入，将所述情感嵌入提供给所述视频解码器，作为所述虚拟说话人的情感的参考；将所述真实说话人的语音输入所述语音编码器进行处理并输出语音嵌入，将所述语音嵌入提供给所述视频解码器，作为所述虚拟说话人的口型和嘴唇运动的参考；通过所述噪声编码器对所述真实说话人的帧图像逐帧生成服从标准高斯分布的噪声向量序列，采用单层LSTM对所述噪声向量序列进行处理，并输出噪声嵌入，然后将所述噪声嵌入提供给所述视频解码器，作为所述虚拟说话人的头部和眨眼运动的参考；所述视频解码器根据所述视觉嵌入、所述情感嵌入、所述语音嵌入、所述噪声嵌入和所述情感强度，构建所述虚拟说话人的视频帧。

全文数据：

权利要求：

百度查询： 中国传媒大学;中仪英斯泰克科技有限公司 基于自适应区域遮挡的说话人脸视频生成方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD