申请/专利权人：北京中科金财科技股份有限公司

申请日：2023-12-15

公开（公告）日：2024-03-19

公开（公告）号：CN117729298A

主分类号：H04N5/265

分类号：H04N5/265;G06N3/0455;G06N3/0464;G06N3/082;G10L13/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.05#实质审查的生效;2024.03.19#公开

摘要：本发明公开了一种基于动作驱动和口型驱动的照片驱动方法，根据用户输入的音频或文本信息，驱动模型内置人物的口型，得到目标人物的说话的动作；根据音频驱动得到的动作，驱动用户上传的照片，实现照片驱动；最后为了实现实时驱动速度，将全部网络在TensorRT框架下进行推理。优点是：既能够实现动作效果，又无需进行训练，且能够实现实时照片驱动。通过结合语音驱动和动作驱动相结合的方式，达到提高照片驱动的效率和用户体验，从而满足用户对于高效、便捷和快速响应的需求。

主权项：1.一种基于动作驱动和口型驱动的照片驱动方法，其特征在于：包括如下步骤，S1、语音驱动口型：将用户输入的音频或根据用户输入的文本信息转换成的音频，输入到预训练好的Bert结构的模型中，预测三维人脸关键点；根据用户输入的是照片或视频，利用相应的姿态信息对获取的三维人脸关键点进行仿射变换，获取相应姿态下的三维人脸关键点；将相应姿态下的三维人脸关键点输入到预训练好的姿态后处理网络中，推理得到校验后的三维人脸关键点；利用校验后的三维人脸关键点为每一帧图像构建条件特征图，并基于条件特征图以及目标人物的候选图像集，获取目标人物的说话动作；S2、动作驱动照片：基于目标人物的说话动作和用户上传的图片或视频，利用改进的TPSMotion算法实现动作驱动照片；S3、模型加速：将全部的网络模型在TensorRT框架下进行模型推理，实现实时照片驱动。

全文数据：

权利要求：

百度查询： 北京中科金财科技股份有限公司 一种基于动作驱动和口型驱动的照片驱动方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD