申请/专利权人：清华珠三角研究院;赛业(广州)生物科技有限公司

申请日：2021-04-22

公开（公告）日：2022-07-22

公开（公告）号：CN113194348B

主分类号：H04N21/43

分类号：H04N21/43;H04N21/8547;H04N21/44;G10L13/02;G06V40/16;G06F40/279;G06T13/40

优先权：

专利状态码：有效-授权

法律状态：2022.07.22#授权;2021.08.17#实质审查的生效;2021.07.30#公开

摘要：本发明公开一种虚拟人讲课视频生成方法、系统、装置及存储介质，包括：获取讲稿内容，将讲稿内容转换为语音，并根据讲稿内容生成讲稿视频；根据讲稿内容或语音匹配出人物动作；将语音、人物动作输入至高清视频人物同步唇形模型，得到与语音同步的人脸唇形图像序列；将虚拟人老师形象以及人脸唇形图像序列输入至视频驱动虚拟人物模型，得到高清虚拟人讲课视频；将高清虚拟人讲课视频输入视频抠图模型，得到无背景虚拟人讲课视频；将无背景虚拟人讲课视频嵌入至讲稿视频中，得到虚拟人老师讲课视频。本发明只需要一份讲稿和一张虚拟人老师形象，即可生成生动形象的虚拟人老师讲课视频，大大缩短视频课程内容制作与打磨的时间。本发明可广泛应用于教学技术领域内。

主权项：1.一种虚拟人讲课视频生成方法，其特征在于，包括以下步骤：获取讲稿内容，将所述讲稿内容转换为语音，并根据所述讲稿内容生成讲稿视频；将所述语音和所述讲稿内容输入至语音文字对齐模型得到字幕文件和语音分段时间戳标识；其中，所述语音文字对齐模型用于使所述语音和所述讲稿内容同步；其中，所述获取讲稿内容，将所述讲稿内容转换为语音，并根据所述讲稿内容生成讲稿视频这一步骤，包括以下步骤：根据所述语音分段时间戳标识确定讲稿翻页时间节点，根据所述讲稿翻页时间节点将所述讲稿内容生成讲稿视频；根据所述讲稿内容或所述语音匹配出人物动作；将所述语音和所述人物动作输入至高清视频人物同步唇形模型，得到与所述语音同步的人脸唇形图像序列，所述高清视频人物同步唇形模型用于输出所述语音所对应的人脸唇形图像；将获取的虚拟人老师形象以及所述人脸唇形图像序列输入至视频驱动虚拟人物模型，得到高清虚拟人讲课视频，其中，所述视频驱动虚拟人物模型用于为所述虚拟人老师形象添加头部位姿和表情；将所述高清虚拟人讲课视频输入视频抠图模型，得到无背景虚拟人讲课视频，其中，所述视频抠图模型用于去除所述虚拟人讲课视频中的背景；将所述无背景虚拟人讲课视频嵌入至所述讲稿视频中，得到虚拟人老师讲课视频。

全文数据：

权利要求：

百度查询： 清华珠三角研究院;赛业(广州)生物科技有限公司 一种虚拟人讲课视频生成方法、系统、装置及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD