申请/专利权人：腾讯音乐娱乐科技(深圳)有限公司

申请日：2022-02-10

公开（公告）日：2024-03-19

公开（公告）号：CN114401439B

主分类号：H04N21/439

分类号：H04N21/439;H04N21/44;H04N21/478;G10L25/24;G10L25/30;G06V40/20;G06V10/44;G06N3/0464;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2022.05.13#实质审查的生效;2022.04.26#公开

摘要：本申请公开了一种舞蹈视频生成方法、设备及存储介质，本申请利用音频特征提取模型、动作特征提取模型、节奏预测模型、姿势预测模型，可针对用户选择的歌曲自动生成相应的新舞蹈视频，不仅可提升舞蹈视频的制作效率，实现舞蹈视频的快速生成，还可以降低制作成本。具体的，上述各模型可基于音频、画面动作、节奏等信息综合预测下一帧包括舞蹈姿势的舞蹈画面，可使预测到的舞蹈姿势实现踩点、卡点，从而提高了视频画面的真实性和准确性。同时，该方案针对用户所选歌曲实现了舞蹈视频的个性化定制，可以为用户提供更符合其偏好的舞蹈视频。相应地，本申请提供的舞蹈视频生成设备及存储介质，也同样具有上述技术效果。

主权项：1.一种舞蹈视频生成方法，其特征在于，包括：获取用户选择的歌曲，并利用音频特征提取模型提取所述歌曲中每帧音频中的音频特征，得到所述歌曲的音频特征流；确定当前待预测的舞蹈画面的帧序数N和第N-1帧舞蹈画面；N为自然数，且从2开始取值；第1帧舞蹈画面为：与所述歌曲匹配的目标舞蹈视频的首帧画面；利用动作特征提取模型提取所述第N-1帧舞蹈画面中的第N-1帧动作特征；拼接第1～N-1帧的动作特征得到第1～N-1帧动作特征流，并在所述歌曲的音频特征流中确定第1～N帧音频特征流；将所述第1～N-1帧动作特征流和所述第1～N帧音频特征流输入节奏预测模型，以使所述节奏预测模型预测得到第N帧节奏信息；所述节奏预测模型的输入为：已预测得到的所有动作特征、当前帧及当前帧之前的所有音频特征，所述节奏预测模型的输出为：当前帧节奏信息；拼接第1～N帧的节奏信息得到第1～N帧节奏信息流，并将所述第1～N-1帧动作特征流、所述第1～N帧音频特征流和所述第1～N帧节奏信息流输入姿势预测模型，以使所述姿势预测模型预测得到第N帧舞蹈画面；第1帧节奏信息为预设值；所述姿势预测模型的输入为：已预测得到的所有动作特征、当前帧及当前帧之前的所有音频特征、当前帧及当前帧之前的所有节奏信息，所述姿势预测模型的输出为：当前帧舞蹈画面；拼接第1～N帧的舞蹈画面得到第1～N帧舞蹈画面流；若所述帧序数N等于所述歌曲中的音频特征个数，则基于所述歌曲的音频特征流和所述第1～N帧舞蹈画面流生成新舞蹈视频。

全文数据：

权利要求：

百度查询： 腾讯音乐娱乐科技(深圳)有限公司 一种舞蹈视频生成方法、设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD