龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：腾讯音乐娱乐科技(深圳)有限公司
摘要：本申请涉及一种视频音效生成方法、装置、计算机设备和存储介质。所述方法包括：通过视觉特征提取模型提取待配音视频对应的视觉语义特征；将待配音视频对应的视觉语义特征输入至噪声去除模型，通过噪声去除模型的反向过程，将待配音视频对应的视觉语义特征作为控制条件，去除设定的噪声中各时间步对应的待去除噪声，得到待配音视频对应的音频潜变量；根据待配音视频对应的音频潜变量，生成配音音效。采用本方法能够利用对比学习方式，将视觉模态特征与音频模态特征进行跨模态对齐，利用噪声估计模型，逐步去除设定的噪声中各时间步对应的待去除噪声，得到音频潜变量，从而生成音画同步效果好的配音音效，提高配音音效与待配音视频之间的匹配度。
主权项：1.一种视频音效生成方法，其特征在于，所述方法包括：通过预训练的视觉特征提取模型提取待配音视频对应的视觉语义特征；所述预训练的视觉特征提取模型针对样本视频输出的视觉语义特征与所述样本视频对应的样本音频的音频语义特征相匹配；所述预训练的视觉特征提取模型由所述样本视频输出的视觉语义特征和所述样本视频对应的样本音频的音频语义特征进行对比学习训练得到；将所述待配音视频对应的视觉语义特征输入至预训练的噪声去除模型，通过所述噪声去除模型的反向过程，将所述待配音视频对应的视觉语义特征作为控制条件，去除设定的噪声中各时间步对应的待去除噪声，得到所述待配音视频对应的音频潜变量；所述预训练的噪声去除模型为通过所述噪声去除模型的扩散过程，在所述样本视频对应的音频潜变量中添加噪声进行训练得到；根据所述待配音视频对应的音频潜变量，生成针对所述待配音视频的配音音效。
全文数据：
权利要求：
百度查询： 腾讯音乐娱乐科技(深圳)有限公司 视频音效生成方法、装置、计算机设备和存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号