申请/专利权人：厦门大学

申请日：2024-01-08

公开（公告）日：2024-03-29

公开（公告）号：CN117789692A

主分类号：G10L13/02

分类号：G10L13/02;G10L21/02;G10L25/03;G10L25/21;G10L25/24;G10L25/30;H04S7/00

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.16#实质审查的生效;2024.03.29#公开

摘要：本发明公开了一种融合位置和音频通用表征的双耳音频生成方法及系统，其特征在于，包括，S1，制作视频帧数据集和音频数据集；S2，对音频数据集进行短时傅里叶变换和计算，得到对应的复数谱图、幅度谱图和相位谱图；S3，将视频帧数据集、音频数据集及其对应的谱图输入包含相对位置信息提取器、音频通用表征提取器、掩膜生成模块的双耳音频还原模型中进行训练和优化；S4，基于训练好的所述双耳音频还原模型进行双耳音频还原。本发明提出的网络模型能够有效提取视频帧中声音源的相对位置信息，获得更有效的音频通用表征，用于引导双耳音频的生成，从而提升系统性能。

主权项：1.一种融合位置和音频通用表征的双耳音频生成方法，其特征在于，包括以下步骤：S1，制作视频帧数据集和音频数据集；S2，对音频数据集进行短时傅里叶变换和计算，得到对应的复数谱图、幅度谱图和相位谱图；S3，将视频帧数据集、音频数据集及其对应的谱图输入包含相对位置信息提取器、音频通用表征提取器、掩膜生成模块的双耳音频还原模型中进行训练和优化；S4，基于训练好的所述双耳音频还原模型进行双耳音频还原。

全文数据：

权利要求：

百度查询： 厦门大学 一种融合位置和音频通用表征的双耳音频生成方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD