申请/专利权人：西北大学

申请日：2024-03-05

公开（公告）日：2024-04-26

公开（公告）号：CN117935827A

主分类号：G10L21/013

分类号：G10L21/013;G10L19/093;G10L13/027

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明公开了一种基于Transformer的戏曲演唱音色转换方法，包括：1、构建源音频数据集；2、构建说话人音频数据集并导入基于神经连接的唱歌声音转换系统；3、自监督学习模块从源音频数据集和说话人音频数据集提取音频特征，k邻近匹配策略将源音频特征替换为说话人音频特征，生成自监督学习特征；4、神经谐波信号发生器模块将正弦激励信号与滤波后的激励信号相连，形成神经谐波信号；5、音频合成器模块对神经谐波信号和响度进行一维卷积，下采样模块向上采样模块提供响度；6、音频合成器模块通过上采样模块将自监督学习特征、响度和神经谐波信号合成为说话人音色演唱音频，从而将任意说话人音色迁移至源演唱音频，生成不含源音频音色的演唱音频。

主权项：1.一种基于Transformer的戏曲演唱音色转换方法，其特征在于，包括如下步骤：步骤1、收集秦腔戏曲演唱音频，并将其添加至开源数据集OpenSinger，形成源音频数据集；步骤2、先利用Transformer编码器替换自监督学习模块的一个卷积特征编码器，构成自监督学习模块，再引入k邻近匹配策略，形成自监督学习特征匹配模块，接着将神经谐波信号发生器模块集成到自监督学习特征匹配模块，形成基于神经连接的唱歌声音转换系统；步骤3、收集目标说话人日常说话音频，形成说话人音频数据集，并将其导入基于神经连接的唱歌声音转换系统；步骤4、先利用自监督学习模块分别从源音频数据集和说话人音频数据集中提取音频特征，再利用k邻近匹配策略从源音频提取的音频特征替换为目标说话人音频的音频特征，生成自监督学习特征；步骤5、神经谐波信号发生器模块接收生成自监督学习特征并导出正弦激励信号，采用线性时变滤波器对不同谐波分量的幅值进行调整从而得到滤波后的激励信号，然后将正弦激励信号与滤波后的激励信号相连接，形成用于表示音高信息的神经谐波信号，并送入音频合成器模块进行音高调节；步骤6、音频合成器模块对生成的神经谐波信号和说话人音频的响度进行一维卷积，由下采样模块向上采样模块提供响度；步骤7、音频合成器模块通过上采样模块逐步将自监督学习特征、响度和神经谐波信号合成为说话人音色演唱音频。

全文数据：

权利要求：

百度查询： 西北大学 一种基于Transformer的戏曲演唱音色转换方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD