申请/专利权人：北京中科智极科技有限公司

申请日：2023-08-09

公开（公告）日：2023-11-10

公开（公告）号：CN117037821A

主分类号：G10L21/007

分类号：G10L21/007;G10L21/0272;G10L25/30

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.11.28#实质审查的生效;2023.11.10#公开

摘要：本发明公开了基于VITS和保留背景音的高质量语音转换方法，涉及语音合成技术领域；其通过语音处理模型实现，所述语音处理模型包括说话人编码器、先验编码器、后验编码器、生成器、解码器和判别器，所述先验编码器包括背景音模块、内容编码器、基频预测器、Mel预测器和标准化流，实现方法包括以下步骤：使用背景音分离模块对源语音进行背景音分离，得到背景音b和语音S；将语音S传入文本编码器中，得到内容特征t；使用说话人编码器对源说话人梅尔谱进行编码，得到说话人嵌入g。本发明能够在转换说话人特征的同时，有效地保留源语音中的背景音。这种综合的方法可以提高合成语音的自然度、真实感和语音质量。

主权项：1.基于VITS和保留背景音的高质量语音转换方法，其通过语音处理模型实现，所述语音处理模型包括说话人编码器、先验编码器、后验编码器、生成器、解码器和判别器，所述先验编码器包括背景音模块、内容编码器、基频预测器、Mel预测器和标准化流，其特征在于，实现方法包括以下步骤：S1：使用背景音分离模块对源语音进行背景音分离，得到背景音b和语音S；S2：将语音S传入文本编码器中，得到内容特征t；S3：使用说话人编码器对源说话人梅尔谱进行编码，得到说话人嵌入g；S4：将内容特征t、基频f0、说话人嵌入g作为F0解码器的输入，预测基频pre_F0，计算F0的均方误差损失；S5：将内容特征t、预测基频pre_F0、说话人嵌入g作为输入，通过Mel预测器生成预测的梅尔谱pre_mel，使用预测的梅尔谱预测能量，得到pre_energy；S6：将内容特征t、预测基频pre_F0、说话人嵌入g与预测能量pre_energy融合作为先验编码器的输出，得到先验分布；S7：输入源说话人梅尔谱和说话人嵌入g到后验编码器，得到后验分布z，将z拆分通过标准化流映射，计算先验分布和后验分布的KL散度损失；S8：将z通过生成器生成噪音部分和谐波部分，F0通过生成器生成正弦波，之后将噪音、谐波和正弦波合并与背景音b、说话人嵌入g共同送入HiFiGAN解码器最终合成音频；S9：判别器对最终合成音频进行评估和筛选。

全文数据：

权利要求：

百度查询： 北京中科智极科技有限公司 基于VITS和保留背景音的高质量语音转换方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD