申请/专利权人：南京邮电大学

申请日：2019-09-17

公开（公告）日：2023-06-20

公开（公告）号：CN110600047B

主分类号：G10L21/013

分类号：G10L21/013;G10L25/18;G10L25/24;G10L25/30;G10L13/04;G10L13/08;G10L15/06;G10L15/16

优先权：

专利状态码：有效-授权

法律状态：2023.06.20#授权;2020.01.14#实质审查的生效;2019.12.20#公开

摘要：本发明公开了一种基于PerceptualSTARGAN的多对多说话人转换方法，包括训练阶段和转换阶段，使用了STARGAN与感知网络相结合来实现语音转换系统，利用感知网络计算感知损失来提升模型对语音频谱的深层语义特征与个性特征的提取能力，能够较好地提升模型对语音频谱的语义以及个性特征的学习能力，从而较好地提升转换后语音的个性相似度和语音质量，克服STARGAN中转换后语音相似度与自然度较差的问题，实现了一种高质量的语音转换方法。本方法能够实现非平行文本条件下的语音转换，训练过程不需要任何对齐过程，还可以将多个源‑目标说话人对的转换系统整合在一个转换模型中，降低模型复杂度，实现多说话人对多说话人转换。

主权项：1.一种基于PerceptualSTARGAN的多对多说话人转换方法，其特征在于，包括训练阶段和转换阶段，所述训练阶段包括以下步骤：1.1获取训练语料，训练语料由多名说话人的语料组成，包含源说话人和目标说话人；1.2将所述的训练语料通过WORLD语音分析合成模型，提取出各说话人语料的频谱包络特征x、非周期性特征以及基频特征；1.3将源说话人的频谱包络特征xs、目标说话人的频谱包络特征xt、源说话人标签cs以及目标说话人标签特征ct，输入到PerceptualSTARGAN网络进行训练，所述的PerceptualSTARGAN网络由生成器G、鉴别器D、分类器C和感知网络组成，所述的生成器G由编码网络和解码网络构成，在编码网络与解码网络之间搭建三层ResNet，所述的感知网络用来计算感知损失，并将所述感知损失添加到生成器G的损失中来进一步优化生成器；1.4训练过程使生成器的损失函数、鉴别器的损失函数、分类器的损失函数尽量小，直至设置的迭代次数，从而得到训练好的PerceptualSTARGAN网络；1.5构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数；所述转换阶段包括以下步骤：2.1将待转换语料中源说话人的语音通过WORLD语音分析合成模型提取出频谱包络特征xs′、非周期性特征和基频特征；2.2将上述源说话人的频谱包络特征xs′、目标说话人标签特征ct′输入步骤1.4中训练好的PerceptualSTARGAN网络，重构出目标说话人频谱包络特征xtc′；2.3通过步骤1.5得到的基频转换函数，将步骤2.1中提取出的源说话人基频特征转换为目标说话人的基频特征；2.4将步骤2.2中得到的目标说话人频谱包络特征xtc′、步骤2.3中得到的目标说话人的基频特征和步骤2.1中提取的非周期性特征通过WORLD语音分析合成模型，合成得到转换后的说话人语音；所述的生成器G采用二维卷积神经网络，损失函数为： 其中，λcls＝0、λcyc＝0、λid＝0、λcon＝0和λstyle＝0是正则化参数，分别表示分类损失、循环一致性损失、特征映射损失、感知语义损失和感知个性损失的权重，LcycG、LidG、LconG和LstyleG分别表示生成器的对抗损失、分类器优化生成器的分类损失、循环一致损失、特征映射损失、感知语义损失和感知个性损失；所述的鉴别器D采用二维卷积神经网络，损失函数为： 其中，Dxt,ct表示鉴别器D判别真实频谱特征，Gxs,ct表示生成器G生成的目标说话人频谱特征，即xtc，DGxs,ct,ct表示鉴别器判别生成的频谱特征，表示生成器G生成的概率分布的期望，表示真实概率分布的期望；所述的分类器采用二维卷积神经网络C，损失函数为: 其中，pCct|xt表示分类器判别目标说话人特征为标签ct的真实频谱的概率。

全文数据：

权利要求：

百度查询： 南京邮电大学 基于Perceptual STARGAN的多对多说话人转换方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD