申请/专利权人：南京邮电大学

申请日：2019-04-04

公开（公告）日：2023-03-24

公开（公告）号：CN110060690B

主分类号：G10L17/02

分类号：G10L17/02;G10L17/04;G10L17/14;G10L17/18;G10L17/22;G10L25/18;G06F40/30;G06N3/08;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2023.03.24#授权;2019.08.20#实质审查的生效;2019.07.26#公开

摘要：本发明公开了一种基于STARGAN与ResNet的多对多说话人转换方法，包括训练阶段和转换阶段，使用了STARGAN与ResNet相结合来实现语音转换系统，利用ResNet网络解决STARGAN中存在的网络退化问题，能够较好地提升模型对于语义的学习能力以及语音频谱的合成能力，从而较好地提升转换后语音的个性相似度和语音质量，同时使用Instancenorm对数据进行标准化，对于转换过程中所产生的噪声能够实现很好的滤除效果，从而克服STARGAN中转换后语音相似度与自然度较差的问题，实现了一种高质量的语音转换方法。本方法能够实现非平行文本条件下的语音转换，训练过程不需要任何对齐过程，还可以将多个源‑目标说话人对的转换系统整合在一个转换模型中，即实现多说话人对多说话人转换。

主权项：1.一种基于STARGAN和ResNet的多对多说话人转换方法，其特征在于包括训练阶段和转换阶段，所述训练阶段包括以下步骤：1.1获取训练语料，训练语料由多名说话人的语料组成，包含源说话人和目标说话人；1.2将所述的训练语料通过WORLD语音分析合成模型，提取出各说话人语句的频谱包络特征x、非周期性特征以及基频特征F0；1.3将源说话人的频谱包络特征xs、目标说话人的频谱包络特征xt、源说话人标签cs以及目标说话人标签特征ct，输入到STARGAN-ResNet网络进行训练，所述的STARGAN-Resnet网络由生成器G、鉴别器D和分类器C组成，所述的生成器G由编码网络和解码网络构成，在编码网络与解码网络之间搭建三层ResNet；1.4训练过程使生成器的损失函数、鉴别器的损失函数、分类器的损失函数尽量小，直至设置的迭代次数，从而得到训练好的STARGAN-ResNet网络；1.5构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数；所述转换阶段包括以下步骤：2.1将待转换语料中源说话人的语音通过WORLD语音分析合成模型提取出源说话人频谱包络特征xs′、非周期性特征和基频特征F0；2.2将上述源说话人频谱包络特征xs′、目标说话人标签特征ct′输入1.4中训练好的STARGAN-ResNet网络，重构出目标说话人频谱包络特征xtc′；2.3通过1.5得到的基频转换函数，将2.1中提取出的源说话人基频转换为目标说话人的基频特征；2.4将2.2中得到的目标说话人频谱包络特征xtc′、2.3中得到的目标说话人的基频特征F0和2.1中提取的非周期性特征通过WORLD语音分析合成模型，合成得到转换后的说话人语音。

全文数据：基于STARGAN和ResNet的多对多说话人转换方法技术领域本发明涉及一种多对多说话人转换方法，特别是涉及一种基于STARGAN和ResNet的多对多说话人转换方法。背景技术语音转换是语音信号处理领域的研究分支，是在语音分析、识别和合成的研究基础上发展与延伸的。语音转换的目标是改变源说话人的语音个性特征，使之具有目标说话人的语音个性特征，也就是使一个人说的语音经过转换后听起来像是另一个人说的语音，同时保留语义信息。语音转换技术经过多年的研究，已经涌现了很多的经典转换方法。其中包括高斯混合模型GaussianMixedModel，GMM、递归神经网络RecurrentNeuralNetwork，RNN、深度神经网络DeepNeuralNetworks，DNN、长短时记忆网络LongShort-TermMemory，LSTM等大多数的语音转换方法。但是这些语音转换方法大多要求用于训练的语料库是平行文本，即源说话人和目标说话人需要发出语义内容、语音时长相同的句子，并且发音节奏和情绪等尽量一致。然而训练时语音特征参数对齐的准确性会成为语音转换性能的一种制约。此外在同声传译、医疗辅助患者语音转换等实际应用中也无法获取平行语音。因此，无论从语音转换系统的通用性还是实用性来考虑，非平行文本条件下语音转换方法的研究都具有极大的实际意义和应用价值。现有的非平行文本条件下的语音转换方法有基于循环一致对抗网络Cycle-ConsistentAdversarialNetworks，Cycle-GAN的方法、基于条件变分自编码器ConditionalVariationalAuto-Encoder，C-VAE的方法以及基于Disco-GANdiscovercross-domainrelationswithgenerativeadversarialnetworks的方法等。基于Disco-GAN模型的语音转换方法，采用两个生成器与三个判别器进行计算损失，较传统GAN而言，通过增加一个风格判别器提取语音风格特征来提高语音质量，但其只能实现一对一的语音转换。基于C-VAE模型的语音转换方法，直接利用说话人的身份标签建立语音转换系统，其中编码器对语音实现语义和个性信息的分离，解码器通过语义和说话人身份标签来实现语音的重构，从而可以解除对平行文本的依赖。但是由于C-VAE基于理想假设，认为观察到的数据通常遵循高斯分布，导致解码器的输出语音过度平滑，转换后的语音质量不高。基于Cycle-GAN模型的语音转换方法利用对抗性损失和循环一致损失，同时学习声学特征的正映射和逆映射，可以有效解决过平滑问题，改善转换语音质量，但是Cycle-GAN只能实现一对一的语音转换。基于星型生成对抗网络StarGenerativeAdversarialNetwork，STARGAN模型的语音转换方法同时具有Disco-GAN、C-VAE和Cycle-GAN的优点，由于该方法的生成器具有编解码结构，可以同时学习多对多映射，生成器输出的属性由说话人身份标签控制，因此可以实现非平行下多对多的语音转换。但是此方法由于生成器中的编码网络与解码网络之间相互独立，直接通过生成器的编码网络无法较好地实现语义特征与说话人个性化特征的分离，同时生成器的解码网络也无法较好地实现语义特征与说话人个性特征的合成，因此在网络传输中容易丢失语义特征与说话人个性特征，造成信息的损失与噪声的生成。针对这种情况，需要一种能够很好地解决在训练过程中的网络退化问题，降低编码网络对于语义的学习难度，提高解码网络的频谱生成质量的转换方法。发明内容发明目的：本发明要解决的技术问题是提供一种基于STARGAN和ResNet的多对多说话人转换方法，解决了现有的方法在训练过程中的网络退化问题，降低编码网络对于语义的学习难度，提高解码网络的频谱生成质量，并能够避免Batchnorm过程中带来的信息损失问题与噪声问题，更加充分学习语义特征和说话人的个性化特征，从而较好地提升转换后语音的个性相似度和语音质量。技术方案：本发明所述的基于STARGAN和ResNet的多对多说话人转换方法，包括训练阶段和转换阶段，所述训练阶段包括以下步骤：1.1获取训练语料，训练语料由多名说话人的语料组成，包含源说话人和目标说话人；1.2将所述的训练语料通过WORLD语音分析合成模型，提取出各说话人语句的频谱包络特征x、非周期性特征以及基频特征F0；1.3将源说话人的频谱包络特征xs、目标说话人的频谱包络特征xt、源说话人标签cs以及目标说话人标签ct，输入到STARGAN-ResNet网络进行训练，所述的STARGAN-Resnet网络由生成器G、鉴别器D和分类器C组成，所述的生成器G由编码网络和解码网络构成，在编码网络与解码网络之间搭建三层ResNet；1.4训练过程使生成器的损失函数、鉴别器的损失函数、分类器的损失函数尽量小，直至设置的迭代次数，从而得到训练好的STARGAN-ResNet网络；1.5构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数；所述转换阶段包括以下步骤：2.1将待转换语料中源说话人的语音通过WORLD语音分析合成模型提取出频谱包络特征xs′、非周期性特征和基频特征F0；2.2将上述源说话人频谱包络特征xs′、目标说话人标签特征ct′输入1.4中训练好的STARGAN-ResNet网络，重构出目标说话人频谱包络特征xtc′；2.3通过1.5得到的基频转换函数，将2.1中提取出的源说话人基频转换为目标说话人的基频特征；2.4将2.2中得到的目标说话人频谱包络特征xtc′、2.3中得到的目标说话人的基频特征F0和2.1中提取的非周期性特征通过WORLD语音分析合成模型，合成得到转换后的说话人语音。进一步的，步骤1.3和1.4中的训练过程包括以下步骤：1将源说话人的频谱包络特征xs输入生成器G的编码网络，得到说话人无关的语义特征Gxs；2将上述得到的语义特征Gxs与目标说话人的标签特征ct一同输入到生成器G的解码网络进行训练，在训练过程中最小化生成器G的损失函数，从而得到目标说话人的频谱包络特征xtc；3将上述得到的目标说话人的频谱包络特征xtc，再次输入到生成器G的编码网络，得到说话人无关的语义特征Gxtc；4将上述得到的语义特征Gxtc与源说话人标签特征cs输入到生成器G的解码网络进行训练，在训练过程中最小化生成器G的损失函数，得到重构的源说话人的频谱包络特征xsc；5将目标说话人的频谱包络特征xtc、目标说话人频谱特征xt,以及目标说话人的标签特征ct一同输入到鉴别器D中进行训练，最小化鉴别器的损失函数；6将目标说话人的频谱包络特征xtc和目标说话人的频谱包络特征xt输入分类器C进行训练，最小化分类器的损失函数；7回到步骤1重复上述步骤，直至达到设置的迭代次数，从而得到训练好的STARGAN-ResNet网络。进一步的，步骤2.2中的输入过程包括以下步骤：1将源说话人的频谱包络特征xs′输入生成器G的编码网络，得到说话人无关的语义特征Gxs′；2将上述得到的语义特征Gxs′与目标说话人的标签特征ct′一同输入到生成器G的解码网络，得到目标说话人的频谱包络特征xtc′。进一步的，所述的生成器G采用二维卷积神经网络，损失函数为：其中，λcls＞＝0、λcyc＞＝0和λid＞＝0是正则化参数，分别表示分类损失、循环一致性损失和特征映射损失的权重，LcycG、LidG分别表示生成器的对抗损失、分类器优化生成器的分类损失、循环一致损失、特征映射损失；所述的鉴别器D采用二维卷积神经网络，损失函数为：其中，Dxt,ct表示鉴别器D判别真实频谱特征，Gxs,ct表示生成器G生成的目标说话人频谱特征，DGxs,ct,ct表示鉴别器判别生成的频谱特征，表示生成器G生成的概率分布的期望，表示真实概率分布的期望；所述的分类器采用二维卷积神经网络C，损失函数为:其中，pCct|xt表示分类器判别目标说话人特征为标签ct的真实频谱的概率。进一步的，其中，表示生成器生成的概率分布的期望，Gxs,ct表示生成器生成频谱特征；其中，pCct|Gxs,ct表示分类器判别生成目标说话人频谱标签属于ct的概率，Gxs,ct表示生成器生成的目标说话人频谱；其中，GGxs,ct,cs为重构的源说话人频谱特征，为重构源说话人频谱和真实源说话人频谱的损失期望；其中，Gxs,cs为源说话人频谱和说话人标签，输入到生成器后得到的源说话人频谱特征,为xs和Gxs,cs的损失期望。进一步的，所述的生成器G的编码网络包括5个卷积层，5个卷积层的过滤器大小分别为3*9、4*8、4*8、3*5、9*5，步长分别为1*1、2*2、2*2、1*1、9*1，过滤器深度分别为32、64、128、64、5；生成器G的解码网络包括5个反卷积层，5个反卷积层的过滤器大小分别为9*5、3*5、4*8、4*8、3*9，步长分别为9*1、1*1、2*2、2*2、1*1，过滤器深度分别为64、128、64、32、1；将编码网络的第二卷积层的输出与解码网络的第三卷积层的输出直接相加，然后输入到解码网络的第四卷积层；将编码网络的第三卷积层的输出与解码网络的第二卷积层的输出直接相加，然后输入到解码网络的第三卷积层；将编码网络的第四卷积层的输出与解码网络的第一卷积层的输出直接相加，然后输入到解码网络的第二卷积层。进一步的，所述的鉴别器D包括5个卷积层，5个卷积层的过滤器大小分别为3*9、3*8、3*8、3*6、36*5，步长分别为1*1、1*2、1*2、1*2、36*1，过滤器深度分别为32、32、32、32、1；所述的分类器C包括5个卷积层，5个卷积层的过滤器大小分别为4*4、4*4、4*4、3*4、1*4，步长分别为2*2、2*2、2*2、1*2、1*2，过滤器深度分别为8、16、32、16、4。进一步的，在生成器G、鉴别器D和分类器C的每层网络间采用Instancenorm进行数据标准化。进一步的，所述的Instancenorm的数据标准化公式为：其中，xtijk和ytijk分别为每个Batch中的第t个样本、第i个特征通道的第j行k列元素的标准化前和标准化后的数据，xtilm为每个Batch中的第t个样本、第i个特征通道的第l行m列元素的标准化前的数据，ε＝0.001，H和W分别表示每个Batch中的第t个样本、第i个通道的空间数据的纵向的维度与横向的维度，μti和分别为每个Batch中的第t个样本、第i个特征通道的空间数据的均值和方差。进一步的，所述的基频转换函数为：其中，μs和σs分别为源说话人的基频在对数域的均值和方差，μt和σt分别为目标说话人的基频在对数域的均值和方差，logf0s为源说话人的对数基频，logf0t′为转换后目标说话人的对数基频。有益效果：本方法能够使用STARGAN与ResNet相结合来实现平行文本和非平行文本条件下的多对多说话人语音转换，通过在生成器的编码网络和解码网络之间搭建ResNet来充分学习了源说话人与目标说话人的语音特征和个性化特征，可以较好地提升转换后语音的个性相似度和语音质量，克服C-VAE中过平滑的问题与STARGAN网络退化所造成的语音特征丢失问题，提高生成器的编码网络对语义的提取能力，同时提高生成器的解码网络对语音的转换能力，并且在每个卷积层后利用Instancenorm进行数据标准化，进一步提升模型的非线性拟合能力，克服了Batchnorm在语音转换中的不收敛问题与个性化特征的损失问题以及噪声问题，实现了一种高质量的语音转换方法。此外，本方法能够实现非平行文本条件下的语音转换，而且训练过程不需要任何对齐过程，提高了语音转换系统的通用性和实用性，本方法还可以将多个源-目标说话人对的转换系统整合在一个转换模型中，即实现多说话人对多说话人转换，在跨语种语音转换、电影配音、语音翻译等领域有较好的应用前景。附图说明图1是本方法的整体流程图；图2是本方法的模型STARGAN-ResNet的生成器的流程图；图3是本方法的模型STARGAN-ResNet的鉴别器的流程图；图4是本方法的模型STARGAN-ResNet的分类器的流程图。具体实施方式本发明通过在生成器的编码网络与解码网络之间搭建ResNet，可以很好地解决在训练过程中的网络退化问题，进一步可以降低编码网络对于语义的学习难度，提高解码网络的频谱生成质量，从而提高转换语音的自然度与流畅度。由于BNBatchnorm是在一个Batch内不同样本间的标准化，注重对每个Batch进行标准化来保证数据分布一致，但是在语音转换中，生成结果主要依赖于某个语音样本实例，通过BN来获得的整体信息并不会带来任何收益，带来的噪声反而会弱化实例之间的独立性，因此在网络中采用BN进行标准化后得到的效果不明显，转换后的语音在语音相似度与自然度上仍未得到很大改善，而Instancenorm是在一个样本内的标准化，其信息都来自于单个语音的频谱，相当于对单个频谱的全局信息做了一次整合和调整，能够避免Batchnorm过程中带来的信息损失问题与噪声问题，从而很大程度上提高转换后语音的自然度与相似度。如图1所示，本实施例的方法分为两个部分：训练部分用于得到语音转换所需的参数和转换函数，而转换部分用于实现源说话人语音转换为目标说话人语音。训练阶段实施步骤为：1.1获取非平行文本的训练语料，训练语料是多名说话人的语料，包含源说话人和目标说话人。训练语料取自VCC2018语音语料库。该语料库的训练集中有6个男性和6个女性说话人，每个说话人有81句语料。本方法既可以在平行文本下实现转换，也可以在非平行文本下实现转换，所以这些训练语料也可以是非平行文本的。1.2训练语料通过WORLD语音分析合成模型提取出各说话人语句的频谱包络特征x、非周期性特征、对数基频logf0。其中由于快速傅氏变换FastFourierTransformation，FFT长度设置为1024，因此得到的频谱包络特征x和非周期性特征均为10242+1＝513维。每一个语音块有512帧，从频谱包络特征中提取36维的梅尔倒谱系数MCEP特征，一次训练时取8个语音块。因此，训练语料的维度为8*36*512。1.3本实施例中的STARGAN-ResNet网络以Cycle-GAN模型为基础，通过改善GAN的结构，以及结合分类器，来提升Cycle-GAN效果。STARGAN-ResNet由三部分组成：一个产生真实的频谱的生成器G，一个判断输入是真实的频谱还是生成的频谱的鉴别器D，以及一个判别生成频谱的标签是否属于ct的分类器C。STARGAN-ResNet网络的目标函数为：其中，IGG为生成器的损失函数：其中，λcls＞＝0、λcyc＞＝0和λid＞＝0是正则化参数，分别表示分类损失、循环一致性损失和特征映射损失的权重。LcycG、LidG分别表示生成器的对抗损失、分类器优化生成器的分类损失、循环一致损失、特征映射损失。鉴别器的损失函数为：其中，Dxt,ct表示鉴别器D判别真实频谱特征，Gxs,ct表示生成器G生成的目标说话人频谱特征，DGxs,ct,ct表示鉴别器判别生成的频谱特征，表示生成器G生成的概率分布的期望，表示真实概率分布的期望；分类器二维卷积神经网络的损失函数为：其中，pCct|xt表示分类器判别目标说话人特征为标签ct的真实频谱的概率。1.4将1.2中提取的源说话人频谱包络特征xs与目标说话人标签特征ct作为联合特征xs,ct输入生成器进行训练。训练生成器，使生成器的损失函数LG尽量小，得到生成目标说话人频谱包络特征xtc。如图2所示，生成器采用二维卷积神经网络，由编码网络和解码网络构成。编码网络包括5个卷积层，5个卷积层的过滤器大小分别为3*9、4*8、4*8、3*5、9*5，步长分别为1*1、2*2、2*2、1*1、9*1，过滤器深度分别为32、64、128、64、5。解码网络包括5个反卷积层，5个反卷积层的过滤器大小分别为9*5、3*5、4*8、4*8、3*9，步长分别为9*1、1*1、2*2、2*2、1*1，过滤器深度分别为64、128、64、32、1；在编码网络与解码网络之间建立ResNet，即将编码网络的第二卷积层的输出与解码网络的第三卷积层的输出直接相加，然后输入到解码网络的第四卷积层；将编码网络的第三卷积层的输出与解码网络的第二卷积层的输出直接相加，然后输入到解码网络的第三卷积层；将编码网络的第四卷积层的输出与解码网络的第一卷积层的输出直接相加，然后输入到解码网络的第二卷积层；在每个卷积层后采用Instancenorm进行标准化。1.5将1.4得到的生成目标说话人频谱包络特征xtc和1.2得到的训练语料的目标说话人频谱包络特征xt以及目标说话人标签ct，一同作为鉴别器的输入，训练鉴别器，使鉴别器的损失函数尽可能小。如图3所示，鉴别器采用二维卷积神经网络，包括5个卷积层，5个卷积层的过滤器大小分别为3*9、3*8、3*8、3*6、36*5，步长分别为1*1、1*2、1*2、1*2、36*1，过滤器深度分别为32、32、32、32、1；在每个卷积层后采用Instancenorm进行标准化。鉴别器的损失函数为：优化目标为：1.6将上述得到的目标说话人的频谱包络特征xtc，再次输入到生成器G的编码网络，得到说话人无关的语义特征Gxtc，将上述得到的语义特征Gxtc与源说话人标签特征cs一同输入到生成器G的解码网络进行训练，在训练过程中最小化生成器G的损失函数，得到重构源说话人的频谱包络特征xsc。在训练过程中最小化生成器的损失函数，包括生成器的对抗损失、循环一致损失、特征映射损失以及生成器的分类损失。其中，训练循环一致损失是为了使源说话人频谱特征xs在经过生成器G后，所重构的源说话人频谱特征xsc可以和xs尽可能保持一致。训练特征映射损失，是为了保证xs在经过生成器G后说话人标签仍是cs、分类损失指分类器判别生成器所生成的目标说话人频谱xtc属于标签ct的概率损失。生成器的损失函数为：优化目标为：其中，λcls＞＝0、λcyc＞＝0和λid＞＝0是正则化参数，分别表示分类损失、循环一致性损失和特征映射损失的权重。表示GAN中生成器的对抗损失:其中，表示生成器生成的概率分布的期望，Gxs,ct表示生成器生成频谱特征。和鉴别器的损失共同构成GAN中常见的对抗损失，用来判别输入鉴别器的频谱是真实频谱还是生成频谱。在训练过程中尽可能小，生成器不断优化，直至生成能够以假乱真的频谱特征Gxs,ct，使得鉴别器难以判别真假。为分类器C用来优化生成器的分类损失：其中，pCct|Gxs,ct表示分类器判别生成目标说话人频谱标签属于ct的概率，Gxs,ct表示生成器生成的目标说话人频谱。在训练过程中，尽可能小，使得生成器G生成的频谱Gxs,ct能够被分类器正确分类为标签ct。LcycG和LidG借鉴Cycle-GAN模型中生成器的损失，LcycG为生成器G中循环一致损失：其中，GGxs,ct,cs为重构的源说话人频谱特征，为重构源说话人频谱和真实源说话人频谱的损失期望。在训练生成器的损失中，LcycG尽可能小，使生成目标频谱Gxs,ct、源说话人标签cs再次输入到生成器后，得到的重构源说话人语音频谱尽可能和xs相似。通过训练LcycG，可以有效保证说话人语音的语义特征，在经过生成器的编码以后不被损失。LidG为生成器G的特征映射损失：其中，Gxs,cs为源说话人频谱、说话人标签和x向量，输入到生成器后得到的源说话人频谱特征,为xs和Gxs,cs的损失期望。训练LidG，可以有效保证输入频谱的标签cs在输入生成器后仍保持不变。1.7将上述生成的目标说话人频谱包络特征xtc和目标说话人的频谱包络特征xt输入分类器进行训练，最小化分类器的损失函数。如图4所示，分类器采用二维卷积神经网络C，包括5个卷积层，5个卷积层的过滤器大小分别为4*4、4*4、4*4、3*4、1*4，步长分别为2*2、2*2、2*2、1*2、1*2，过滤器深度分别为8、16、32、16、4；在每个卷积层后采用Instancenorm进行标准化。分类器二维卷积神经网络的损失函数为：优化目标为：1.8重复1.4、1.5、1.6和1.7步骤，直至达到设置的迭代次数，从而得到训练好的STARGAN-ResNet网络，其中生成器参数φ、鉴别器参数θ、分类器参数ψ为训练好的参数。由于神经网络具体设置不同以及实验设备性能不同，选择的迭代次数也各不相同。本实验中选择迭代次数为10000次。步骤1.4、1.5、和1.7中所述的Instancenorm的数据标准化公式为：其中，xtijk和ytijk分别为每个Batch中的第t个样本、第i个特征通道的第j行k列元素的标准化前和标准化后的数据，xtilm为每个Batch中的第t个样本、第i个特征通道的第l行m列元素的标准化前的数据，ε的作用是防止出现公式中分母为0的情况，再本例中ε＝0.001，也可以取其他大于0的数字，H和W分别表示每个Batch中的第t个样本、第i个通道的空间数据的纵向的维度与横向的维度，μti和分别为每个Batch中的第t个样本、第i个特征通道的空间数据的均值和方差。1.9使用对数基频logf0的均值和方差建立基音频率转换关系，统计出每个说话人的对数基频的均值和方差，利用对数域线性变换将源说话人对数基频logf0s转换得到目标说话人对数基频logf0t′。基频转换函数为：其中，μs和σs分别为源说话人的基频在对数域的均值和方差，μt和σt分别为目标说话人的基频在对数域的均值和方差。转换阶段实施步骤为：2.1将源说话人语音通过WORLD语音分析合成模型，提取源说话人的不同语句的频谱包络特征xs′、非周期性特征、基频。其中由于快速傅氏变换FFT长度设置为1024，因此得到的频谱包络特征xs′和非周期性特征均为10242+1＝513维。2.2将2.1提取的源说话人语音的频谱包络特征xs′与目标说话人标签特征ct′作为联合特征xs′,ct′输入1.8训练的STARGAN-ResNet网络，从而重构出目标说话人频谱包络特征xtc′。2.3通过1.9得到的基音频率转换函数，将2.1中提取出的源说话人基频转换为目标说话人的基频。2.4将2.2中得到的目标说话人频谱包络特征xtc′、2.3中得到的目标说话人的基频和2.1提取的非周期性特征通过WORLD语音分析合成模型合成转换后的说话人语音。

权利要求：1.一种基于STARGAN和ResNet的多对多说话人转换方法，其特征在于包括训练阶段和转换阶段，所述训练阶段包括以下步骤：1.1获取训练语料，训练语料由多名说话人的语料组成，包含源说话人和目标说话人；1.2将所述的训练语料通过WORLD语音分析合成模型，提取出各说话人语句的频谱包络特征x、非周期性特征以及基频特征F0；1.3将源说话人的频谱包络特征xs、目标说话人的频谱包络特征xt、源说话人标签cs以及目标说话人标签ct，输入到STARGAN-ResNet网络进行训练，所述的STARGAN-Resnet网络由生成器G、鉴别器D和分类器C组成，所述的生成器G由编码网络和解码网络构成，在编码网络与解码网络之间搭建三层ResNet；1.4训练过程使生成器的损失函数、鉴别器的损失函数、分类器的损失函数尽量小，直至设置的迭代次数，从而得到训练好的STARGAN-ResNet网络；1.5构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数；所述转换阶段包括以下步骤：2.1将待转换语料中源说话人的语音通过WORLD语音分析合成模型提取出频谱包络特征xs′、非周期性特征和基频特征F0；2.2将上述源说话人频谱包络特征xs′、目标说话人标签特征ct′输入1.4中训练好的STARGAN-ResNet网络，重构出目标说话人频谱包络特征xtc′；2.3通过1.5得到的基频转换函数，将2.1中提取出的源说话人基频转换为目标说话人的基频特征；2.4将2.2中得到的目标说话人频谱包络特征xtc′、2.3中得到的目标说话人的基频特征F0和2.1中提取的非周期性特征通过WORLD语音分析合成模型，合成得到转换后的说话人语音。2.根据权利要求1所述的基于STARGAN和ResNet的多对多说话人转换方法，其特征在于：步骤1.3和1.4中的训练过程包括以下步骤：1将源说话人的频谱包络特征xs输入生成器G的编码网络，得到说话人无关的语义特征Gxs；2将上述得到的语义特征Gxs与目标说话人的标签特征ct一同输入到生成器G的解码网络进行训练，在训练过程中最小化生成器G的损失函数，从而得到目标说话人的频谱包络特征xtc；3将上述得到的目标说话人的频谱包络特征xtc，再次输入到生成器G的编码网络，得到说话人无关的语义特征Gxtc；4将上述得到的语义特征Gxtc与源说话人标签特征cs输入到生成器G的解码网络进行训练，在训练过程中最小化生成器G的损失函数，得到重构的源说话人的频谱包络特征xsc；5将目标说话人的频谱包络特征xtc、目标说话人频谱特征xt,以及目标说话人的标签特征ct一同输入到鉴别器D中进行训练，最小化鉴别器的损失函数；6将目标说话人的频谱包络特征xtc和目标说话人的频谱包络特征xt输入分类器C进行训练，最小化分类器的损失函数；7回到步骤1重复上述步骤，直至达到设置的迭代次数，从而得到训练好的STARGAN-ResNet网络。3.根据权利要求1所述的基于STARGAN和ResNet的多对多说话人转换方法，其特征在于：步骤2.2中的输入过程包括以下步骤：1将源说话人的频谱包络特征xs′输入生成器G的编码网络，得到说话人无关的语义特征Gxs′；2将上述得到的语义特征Gxs′与目标说话人的标签特征ct′一同输入到生成器G的解码网络，得到目标说话人的频谱包络特征xtc′。4.根据权利要求1所述的基于STARGAN和ResNet的多对多说话人转换方法，其特征在于：所述的生成器G采用二维卷积神经网络，损失函数为：其中，λcls＞＝0、λcyc＞＝0和λid＞＝0是正则化参数，分别表示分类损失、循环一致性损失和特征映射损失的权重，LcycG、LidG分别表示生成器的对抗损失、分类器优化生成器的分类损失、循环一致损失、特征映射损失；所述的鉴别器D采用二维卷积神经网络，损失函数为：其中，Dxt,ct表示鉴别器D判别真实频谱特征，Gxs,ct表示生成器G生成的目标说话人频谱特征，DGxs,ct,ct表示鉴别器判别生成的频谱特征，表示生成器G生成的概率分布的期望，表示真实概率分布的期望；所述的分类器采用二维卷积神经网络C，损失函数为:其中，pCct|xt表示分类器判别目标说话人特征为标签ct的真实频谱的概率。5.根据权利要求4所述的基于STARGAN和ResNet的多对多说话人转换方法，其特征在于：其中，表示生成器生成的概率分布的期望，Gxs,ct表示生成器生成频谱特征；其中，pCct|Gxs,ct表示分类器判别生成目标说话人频谱标签属于ct的概率，Gxs,ct表示生成器生成的目标说话人频谱；其中，GGxs,ct,cs为重构的源说话人频谱特征，为重构源说话人频谱和真实源说话人频谱的损失期望；其中，Gxs,cs为源说话人频谱和说话人标签，输入到生成器后得到的源说话人频谱特征,为xs和Gxs,cs的损失期望。6.根据权利要求5所述的基于STARGAN和ResNet的多对多说话人转换方法，其特征在于：所述的生成器G的编码网络包括5个卷积层，5个卷积层的过滤器大小分别为3*9、4*8、4*8、3*5、9*5，步长分别为1*1、2*2、2*2、1*1、9*1，过滤器深度分别为32、64、128、64、5；生成器G的解码网络包括5个反卷积层，5个反卷积层的过滤器大小分别为9*5、3*5、4*8、4*8、3*9，步长分别为9*1、1*1、2*2、2*2、1*1，过滤器深度分别为64、128、64、32、1；将编码网络的第二卷积层的输出与解码网络的第三卷积层的输出直接相加，然后输入到解码网络的第四卷积层；将编码网络的第三卷积层的输出与解码网络的第二卷积层的输出直接相加，然后输入到解码网络的第三卷积层；将编码网络的第四卷积层的输出与解码网络的第一卷积层的输出直接相加，然后输入到解码网络的第二卷积层。7.根据权利要求5所述的基于STARGAN和ResNet的多对多说话人转换方法，其特征在于：所述的鉴别器D包括5个卷积层，5个卷积层的过滤器大小分别为3*9、3*8、3*8、3*6、36*5，步长分别为1*1、1*2、1*2、1*2、36*1，过滤器深度分别为32、32、32、32、1；所述的分类器C包括5个卷积层，5个卷积层的过滤器大小分别为4*4、4*4、4*4、3*4、1*4，步长分别为2*2、2*2、2*2、1*2、1*2，过滤器深度分别为8、16、32、16、4。8.根据权利要求1所述的基于STARGAN和ResNet的多对多说话人转换方法，其特征在于：在生成器G、鉴别器D和分类器C的每层网络间采用Instancenorm进行数据标准化。9.根据权利要求8所述的基于STARGAN和ResNet的多对多说话人转换方法，其特征在于：所述的Instancenorm的数据标准化公式为：其中，xtijk和ytijk分别为每个Batch中的第t个样本、第i个特征通道的第j行k列元素的标准化前和标准化后的数据，xtilm为每个Batch中的第t个样本、第i个特征通道的第l行m列元素的标准化前的数据，ε＝0.001，H和W分别表示每个Batch中的第t个样本、第i个通道的空间数据的纵向的维度与横向的维度，μti和分别为每个Batch中的第t个样本、第i个特征通道的空间数据的均值和方差。10.根据权利要求1至9任一项所述的基于STARGAN和ResNet的多对多说话人转换方法，其特征在于：所述的基频转换函数为：其中，μs和σs分别为源说话人的基频在对数域的均值和方差，μt和σt分别为目标说话人的基频在对数域的均值和方差，logf0s为源说话人的对数基频，logf0t′为转换后目标说话人的对数基频。

百度查询： 南京邮电大学 基于STARGAN和ResNet的多对多说话人转换方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD