申请/专利权人：深圳市网联安瑞网络科技有限公司;中国电子科技集团公司第三十研究所

申请日：2023-12-08

公开（公告）日：2024-03-22

公开（公告）号：CN117746831A

主分类号：G10L13/02

分类号：G10L13/02;G10L13/047;G10L13/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明属于语音合成技术领域，公开了基于特定人物少样本情况下情感可控语音合成方法及系统。该方法将选定的特定说话音频输入到数据自动化处理模型，形成特定人的可训练数据；针对特定人的可训练数据，利用声纹提取模块和情感特征提取模块分别提取对应声纹特征和情感特征；将得到的融合情感特征后的音素序列特征，嵌入到不同网络中；进行整个端到端的语音合成训练和推理流程，将所提取的说话人特征嵌入到不同的网络中，得到具有指定情感、指定说话人的情感语音合成。本发明采用端到端的语音合成流程，基于数据自动化处理模块形成实现快速响应的自动化训练流程。

主权项：1.一种基于特定人物少样本情况下情感可控语音合成方法，其特征在于，该方法包括以下步骤：S1，将选定的特定说话音频输入到数据自动化处理模型，形成特定人的可训练数据；S2，针对特定人的可训练数据，利用声纹提取模块和情感特征提取模块，分别提取对应声纹特征和情感特征；将情感特征嵌入到音素编码后的特征，情感特征和音素序列特征融合，通过相加得到融合情感特征后的音素序列特征；S3，将得到的融合情感特征后的音素序列特征，嵌入到先验编码器，声纹特征嵌入到随机时长预测模块，后验编码器及流网络和HiFiGAN声码器中；S4，基于预训练的声纹提取模块，在大量说话人数据上，对说话人声纹提取网络进行训练，使得说话人声纹提取网络能区分与说话内容无关的不同人的音色特征，情感提取模块同样事先在大量的情感识别数据进行训练，使得情感提取模块具备情感特征提取的能力，最后将所提取的声纹特征和情感特征用于整个端到端的语音合成训练，推理时则根据不同的参考音频情感，和不同的特定人语音，合成具有指定情感、指定说话人的情感语音合成。

全文数据：

权利要求：

百度查询： 深圳市网联安瑞网络科技有限公司;中国电子科技集团公司第三十研究所 基于特定人物少样本情况下情感可控语音合成方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD