申请/专利权人：西安电子科技大学;陕西汇智易知信息科技有限公司

申请日：2023-11-15

公开（公告）日：2024-04-05

公开（公告）号：CN117831574A

主分类号：G10L25/63

分类号：G10L25/63;G10L25/24;G10L13/08;G10L13/04

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.23#实质审查的生效;2024.04.05#公开

摘要：一种基于文本情感的中文情感语音合成方法、系统、设备及介质，方法包括：数据预处理、模型构建、模型训练及优化、语音还原；系统、设备及介质：用于实现一种基于文本情感的中文情感语音合成方法；本发明通过基于变分自动编码器的风格生成模型从输入音频中学习情感风格，通过中文情感分析模块获取输入内容的情感权重向量，同时在情感嵌入获取模块增加输入通道，利用变分自动编码器的特性，结合情感权重微调融合情感风格特征，将特征序列和文本序列输入端到端语音合成模型，提升了模型整体的情感细节建模能力和文本情感关联性，提高了合成语音的情感表现力，解决了情感与内容不协调的问题。

主权项：1.一种基于文本情感的中文情感语音合成方法，其特征在于，包括如下步骤：步骤1，数据预处理：获取情感语音数据，对情感语音数据进行预处理，利用预处理后的情感语音数据构建完备情感语音数据集，所述完备情感语音数据集中的数据包括情感语音文本信息、情感类别信息和情感语音声学特征；获取中文情感文本数据，对中文情感文本数据进行预处理，利用预处理后的中文情感文本数据构建完备情感文本数据集，所述完备情感文本数据集中的数据包括中文情感文本信息和情感类别信息；步骤2，模型构建：构建基于文本情感的中文情感语音合成模型，所述基于文本情感的中文情感语音合成模型包括中文情感分析模型、风格生成模型和端到端语音合成模型；步骤3，模型训练及优化：将步骤1完备情感文本数据集中的中文情感文本信息和情感类别信息转换为音素序列和情感数值标签，将中文情感文本信息和情感语音声学特征输入步骤2构建的中文情感分析模型中，训练并优化中文情感分析模型，得到目标文本的情感权重向量；将步骤1完备情感语音数据集中的情感语音文本信息与情感语音声学特征通过输入处理，转化为音素序列和音频梅尔频谱声学特征，将情感语音文本信息和音频梅尔频谱声学特征输入步骤2构建的风格生成模型和端到端语音合成模型，并对风格生成模型和端到端语音合成模型同时训练优化，得到目标合成语音的梅尔频谱声学特征；步骤4，语音还原：利用WaveGlow声码器处理步骤3得到的梅尔频谱声学特征，并将特征序列还原为情感语音。

全文数据：

权利要求：

百度查询： 西安电子科技大学;陕西汇智易知信息科技有限公司 一种基于文本情感的中文情感语音合成方法、系统、设备及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD