申请/专利权人：北京天翔睿翼科技有限公司

申请日：2024-01-23

公开（公告）日：2024-04-02

公开（公告）号：CN117636842B

主分类号：G10L13/10

分类号：G10L13/10;G10L25/30

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2024.03.19#实质审查的生效;2024.03.01#公开

摘要：本发明公开了一种基于韵律情感迁移的语音合成系统及方法，该系统包括：文本编码器模块、序列对齐模块、多级风格适配器、内容适配器模块、解码器模块，其中，文本编码器模块用于TTS系统中输入的文本进行向量化编码，此种编码会混合一些风格属性；序列对齐模块用于语音‑文本的对齐，对齐后通过内容适配器模块，消除这种风格属性；多级风格适配器对参考音频进行多尺度特征的提取，并将这些多尺度特征进行融合，再和内容适配后的输出一起输入语音帧解码器进行梅尔声谱的输出；最后接入声码器即可将梅尔声谱转为语音波形。本申请不仅能够对韵律进行细粒度建模，而且解决了长句依赖中局部和全局信息的获取问题，提高了语言合成系统的泛化能力。

主权项：1.一种基于韵律情感迁移的语音合成系统，其特征在于，所述系统包括：文本编码器模块、序列对齐模块、多级风格适配器、内容适配器模块、解码器模块，其中，所述文本编码器模块，用于将音素级别的文本序列和声调序列通过神经网络模型编码成文本序列级别的编码向量，并输出给所述序列对齐模块；所述序列对齐模块，用于将所述文本序列级别的编码向量由音素长度拓展变化到语音帧长度，获得文本和语音对齐后的帧级别的编码向量，并输出给所述内容适配器模块；所述内容适配器模块，用于对所述帧级别的编码向量中混合的风格信息进行消除处理，以获得标准化后的文本向量，并输出给所述解码器模块；所述多级风格适配器，用于对参考音频从多个尺度进行韵律特征的提取，以捕捉语句中的局部信息和全局信息，得到多尺度下的风格编码向量，并输出给所述解码器模块；所述解码器模块，用于对所述风格编码向量和所述标准化后的文本向量进行解码，解码成具有梅尔声谱特征的语音帧数据。

全文数据：

权利要求：

百度查询： 北京天翔睿翼科技有限公司 基于韵律情感迁移的语音合成系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD