申请/专利权人：中科极限元(杭州)智能科技股份有限公司

申请日：2021-06-23

公开（公告）日：2024-02-27

公开（公告）号：CN113488028B

主分类号：G10L15/06

分类号：G10L15/06;G10L15/02;G10L19/04;G10L19/16;G10L19/26;G10L25/24;G10L25/30;G10L25/45

优先权：

专利状态码：有效-授权

法律状态：2024.02.27#授权;2021.10.26#实质审查的生效;2021.10.08#公开

摘要：本发明公开了基于快速跳跃解码的语音转写识别训练解码方法及系统，包括声学特征提取模块，提取声学特征序列；声学编码器，将声学特征序列转变为声学编码状态序列；解码器，基于声学编码状态序列，在预测概率分布，训练阶段计算损失；在解码阶段预测当前位置，将非空格标记为触发解码位置；语言预测器，用于建模文本标记之间的时序依赖关系；联合网络模块，通过声学编码状态序列和文本编码状态序列组合，在训练阶段预测得到概率分布；在解码阶段基于概率分布，使用搜索算法对解码路径进行更新；联合损失计算模块，训练阶段，根据解码器得到的概率分布，以及联合网络模块预测得到的概率分布，计算联合损失，根据联合损失计算梯度，进行反向传播。

主权项：1.基于快速跳跃解码的语音转写识别训练方法，其特征在于包括如下步骤：S11，获取语音训练数据和对应的文本标注训练数据，并提取一系列语音训练数据的特征，构成声学特征序列；S12，将声学特征序列进行声学编码，输出声学编码状态序列；S13，将声学编码状态序列进行解码，得到概率分布，并计算损失LCTC；S14，将对应的文本标注训练数据进行语言预测，并计算得到文本编码状态序列；S15，将声学编码状态序列和文本编码状态序列组合，并输入联合网络，预测得到概率分布；S16，根据解码预测得到的概率分布，以及联合网络预测得到的概率分布，计算对齐损失LAL-Transducer，使联合网络预测到空格的位置与解码预测的空格标记的位置对齐，对齐损失包括如下步骤：S161，根据解码预测得到的概率分布，计算预测空格的概率分布，在t时刻预测得到空格标记的概率： 其中，表示解码过程的最后映射层在第t时刻，对应词表V中第j个单元的值，表示最后映射层在第t时刻，对应词表中空格标记位置的值，预测得到非空格标记的概率表示为S162，构建概率图，用于对齐损失的计算，针对长度为T的声学编码状态向量和长度为U的文本编码状态向量，其概率图大小为长为T，宽为U+1的矩形，+1表示添加了一个额外的空格标记，概率图中存在横向转移和纵向转移，横向转移表示在任意节点t,u预测得到一个空格标记，纵向转移表示在任意节点t,u预测得到一个非空格标记；S163，对齐损失的函数： 其中，γ1和γ2分别是非空格对齐权重和空格对齐权重，PAt,u|x表示概率图中经过节点t,u的所有可行路径的概率和；表示概率图中经过节点t,u，并以此节点位置预测标记为非空格标记的所有可行路径的概率和；表示概率图中经过节点t,u，并以此节点位置预测标记为空格标记的所有可行路径的概率和；S17，将损失LCTC和对齐损失LAL-Transducer相加得到联合损失LJoint＝1-λLCTC+λLAL-Transducer，λ表示对齐权重，根据联合损失LJoint计算梯度，进行反向传播；S18，循环执行S12至S17，直至达到训练结束条件，完成训练。

全文数据：

权利要求：

百度查询： 中科极限元(杭州)智能科技股份有限公司 基于快速跳跃解码的语音转写识别训练解码方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD