申请/专利权人：长春理工大学

申请日：2023-08-25

公开（公告）日：2024-03-22

公开（公告）号：CN117133275B

主分类号：G10L15/06

分类号：G10L15/06;G10L15/02;G10L15/16

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2023.12.15#实质审查的生效;2023.11.28#公开

摘要：基于单元点积相似度特征的并行化语音识别模型建立方法属于语音处理技术领域。本发明提出了单元点积相似度计算方法，该方法既保证了经过等比缩放后的向量之间的相似度仍然一致的特性，又保证了所有向量的相似度结果计算的有界性，有效解决了点积相似度与余弦相似度两种相似度计算中存在的问题。本发明提出了一种新的端到端语音识别模型的优化方法，提出了并行化的贪婪汤算法。根据实验数据以及选用硬件设备的不同，对并行化的贪婪汤算法进一步优化，通过动态分组可以使并行化贪婪汤算法充分利用已有硬件设备的性能，针对大数量的语音数据集具有良好的模型优化效果和时间效率的提升。

主权项：1.基于单元点积相似度特征的并行化语音识别模型建立方法，其特征是：包括以下步骤，并且以下步骤顺次进行，步骤一、待识别语音输入到语音特征处理模块对语音信号进行特征提取，获得待识别语音向量特征；构建语音识别模型，将模型中的向量模长和待识别语音向量特征模长进行归一化处理，让语音向量特征在归一化的数字范围内重新分布；步骤二、将归一化之后的模型向量与待识别语音向量进行点积操作，计算并获得模型向量与待识别语音向量的单元点积相似度；步骤三、将注意力中的缩放系数引入到单元点积相似度中，在点积的结果上乘以一个常数，对模型向量与待识别语音向量归一化之后的数值结果进行缩放，得到缩放后的单元点积相似度从而增加两个向量的区分度；用缩放后的单元点积相似度替代传统注意力机制中查询向量与键向量之间的点积相似度，并以此定义基于单元点积相似度的注意力机制；步骤四、将基于单元点积相似度的注意力机制运用到Transformer和Conformer框架中，在注意力机制下建立编码解码模型，该编码解码模型作为语音识别模型；步骤五、通过采集的开源语音数据集作为训练集对语音识别模型进行训练，一个轮次训练的模型个数由相应硬件配置的GPU个数确定，有N个GPU一个轮次能够同时对连续的N个没判断过的新模型进行并行处理，由于语音识别模型属于神经网络模型，在每个轮次的训练中，神经网络的参数用于存储网络训练过程中学习到的语音信号特征和发音模式；每个轮次的训练均生成不同的模型，根据模型的失真效果，将模型从好到坏进行排序，并依次对模型进行标记，对标记的模型进行所有可能的排列组合，将每个组合训练时用到的神经网络的各参数保存下来，并按照失真度进行排序，取指定组数的模型，对这些模型的参数进行平均获得参数平均模型，再对参数平均后的模型进行筛选，选出各种组合中平均模型失真效果最低的模型集合，对组合中加入的模型下标进行更新，持续进行循环训练，直至最后一个模型加入完成，最后筛选出的模型就是识别效果最好的模型。

全文数据：

权利要求：

百度查询： 长春理工大学 基于单元点积相似度特征的并行化语音识别模型建立方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD