申请/专利权人：陈彬彬

申请日：2021-10-07

公开（公告）日：2023-04-07

公开（公告）号：CN115935949A

主分类号：G06F40/211

分类号：G06F40/211;G06F40/216;G06F40/284;G06N3/048;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.04.25#实质审查的生效;2023.04.07#公开

摘要：本发明公开了一种基于多头自注意力的端到端聋人书面纠错模型及方法，属于自然语言处理领域。本发明所述的模型主要包括四个模块：一个基于shuffle算法的词汇乱序处理模块、一个基于多头自注意力的序列特征提取模块、一个基于门控循环神经网络（GRU）的综合纠错模块、一个基于N‑gram算法的拼写纠错模块。本发明的序列特征提取模块利用多头自注意力端到端的从聋人学生的错误句子中提取深层表征，综合纠错模块利用预训练获得的向量表征，结合上一模块的表征将错误句子重构为语法正确的句子。通过模型集成学习策略，本发明可以纠正多种错误，包括拼写错误和复杂的语法错误。

主权项：1.一种基于多头自注意力的端到端聋人书面纠错模型及方法，其特征在于，包括词汇乱序处理模块、序列特征提取模块、综合纠错模块、拼写纠错模块；词汇乱序处理模块：本发明进一步提取聋人顺序混乱的文本特征，将通过shuffle算法扰乱顺序的句子作为扩增的训练数据；即将原来的源句和标签对中的源句随机切换语序，从而生成新的错误—正确句子对，作为训练数据；该操作是为了让本发明学习到错句到正确句的转换过程中的字表征;但是在对源句顺序进行扰动时，不能采取字粒度的随机切换，因为聋人文本并不是完全无意义的表达；因此扰动操作必须基于分词后，以最大分词为单位进行词汇粒度的乱序处理；序列特征提取模块：本模块核心为多头自注意力机制，其为语言模型Transformer的核心组件；自注意力通过计算序列内部单元输入与其他输入的关系从而获得该单元输入的语义、句法等深度向量表征；原始Transformer的编码器和解码器的输入会对输入进行位置嵌入，以学习序列的顺序表征；本模块试图习得单个汉字的脱离规范语法顺序的深度表征，须忽视输入序列的顺序，因此去除了位置嵌入；注意力的多头操作，可以捕捉个体在多个空间的表征，进而嵌入更多的语义和句法信息；本模块搭建了由6个相同结构层堆栈的编码器，每个层包含一个多头自注意力和全连接层；综合纠错模块：本模块核心为门控循环神经网络，对序列特征提取模块编码的表征进行处理，同时借助预训练策略获取听人文本的符合语法规范的序列表征，以达到进行文本纠错的目的;门控循环神经网络捕获长距离依赖关系的能力能从错误—正确训练集中以及听人文本预训练序列特征中学习到聋人的错误文本到规范文本的或然关系，借此特征进行纠错工作；为应对聋人语料训练数据不足的问题，引入了预训练学习策略；在本模块中使用听人文本对模型进行预训练，以学习更多符合语法规范的句子的序列特征，利用此特征对错误句子进行纠错;实验结果表明，预训练操作不仅有助于模型收敛，预测精度也有很大地提升；拼写纠错模块：聋人文本并不仅仅包含诸如语序、成分确实等句法结构错误，还有大量的音近字、形近字、别字和搭配错误；拼写纠错模块利用汉字混淆集，使用Tri-gram语言模型对后一类错误进行纠错。

全文数据：

权利要求：

百度查询： 陈彬彬 基于多头自注意力的端到端聋人书面纠错模型及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD