申请/专利权人：北京先声智能科技有限公司

申请日：2020-06-01

公开（公告）日：2024-03-15

公开（公告）号：CN111859927B

主分类号：G06F40/253

分类号：G06F40/253;G06F40/58;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.15#授权;2021.12.10#著录事项变更;2020.11.17#实质审查的生效;2020.10.30#公开

摘要：本发明涉及神经翻译的语法改错模型技术领域，尤其是一种基于注意力共享Transformer的语法改错模型，包括编码器与解码器，所述编码器由多层结构组成，每层结构均包含自注意力层与前馈神经网络，数据输入自注意力层，自注意力层进行计算后输出处理数据至前馈神经网络，前馈神经网络输出处理结果至解码器；所述解码器由自注意力层、编码器解码器注意力层与前馈神经网络构成，解码器的前馈神经网络输出计算数据，并通过Softmax映射到词汇表上的概率分布，本发明的语法改错模型，注意力共享机制下，语法改错模型的效果F0.5几乎与基线系统相同，但却可以减少计算量，加快推理速度。

主权项：1.一种基于注意力共享Transformer的语法改错装置，其特征在于，用于执行语法改错任务，所述语法改错装置的输入为第一语种的单词，输出为第二语种的单词，所述第一语种和第二语种为不同的语种；所述基于注意力共享Transformer的语法改错装置包括：编码器与解码器，所述编码器由多层结构组成，每层结构均包含自注意力层与前馈神经网络，数据输入自注意力层，自注意力层进行计算后输出处理数据至前馈神经网络，前馈神经网络输出处理结果至解码器；所述解码器由自注意力层、编码器解码器注意力层与前馈神经网络构成，数据输入自注意力层，自注意力层进行计算后输出处理数据至编码器解码器注意力层，同时编码器输出的数据输入编码器解码器注意力层，编码器解码器注意力层处理数据后输出至解码器的前馈神经网络，由解码器的前馈神经网络输出计算数据，并通过Softmax映射到词汇表上的概率分布；编码器中的自注意力层和解码器中的自注意力层为相同的机制模块，自注意层包括注意力机制和多头注意力；编码器中的前馈神经网络和解码器中的前馈神经网络为相同的机制模块；编码器和解码器中的各个连接模块之间，从前一模块输出在输入下一模块前需要进行残差连接与层归一化处理。

全文数据：

权利要求：

百度查询： 北京先声智能科技有限公司 一种基于注意力共享Transformer的语法改错模型

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD