申请/专利权人：华南理工大学

申请日：2021-11-26

公开（公告）日：2024-04-05

公开（公告）号：CN114218365B

主分类号：G06F16/332

分类号：G06F16/332;G06F16/33;G06F16/383;G06N3/0442;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2022.04.08#实质审查的生效;2022.03.22#公开

摘要：本发明公开了一种机器阅读理解方法、系统、计算机及存储介质，方法包括：获取原始文段文本和原始问题文本的单词级信息、字符级信息以及特征信息；将获得的信息进行向量表征以及向量表征融合；进行层次注意力交互，并将各层的交互结果进行拼接；对交互后的文段表征和交互后的问题表征进行特征提取；进行多轮回答，将每轮的生成的双指针分布结果进行汇总，并计算汇总结果的随机掩码平均值，得到最终的双指针分布，分布中最大元素对应的索引即为答案在文段中的起、止位置。本发明以提出的多样性循环单元为核心模块，通过降维自注意力机制与自适应局部信息门控机制提取全局与局部信息，实现了兼顾准确率、计算参数量的最佳机器阅读理解综合性能。

主权项：1.一种机器阅读理解方法，其特征在于，包括以下步骤：S1、获取原始文段文本和原始问题文本的单词级信息、字符级信息以及特征信息；S2、将步骤S1获得的信息进行向量表征以及向量表征融合，得到原始文段表征de和原始问题表征qe，以及融合后的综合文段表征du和综合问题表征qu；S3、将原始文段表征de、原始问题表征qe、综合文段表征du、综合问题表征qu进行层次注意力交互，并将各层的交互结果进行拼接，得到交互后的文段表征d和交互后的问题表征q；S4、对交互后的文段表征d和交互后的问题表征q进行特征提取，得到文段的上下文表征dx和问题的上下文表征qx；S5、利用文段的上下文表征dx和问题的上下文表征qx进行多轮回答，将每轮的生成的双指针分布结果进行汇总，并计算汇总结果的随机掩码平均值，得到最终的双指针分布，分布中最大元素对应的索引即为答案在文段中的起、止位置；所述步骤S2具体包括：S2-1、使用GloVe和CoVe来表征单词向量，得到wglove∈RL×300以及两层wcove∈RL×600；使用ELMo来表征字符向量，得到wchar∈RL×1024以及两层welmo∈RL×1024；通过特征工程得到特征向量wfeature∈RL×24，将wglove、wchar、wfeature以及wcove与welmo的第一层进行拼接，送入两层一维卷积前馈网络CFF中，得到一度融合后的表征wffn∈RL×256；S2-2、将wcove与welmo的第一层与wffn拼接得x∈RL×1880，将x送入多样性循环单元DRU中计算，得到二度融合后的表征wdru0∈RL×256；S2-3、将wglove、welmo的第二层与wdru0进行拼接，再送入一个多样性循环单元DRU中，得到三度融合后的表征wdru1∈RL×256；S2-4、将wdru0与wdru1进行拼接作为融合后的综合表征u∈RL×512；将wcove、welmo的第二层与wglove进行拼接作为原始表征e∈RL×1924；S2-5、分别对原始文段文本与原始问题文本执行S2-1～S2-4的过程，得到原始文段表征de、原始问题表征qe、融合后的综合文段表征du以及综合问题表征qu；所述步骤S3具体包括：S3-1、将综合文段表征du与原始文段表征de进行拼接，将综合问题表征qu和综合文段表征du进行拼接，通过线性变换降低拼接表征的词向量维数来降低计算开销，得到与dr＝ReLUWd·[du|de]+bdqr＝ReLUWq·[qu|qe]+bq其中Ld与Lq分别为文段和问题的序列长度；ReLU为激活函数；Wd和Wq为可学习的矩阵；bd和bq为可学习的偏置；S3-2、将文段与问题各自的综合表征u拆分为两层wdru0和wdru1，同时将u送入一层多样性循环单元DRU中得到wdru2，将这三层具有递进关系的表征作为层次表征，记文段与问题各自的三个层次表征分别为与i＝0，1，2；S3-3、对每个层次i对应的文段与问题表征进行双向注意力交互计算，得到交互后的各层次文段表征i＝0，1，2，将其与文段综合表征du进行拼接作为最终交互后的整体文段表征同时将第三层次问题表征q2作为最终交互后的整体问题表征

全文数据：

权利要求：

百度查询： 华南理工大学 一种机器阅读理解方法、系统、计算机及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD