申请/专利权人：神思电子技术股份有限公司

申请日：2020-06-19

公开（公告）日：2024-04-09

公开（公告）号：CN111753053B

主分类号：G06F16/33

分类号：G06F16/33

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2020.10.30#实质审查的生效;2020.10.09#公开

摘要：本发明公开一种基于预训练模型的阅读理解改进方法，本方法针对基于预训练模型的多文档或者片段阅读理解方法进行改进。当前的方法是将每个片段中的所有答案进行归一化，各个片段之间独立，这样可能会导致片段A中较差答案的分数反而比片段B中较好答案的分数高。本发明提出将同一个问题对应多个片段的所有答案预测值统一进行归一化，从而得到每个答案全局得分。进而，使得训练出来的模型更好，预测时得到的答案也是全局最优。

主权项：1.一种基于预训练模型的阅读理解改进方法，其特征在于：包括以下步骤：S01）、文档重组，将文档按照一定的方式切分为片段，使得每个片段和问题的长度之和满足预训练模型对输入长度的限制；S02）、模型输入规整，以batch为组织单位，通过文本相似度计算方法截取与问题最相似的n个文档片段，使得每个batch共对应m个问题，每个问题对应n个文档片段；S03）、模型预测，将每个batch进行预测，得到文档片段中每个位置作为开始、结束位置的概率；S04）、计算边界得分，将同一个问题对应的所有文档片段中的位置进行全局归一化，得到每个位置作为开始、结束位置的全局分数，公式为： ， ，其中、分别表示全局归一化之后第i个问题对应所有文档中第j个位置作为开始、结束的全局分数，，，，由经过矩阵变换得到，表示步骤S03计算得到的文档片段中每个位置作为开始、结束位置的概率集合，中每个元素的尺寸均为（n*m,ld,2），中每个元素的尺寸为（m,n*ld,2），n等于问题对应片段个数，m等于问题个数，ld等于509减去问题的长度，2表示开始、结束两个维度；S05）、损失计算，通过交叉熵计算每个问题的预测损失，将当前batch中所有问题的损失求平均作为该batch的损失值，根据该损失值优化预训练模型参数。

全文数据：

权利要求：

百度查询： 神思电子技术股份有限公司 一种基于预训练模型的阅读理解改进方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD