申请/专利权人：西安理工大学

申请日：2021-06-28

公开（公告）日：2024-04-09

公开（公告）号：CN113468865B

主分类号：G06F40/205

分类号：G06F40/205

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2021.10.26#实质审查的生效;2021.10.01#公开

摘要：本发明公开了基于深度学习的地铁设计领域规范的实体间关系抽取方法，采用了一定的输出结构去捕捉存在于句子中的多实体之间的多关系，利用基于实体的掩码信息，屏蔽掉句子中实体之外的部分。同时，将句子中实体的相对位置信息融入到注意力计算过程中，加强了句子中“每个字”的注意力信息。参数选择方面开展了基于迭代次数、学习率、微调使用的BERT层数、最大长度、实体最大距离和最大关系数量等多个超参数的择优过程，以探究不同超参数对实验性能的影响角度和影响程度。方法对比部分选取了和本发明任务设定符合的R‑BERT，着重探究多关系输出结构的可用性，以及实体相对位置信息对任务性能提升的有效性。

主权项：1.基于深度学习的地铁设计领域规范的实体间关系抽取方法，其特征在于：包括以下步骤：步骤1，针对一次句子输入，多对关系同时抽取出来的问题，将BERT-base版本模型输出结构进行调整；步骤1中，针对一次句子输入，多对关系同时抽取出问题，将BERT-base版本模型输出结构进行调整，具体步骤为：步骤1.1，首先获取实体表征，但在该过程中，BERT模型是以字为单位的输入，但是一个实体包含多个字，因此需要采取一定的操作将多个字的隐藏层输出进行合并；步骤1.2，其次对关系进行表示，通过将与关系相关的两个实体的表征向量进行拼接，得到关系的表示信息；步骤1.3，最后，需要一个关系分类器进行分类操作，具体使用softmax函数；步骤2，设计面向多实体对的MEOP-B_CBERT-softmax的模型；步骤2中设计了MEOP-B_CBERT-softmax模型结构；模型的输入是一个句子包含多对实体之间的关系，利用实体的相对位置信息，在B_CBERT模型内部每个字的注意力计算过程中，加入了实体相对位置的计算信息；其次，模型得到了基于实体掩码信息的实体输出表示；实体i包含Ti到Tj的字，实体i的表示是先将Ti到Tj的字的隐藏向量做平均池化操作，之后再与句子中实体的掩码信息相乘，得到输出表示oi，实体i是关系i的首实体；对关系i的尾实体j做同样的操作得到oj，最后将oi和oj进行拼接，经过一个全连接层送入关系分类层，得到分类结果；关系预测的公式描述如下： ；步骤3，将句子中多个关系的信息编码至模型中，在不同层注意力计算的过程中传递关系信息；步骤3中利用边的距离信息来建模“其他字”和实体词之间的距离，并将距离信息应用于注意力计算过程，增强注意力信息以这种方式将句子中多个关系的信息编码至模型中，并在不同层注意力计算的过程中传递关系信息；“其他字”和“负荷等级”的距离用矩阵表示，矩阵的行和列分别代表句子中的一个个字，每个元素代表当前行所代表的字到当前列代表的字之间的距离，“负荷等级”为句中的一个实体，以该实体为核心，属于该实体的字到实体的边的值为0；位于实体左边的字，如果与实体的距离小于设定的最大距离，边的值为该距离值，否则边的值为最大距离值；位于实体右边的字，如果与实体的距离小于设定的最大距离，边的值为最大距离值加上当前距离值，否则为最大距离值的2倍；按照这样的方式得到句中每个字到句中某个实体的边的信息，即相对位置信息；在一定的距离之外，再精确的相对位置信息也是无效的，并且将距离作为一个参数进行限制，能够提升模型在相对距离方面的泛化能力；因此在实验过程中，将相对距离长度作为一个超参数对模型训练做出限制，即对实体的左右距离进行限制；结合注意力计算，应用相对距离信息的计算过程如下： ；当Qi不改变，在被查询的键向量和值向量中分别加入相对位置信息，即和，的表示对应于基于距离的建模到矩阵的转换过程，矩阵的形式化表示如下： ；步骤4，在步骤2的模型中输入《地铁设计规范》GB5017-2013实验数据并进行数据标注；步骤5，分析步骤4实验数据和环境特点；步骤6，设计实验评价指标；步骤7，检验训练过程中模型状态及收敛情况，调整得到最优的超参数；步骤7中开展了基于迭代次数、学习率、微调使用的BERT层数、最大长度、实体最大距离和最大关系数量多个超参数的择优过程，以探究不同超参数对实验性能的影响角度和影响程度；实体间关系抽取的微调超参数选择过程主要探究迭代次数、学习率、预训练模型的不同层、实体最大距离和最大关系数量五个参数的F1值表现；步骤7.1，首先，在全量B_CBERT预训练模型，即应用第12层的模型学习结果，探究迭代次数、学习率、实体最大距离和最大关系数量四个参数对模型性能的影响，且第12层在GPU内存充分利用的情况下，句子最大长度取值为128，批次大小为4；步骤7.1的具体步骤为：步骤7.1.1，实验应用第12层的模型学习结果，在学习率为1e-6，批次大小为4，最大距离为4，最大关系数量为10的条件下，依次探究不同迭代次数和学习率的F1值表现；步骤7.1.2，在此基础上，进一步探究实体最大距离和最大关系数量对模型性能的影响；步骤7.1.3之后在上一步骤前提下，探究最大关系数量对模型性能的影响；由步骤5中句子中关系数量的统计信息以及不同句子长度的统计信息可知，当最大关系数量取值增加时，模型输入句子长度的取值限制了模型所能获取的关系数量，因此模型性能表现几乎趋于稳定；步骤7.2，微调B_CBERT模型每一层的超参数，得到该层的最优参数组合，进而探究模型性能表现最优时所应用的模型层数探究模型不同层的学习结果对实体间关系抽取性能的影响，其他每一层都在第12层所探究的最佳参数组合的基础上进行微调，找到该层的最佳参数组合；步骤8，对比与管道式任务处理方式相符且使用BERT做领域迁移的模型R-BERT，以验证方法的有效性；步骤9，验证MEOP-B_CBERT-softmax是否适用于单关系的抽取。

全文数据：

权利要求：

百度查询： 西安理工大学 基于深度学习的地铁设计领域规范的实体间关系抽取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD