申请/专利权人：东北大学

申请日：2024-01-05

公开（公告）日：2024-04-02

公开（公告）号：CN117808094A

主分类号：G06N5/025

分类号：G06N5/025;G06N5/02;G06F40/279;G06F40/30;G06N3/045

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.19#实质审查的生效;2024.04.02#公开

摘要：本发明提供一种基于深度学习的实体关系联合抽取方法，涉及自然语言处理技术领域。为进一步挖掘关系的语义信息和缓解重叠三元组问题，本发明构建了一种基于深度学习的实体关系联合抽取模型，利用TransE方法对三元组进行双向抽取，根据抽取出的头实体和尾实体以及关系得到对应的头尾实体表示，并将其分别和抽取出来的头尾实体进行相似度的计算，选择相似度排序在一定范围内的头尾实体和对应的关系组成三元组，本发明通过双向抽取可以很大程度上解决重叠三元组的问题，不再将关系作为离散的标签，而是捕获了更细粒度的语义信息，而且还充分考虑了实体和关系之间的联系，使得关系在抽取三元组的时候发挥了很大的作用，进而提升了三元组抽取的准确率。

主权项：1.一种基于深度学习的实体关系联合抽取方法，其特征在于，包括如下步骤：步骤1：获取数据集；所述数据集中包括若干个句子及其所包含的所有的关系三元组；所述关系三元组的形式为头实体，关系，尾实体；步骤2：将数据集按照设定比例划分为训练集、测试集和验证集；步骤3：对训练集、测试集和验证集中的关系进行规范化；所述规范化的方法为使用关系所对应的语义代替关系；步骤4：构建基于深度学习的实体关系联合抽取模型；所述基于深度学习的实体关系联合抽取模型包括编码层、二元实体识别器和三元组抽取器；所述编码层由预训练语言模型BERT组成，用于接收输入的句子及句子所在的数据集中包含的所有规范化后的关系，对句子和规范化后的关系进行编码，得到句子的上下文表示Hi和每个关系的上下文表示rn，将句子的上下文表示Hi和将每个关系的上下文表示rn发送给二元实体识别器，其中n为关系的序号，i为token的序号；所述二元实体识别器包括头实体识别器和尾实体识别器两部分，头实体识别器和尾实体识别器均为一个全连接网络，所述头实体识别器用于接收编码层发送的句子的上下文表示Hi，使用二元标注序列的方式从句子的上下文表示Hi中分别识别出第i个token为头实体的开始位置的概率和结束位置的概率，将第i个token为头实体的开始位置的概率和结束位置的概率与设定阈值进行比较，如果第i个token为头实体的开始位置的概率或结束位置的概率大于设定阈值γ，则判定为头实体的开始位置或结束位置，得到头实体的跨度，进而得到头实体；所述尾实体识别器用于接收编码层发送的句子的上下文表示Hi，使用二元标注序列的方式从句子的上下文表示Hi中分别识别出第i个token为尾实体的开始位置的概率和结束位置的概率，将第i个token为尾实体的开始位置的概率和结束位置的概率与设定阈值进行比较，如果第i个token为尾实体的开始位置的概率或结束位置的概率大于设定阈值γ，则判定其为尾实体的开始位置或结束位置，得到尾实体的跨度，进而得到尾实体；所述三元组抽取器用于对接收的头实体和尾实体进行平均池化，将每个头实体和尾实体的开始和结束位置转换为对应的实体表示，分别得到头实体表示hp和尾实体表示tq，其中p为头实体表示的序号，q为尾实体表示的序号；利用TransE的方法根据得到的每个头实体表示hp和每个关系的上下文表示rn，计算得到对应的尾实体表示tpn，将计算得到的尾实体表示tpn与尾实体表示tq进行相似度的计算，并按照相似度进行排序，通过构造负例的形式来设定相似度的范围，选择相似度在设定范围内的尾实体和对应的头实体、关系组成三元组；同时利用TransE的方法根据得到的每个尾实体表示tq和每个关系的上下文表示rn，计算得到对应的头实体表示hqn，将计算得到的头实体表示hqn与头实体表示hp进行相似度的计算，并按照相似度进行排序，通过构造负例的形式来设定相似度的范围，选择相似度在设定范围内的头实体和对应的尾实体、关系组成三元组；并将得到的两个方向的三元组做并集的处理进而得到所有的可能的三元组；步骤5：利用训练集和验证集对基于深度学习的实体关系联合抽取模型进行训练，直到完成设定的训练轮次，停止训练，进而得到训练完成的实体关系联合抽取模型；步骤6：将测试集输入到训练完成的实体关系联合抽取模型，得到测试集中每一个句子所包含的所有三元组。

全文数据：

权利要求：

百度查询： 东北大学 一种基于深度学习的实体关系联合抽取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD