申请/专利权人：山东省计算中心(国家超级计算济南中心)

申请日：2024-01-31

公开（公告）日：2024-04-26

公开（公告）号：CN117669593B

主分类号：G06F40/30

分类号：G06F40/30;G06F40/295

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2024.03.26#实质审查的生效;2024.03.08#公开

摘要：本发明公开的基于等价语义的零样本关系抽取方法、系统、设备及介质，涉及零样本关系抽取技术领域，包括：获取待识别样本；提取待识别样本中句子实例的语义特征向量及关系描述的语义特征向量；对句子实例的语义特征向量和关系描述的语义特征向量，均进行正交变换，对应获得句子语义等价向量和关系语义等价向量；计算句子实例的语义特征向量和关系描述的语义特征向量的匹配分数，及句子语义等价向量和关系语义等价向量的匹配分数；将两种匹配分数加权求和，获得句子实例和关系描述的预测分数；根据句子实例和关系描述的预测分数，确定句子实例和关系描述的预测关系。提高了零样本关系抽取的准确性。

主权项：1.基于等价语义的零样本关系抽取方法，其特征在于，包括：获取待识别样本；提取待识别样本中句子实例的语义特征向量及关系描述的语义特征向量；对句子实例的语义特征向量和关系描述的语义特征向量，均进行正交变换，对应获得句子语义等价向量和关系语义等价向量；计算句子实例的语义特征向量和关系描述的语义特征向量的匹配分数，及句子语义等价向量和关系语义等价向量的匹配分数；将两种匹配分数加权求和，获得句子实例和关系描述的预测分数；根据句子实例和关系描述的预测分数，确定句子实例和关系描述的预测关系；句子实例的语义特征向量包括句子实例的头实体语义嵌入向量、尾实体语义嵌入向量和全局语义嵌入向量；关系描述的语义特征向量包括关系描述的头实体语义嵌入向量、尾实体语义嵌入向量和全局语义嵌入向量；提取待识别样本中句子实例的语义特征向量及关系描述的语义特征向量的过程包括：S21：获取句子实例中各单词的嵌入特征向量，和关系描述中各单词的嵌入特征向量；通过预训练语言模型对句子实例和关系描述进行编码，获得句子实例中各单词的嵌入特征向量，和关系描述中各单词的嵌入特征向量，该过程可以被表述为：；，其中，代表预训练语言模型，代表句子实例中第i个单词的嵌入表示，代表关系描述中第i个单词的嵌入表示；S22：根据句子实例中各单词的嵌入特征向量，获得句子实例的语义总结向量，根据关系描述中各单词的嵌入特征向量，获得关系描述的语义总结向量；其中，根据各单词的嵌入特征向量，获取语义总结向量的过程包括：S221：初始化语义总结向量；S222：根据各单词的嵌入特征向量，确定词贡献向量；S223：分别使用词贡献向量和初始化的语义总结向量，对各单词的嵌入特征向量进行总结，获得词贡献特征嵌入和全局语义特征嵌入；S224：计算词贡献特征嵌入和全局语义特征嵌入之间的距离，使用边界损失优化距离，当损失降至最低时，获得最终的语义总结向量；根据句子实例中各单词的嵌入特征向量，获取句子实例的语义总结向量的过程，具体为：获取句子实例中各个单词的梯度信息；让预训练语言模型经过一次前向计算和后向传播，得到各个单词的梯度信息；前向计算采用交叉熵多分类实现；后向传播即使用微积分中的链式法则求导梯度；该过程可以被表述为：，；其中，代表前向计算，代表后向计算，代表句子实例中第i个单词的梯度信息，代表真实标签，代表预测值，代表交叉熵损失函数，代表后向传播算法，代表模型预测值与真实值之间的差距；根据句子实例中各个单词的嵌入特征向量和梯度信息，获取句子实例中各个单词的贡献度；然后对句子实例中所有单词的贡献度进行归一化，得到词贡献向量；该过程可以被表述为：，；其中，代表句子实例中第i个单词的贡献度，为词贡献向量，n为句子实例中单词的个数；基于获得的单词贡献度，训练一个可以精确提炼句意的语义总结向量，具体实现过程如下：①随机初始化一个正态分布的句子实例的语义总结向量；②使用词贡献向量con对句子实例中各单词的嵌入特征向量的特征进行总结，突出句子实例中有积极贡献的词特征，忽略句子中消极贡献的词特征，获得句子实例的词贡献特征嵌入；③使用初始化的语义总结向量也对句子实例中各单词的嵌入特征向量的特征进行总结，得到句子实例的全局语义特征嵌入；④计算句子实例的词贡献特征嵌入与全局语义特征嵌入之间的距离，使用边界损失函数优化词贡献向量和语义总结向量的距离，随着损失的降低，不断优化语义总结向量smy的语义总结能力，当损失降至最低时的语义总结向量为最终的语义总结向量；上述过程可以被表述为：；其中，代表词贡献特征嵌入与全局语义特征嵌入之间的距离，随着模型的训练，逐渐变小，的语义总结能力也逐渐变强；选取距离最小对应的语义总结向量，为最终的语义总结向量；根据关系描述中各单词的嵌入特征向量，获得关系描述的语义总结向量的过程，与根据句子实例中各单词的嵌入特征向量，获得句子实例的语义总结向量的过程相同；S23：从句子实例中各单词的嵌入特征向量中，提取句子实例的头实体语义嵌入向量和尾实体语义嵌入向量，从关系描述中各单词的嵌入特征向量中，提取关系描述的头实体语义嵌入向量和尾实体语义嵌入向量；该过程可以被描述为：；；；；其中，代表句子实例中头实体对应的单词嵌入，代表句子实例中尾实体对应的单词嵌入，代表关系描述中头实体对应的单词嵌入，代表关系描述中尾实体对应的单词嵌入，FC代表全连接层；S24：根据句子实例的语义总结向量，提取句子实例的全局语义嵌入向量，根据关系描述的语义总结向量，提取关系描述的全局语义嵌入向量；该过程可以被表述为：；；将拼成一个维度为的二维矩阵，即形成原始语义空间下句子实例的语义特征向量；该过程可以被表述为：；其中，代表向量的堆叠函数，是预训练语言模型的隐藏维度；将拼成一个维度为的二维矩阵，即形成原始语义空间下关系描述的语义特征向量；该过程可以被表述为：。

全文数据：

权利要求：

百度查询： 山东省计算中心(国家超级计算济南中心) 基于等价语义的零样本关系抽取方法、系统、设备及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD