申请/专利权人：中国人民解放军国防科技大学

申请日：2024-01-11

公开（公告）日：2024-04-16

公开（公告）号：CN117892807A

主分类号：G06N5/02

分类号：G06N5/02;G06F40/289;G06N3/0455;G06N3/0499

优先权：

专利状态码：在审-公开

法律状态：2024.04.16#公开

摘要：本发明提供了基于预训练语言模型提示微调的开放知识图谱补全方法，其充分利用预训练语言模型中的开放知识来协助知识图谱补全，方法包括提取所有关系并构造关系特定模板，根据关系特定模板将三元组数据转换成自然语言句子，采用分词器处理成token序列并采用token[MASK]来替换尾实体；获得缺失尾实体的三元组的头实体h的邻居三元组集合，将邻居三元组中的尾实体替换成token[MASK]，输入编码器获得头实体h的邻居嵌入向量；设置软token[con]作为软连接符，以形成整体的软提示，基于Bert模型和MLP网络构建尾实体预测模型，将构建的整体的软提示输入最优的尾实体预测模型，输出尾实体以补全知识图谱。

主权项：1.基于预训练语言模型提示微调的开放知识图谱补全方法，其特征在于，包括以下步骤：步骤1：对于知识图谱中已有的三元组数据，提取其中包含的所有关系r,并为每个关系r构造关系特定模板，并根据关系特定模板，将三元组数据转换成自然语言句子，再采用预训练语言模型的分词器将自然语言句子处理成token序列，并采用特殊token[MASK]来替换其中的尾实体，获得token序列，用于表示三元组语义特征；步骤2：对于缺失尾实体的三元组，对于其头实体h，搜索所有将头实体h作为尾实体的三元组数据，获得头实体h的邻居三元组集合，将邻居三元组中的尾实体统一替换成特殊token[MASK]，输入编码器，输出头实体h的邻居嵌入向量，用于表示局部邻居的结构特征；步骤3：设置自定义的软token作为软连接符，用于将获得的三元组语义特征的token序列和头实体h的邻居嵌入向量进行拼接；步骤4：结合预训练语言模型自带的特殊token与三元组语义特征的token序列、自定义的软token以及结构特征的嵌入向量，获得整体的软提示；步骤5：基于Bert模型和MLP网络构建尾实体预测模型，利用训练集来对尾实体预测模型进行微调，并定义交叉损失函数进行优化，将缺失尾实体的三元组的整体的软提示，输入最优的尾实体预测模型，输出预测得到的尾实体，用预测得到的尾实体补全缺失的三元组，以补全知识图谱。

全文数据：

权利要求：

百度查询： 中国人民解放军国防科技大学 基于预训练语言模型提示微调的开放知识图谱补全方法、装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD