申请/专利权人：中国人民解放军国防科技大学

申请日：2021-08-18

公开（公告）日：2021-09-17

公开（公告）号：CN113407759A

主分类号：G06F16/583(20190101)

分类号：G06F16/583(20190101);G06K9/62(20060101);G06N3/04(20060101);G06K9/40(20060101);G06F40/295(20200101)

优先权：

专利状态码：有效-授权

法律状态：2021.11.30#授权;2021.10.08#实质审查的生效;2021.09.17#公开

摘要：本发明公开了一种基于自适应特征融合的多模态实体对齐方法，包括以下步骤：获取两个多模态知识图谱的数据；在结构特征学习模块中，利用图卷积神经网络分别学习所述两个多模态知识图谱的实体的结构向量，生成各自实体的结构特征表示；在视觉特征处理模块中，分别生成各自实体的视觉特征表示；通过自适应特征融合模块，结合两个多模态知识图谱的实体结构特征和实体视觉特征进行实体对齐。本发明针对视觉信息利用差的问题，计算实体‑图片的相似度得分，过滤噪声图片，并基于相似度获得更准确的实体视觉特征表示；设计了自适应特征融合机制，以可变注意力融合实体的结构特征和视觉特征，充分利用多模态信息的互补性，提升了对齐效果。

主权项：1.一种基于自适应特征融合的多模态实体对齐方法，其特征在于，包括以下步骤：步骤1，获取两个多模态知识图谱的数据，以及，其中E代表实体集合；R代表关系集合；T代表三元组集合，是E×R×E的子集；I代表实体相关联的图片集合；步骤2，在结构特征学习模块中，利用图卷积神经网络分别学习所述两个多模态知识图谱的实体的结构向量，生成各自实体的结构特征表示；步骤3，在视觉特征处理模块中，分别生成各自实体的视觉特征表示；步骤4，通过自适应特征融合模块，结合两个多模态知识图谱的实体结构特征和实体视觉特征进行实体对齐；步骤4中所述的自适应特征融合模块，对于每个实体对，，计算和之间的相似度得分，利用该相似度得分来预测潜在的对齐实体，所述的相似度得分为： , 和分别表示实体的结构特征表示和视觉特征表示的相似度，、分别代表结构特征表示和视觉特征表示的贡献率权重； , .其中，K、b、a为超参数，degree表示实体的度，Nhop表示实体与种子实体关联密切程度： ,其中，，分别表示距离种子实体1跳和2跳的数量；w1、w2为超参数。

全文数据：

权利要求：

百度查询： 中国人民解放军国防科技大学 一种基于自适应特征融合的多模态实体对齐方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD