申请/专利权人：国网山东省电力公司威海供电公司

申请日：2023-11-01

公开（公告）日：2024-01-23

公开（公告）号：CN117435744A

主分类号：G06F16/36

分类号：G06F16/36;G06F16/33;G06F40/30;G06N3/0455;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.02.09#实质审查的生效;2024.01.23#公开

摘要：本发明提出一种基于跨模态语义对齐的多模态知识图谱表示学习方法，包括步骤1、利用Bert模型、Vit模型以及HittER模型分别提取多模态知识图谱的文本模态、图像模态、结构化模态数据的特征向量表示；步骤2、基于改进的跨模态的对比学习算法，实现对多模态特征提取的语义信息的整合；步骤3、基于改进的Transformer架构，根据不同模态特征间的语义关联实现基于图谱结构的多模态特征融合；步骤4、基于步骤2中改进的跨模态的对比学习算法以及步骤3中改进的Transformer架构，提出多种跨模态预训练任务，得到基于多模态知识图谱表示学习模型。上述方法解决了现有多模态知识图谱表示学习方法在多模态特征融合过程中的噪音干扰问题，提高了模型的稳定性和鲁棒性。

主权项：1.一种基于跨模态语义对齐的多模态知识图谱表示学习方法，其特征在于：包括以下步骤：步骤1、利用Bert模型、Vit模型以及HittER模型分别提取多模态知识图谱的文本模态、图像模态、结构化模态数据的特征向量表示；步骤2、基于改进的跨模态的对比学习算法，实现对多模态特征提取的语义信息的整合；步骤3、基于改进的Transformer架构，根据不同模态特征间的语义关联实现基于图谱结构的多模态特征融合；步骤4、基于步骤2中改进的跨模态的对比学习算法以及步骤3中改进的Transformer架构，提出多种跨模态预训练任务，得到基于多模态知识图谱表示学习模型，其中预训练任务包括掩码图像预测任务、掩码文本预测任务、三元组连接预测任务和掩码实体预测任务。

全文数据：

权利要求：

百度查询： 国网山东省电力公司威海供电公司 基于跨模态语义对齐的多模态知识图谱表示学习方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD