申请/专利权人：北京北大软件工程股份有限公司

申请日：2023-12-15

公开（公告）日：2024-04-02

公开（公告）号：CN117421609B

主分类号：G06F18/22

分类号：G06F18/22;G06F40/30;G06V10/74;G06V10/75;G06Q50/00

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2024.02.06#实质审查的生效;2024.01.19#公开

摘要：本发明公开了一种应用于社交媒体的图像与文本语义相似度计算方法及系统，涉及语义相似度计算技术领域，该方法包括：通过图像场景图生成模型和文本场景图生成模型分别将图像和文本转化为图像场景图和文本场景图；根据图像场景图和文本场景图中物体‑关系‑物体三元组分别构建图像高层语义子图和文本高层语义子图；基于图像场景图和文本场景图中的物体节点和关系节点，利用向量点积计算局部细节匹配分数；基于高层语义子图和文本高层语义子图计算高层语义匹配分数；基于局部细节匹配分数和高层语义匹配分数计算图像与文本的语义相似度。本发明从底层局部细节到高层语义信息来衡量两个模态语义的相关程度，得到更加准确的图像与文本的语义相似度。

主权项：1.一种应用于社交媒体的图像与文本语义相似度计算方法，其特征在于，包括：获取社交媒体上用户上传的图像和文本；通过图像场景图生成模型和文本场景图生成模型分别将所述图像和所述文本转化为图像场景图和文本场景图；所述图像场景图和所述文本场景图均包括物体节点和关系节点；根据所述图像场景图和所述文本场景图中物体-关系-物体三元组分别构建图像高层语义子图和文本高层语义子图；基于所述图像场景图和所述文本场景图中的物体节点和关系节点，利用向量点积计算局部细节匹配分数；具体包括：利用节点嵌入表示算法获取所述图像场景图和文本场景图上的节点表示向量；所述节点表示向量包括物体节点表示向量和关系节点表示向量；根据所述图像场景图的物体节点表示向量和所述文本场景图的物体节点表示向量，利用向量点积计算物体节点相似度；根据所述图像场景图的关系节点表示向量和所述文本场景图的关系节点表示向量，利用向量点积计算关系节点相似度；根据所述物体节点相似度和所述关系节点相似度计算局部细节匹配分数；基于所述高层语义子图和所述文本高层语义子图计算高层语义匹配分数；具体包括：通过图卷积神经网络分别对所述图像高层语义子图和所述文本高层语义子图进行消息传递，得到所述图像高层语义子图和所述文本高层语义子图的节点表示向量；基于所述图像高层语义子图和所述文本高层语义子图的节点表示向量，通过逐维度元素最大池化算法分别计算得到所述图像高层语义子图和所述文本高层语义子图的节点全局表示向量；基于所述图像场景图和所述文本场景图的节点表示向量，通过自注意力机制分别生成所述图像场景图和所述文本场景图的节点全局表示向量；通过全连接神经网络分别聚合所述图像高层语义子图的节点全局表示向量和所述图像场景图的节点全局表示向量以及所述文本高层语义子图的节点全局表示向量和所述文本场景图的节点全局表示向量，得到图像高层语义表示向量和文本高层语义表示向量；基于所述图像高层语义表示向量和所述文本高层语义表示向量，计算高层语义匹配分数；基于所述局部细节匹配分数和所述高层语义匹配分数计算所述图像与所述文本的语义相似度；其中，所述局部细节匹配分数计算公式为： 其中，表示局部细节匹配分数，表示物体节点相似度，表示关系节点相似度，表示图像场景图中物体节点个数，表示文本场景图中物体节点个数，表示文本场景图中第p个物体节点的表示向量，表示图像场景图中第i个物体节点的表示向量，表示图像场景图中关系节点个数，表示文本场景图中关系节点个数，表示文本场景图中第q个关系节点的表示向量，表示文本场景图中第j个关系节点的表示向量。

全文数据：

权利要求：

百度查询： 北京北大软件工程股份有限公司 应用于社交媒体的图像与文本语义相似度计算方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD