申请/专利权人：北京达佳互联信息技术有限公司;中国科学技术大学

申请日：2021-06-29

公开（公告）日：2024-03-22

公开（公告）号：CN113469197B

主分类号：G06V30/18

分类号：G06V30/18;G06V30/19;G06F40/126

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2021.10.26#实质审查的生效;2021.10.01#公开

摘要：本公开提供一种图文匹配方法、装置、设备以及存储介质，涉及网络信息处理技术领域，以至少解决现有技术中无法准确图文匹配结果的问题。该方法包括：获取待分析图像和待分析文本；将待分析图像和待分析文本输入到预先训练好的图文匹配模型，获取图像模态内特征序列和图像短语序列，以及文本模态内特征序列和文本短语序列；图像模态内特征序列包括待分析图像中多个区域的图像模态内特征；文本模态内特征序列包括与待分析文本中每个词语的文本模态内特征；对图像模态内特征序列、图像短语序列、文本模态内特征序列和文本短语序列进行对齐处理，确定待分析图像和待分析文本的匹配结果。

主权项：1.一种图文匹配方法，其特征在于，包括：获取待分析图像和待分析文本；将所述待分析图像和所述待分析文本输入到预先训练好的图文匹配模型，获取图像模态内特征序列和图像短语序列，以及文本模态内特征序列和文本短语序列；所述图像模态内特征序列包括所述待分析图像中多个区域的图像模态内特征；所述文本模态内特征序列包括与所述待分析文本中每个词语的文本模态内特征；所述图像短语序列包括所述待分析图像对应的多个图像短语；所述文本短语序列包括所述待分析文本对应的多个文本短语；根据所述图像模态内特征序列、所述图像短语序列、所述文本模态内特征序列和所述文本短语序列，确定所述待分析图像和所述待分析文本对应的全局对齐向量和局部对齐向量序列；根据所述全局对齐向量和所述局部对齐向量序列，创建构造图；对所述构造图进行图卷积处理，得到卷积后的构造图；对所述卷积后的构造图中的全局对齐向量进行第四全连接处理，得到所述待分析图像和所述待分析文本的匹配结果。

全文数据：

权利要求：

百度查询： 北京达佳互联信息技术有限公司;中国科学技术大学 图文匹配方法、装置、设备以及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD