申请/专利权人：大连海事大学

申请日：2023-12-27

公开（公告）日：2024-03-29

公开（公告）号：CN117786078A

主分类号：G06F16/332

分类号：G06F16/332;G06F16/33;G06F16/532;G06F16/583;G06V10/44;G06V10/80;G06V10/82;G06N3/045

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.16#实质审查的生效;2024.03.29#公开

摘要：本发明提供一种基于标签‑负样本图文双向增强特征融合的图文检索模型及工作方法，图文检索模型包括：特征编码单元、特征融合单元以及特征解码单元，特征编码单元用于对数据进行预处理，将多种模态转化为对应模态特征空间中的编码；特征融合单元包括双向融合模块和残差混合模块，双向融合模块利用注意力机制混合两种模态的特征，残差混合模块通过自适应的残差连接方法突出两种模态的共同特征；特征解码单元用于训练损失，全面评估图文检索任务的模型训练效果。本发明提供的图文检索模型能够应用到其他跨模态任务上，根据不同任务的特性增强相应模态的语义，可以进一步提升特征融合的效果。

主权项：1.一种基于标签-负样本图文双向增强特征融合的图文检索模型，其特征在于，包括：特征编码单元、特征融合单元以及特征解码单元，其中：所述特征编码单元，用于对数据进行预处理，将多种模态转化为对应模态特征空间中的编码；所述特征融合单元，包括双向融合模块和残差混合模块，双向融合模块利用注意力机制混合两种模态的特征，残差混合模块通过自适应的残差连接方法突出两种模态的共同特征；所述特征解码单元，用于训练损失，全面评估图文检索任务的模型训练效果。

全文数据：

权利要求：

百度查询： 大连海事大学 一种基于标签-负样本图文双向增强特征融合的图文检索模型及工作方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD