龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：大连海事大学
申请日：2024-03-21
公开（公告）日：2024-04-26
公开（公告）号：CN117932099A
主分类号：G06F16/535
分类号：G06F16/535;G06F16/583;G06N3/0464;G06N3/08
优先权：
专利状态码：在审-实质审查的生效
法律状态：2024.05.14#实质审查的生效;2024.04.26#公开
摘要：本发明提供一种基于修改文本反馈的多模态图像检索方法，属于多模态图像检索技术领域，包括：选择目标图像集，获取参考图像，利用CLIP的图像编码器提取参考图像特征；输入修改文本，利用CLIP的文本编码器提取修改文本特征，将参考图像特征和修改文本特征输入至特征组合器进行特征融合，得到组合特征；提取候选图像集的特征，与组合特征进行相似度计算，将相似度前50的图像划分为高置信度目标图像，根据相似度大小对高置信度目标图像进行排名，将置信度最高的图像作为新的参考图像，根据设定的相似度阈值判断是否需要再次补充修改文本，直至找到目标图像。本发明还提出了基于两阶段训练和双重注意力的组合图像检索模型，来提升检索准确性。
主权项：1.一种基于修改文本反馈的多模态图像检索方法，其特征在于，包括：S1、选择目标图像集，获取参考图像，并利用CLIP图像编码器提取参考图像特征；S2、输入修改文本，并利用CLIP文本编码器提取修改文本特征，并将参考图像特征和修改文本特征输入至特征组合器；S3、对输入特征组合器的特征进行特征增强，并进行特征融合，得到组合特征；S4、提取候选图像集的特征，并与组合特征进行相似度计算，将相似度前50的图像划分为高置信度目标图像，根据相似度大小对高置信度目标图像进行排名，并将置信度最高的图像作为新的参考图像；S5、判断新的参考图像的相似度值是否达到设定的相似度阈值，若新的参考图像的相似度值达到设定的相似度阈值，则将新的参考图像作为最终目标图像；若新的参考图像的相似度值没有达到设定的相似度阈值，则再次补充修改文本，重复执行步骤S1至步骤S4进行多次匹配，且每次匹配前，降低非高置信度目标图像的本次相似度计算的置信系数，直到相似度排名前五十的高置信度目标图像中出现一个达到相似度阈值要求的图像。
全文数据：
权利要求：
百度查询： 大连海事大学 一种基于修改文本反馈的多模态图像检索方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号