申请/专利权人:东北大学
申请日:2024-01-04
公开(公告)日:2024-04-02
公开(公告)号:CN117807259A
主分类号:G06F16/51
分类号:G06F16/51;G06F16/53;G06F16/31;G06F16/33;G06F16/35;G06F18/213;G06F18/22;G06V10/44;G06V10/74;G06V10/82;G06V10/764;G06N3/0464;G06N3/048;G06N3/0499;G06N3/09
优先权:
专利状态码:在审-实质审查的生效
法律状态:2024.04.19#实质审查的生效;2024.04.02#公开
摘要:本发明提供一种基于深度学习技术的跨模态哈希检索方法,涉及跨模态检索技术领域。该方法首先将多模态数据集中的数据划分为查询集和检索集两部分,在检索集中划分训练集;并对多模态数据集中的文本单词进行去噪;对多模态数据集中的图片数据、文本数据、标签数据进行特征提取;并将不同模态的特征向量分别通过各自的哈希层生成哈希码;再计算原始标签的相似度生成浮点型相似性矩阵;然后在考虑模态哈希码分布的情况下对多标签哈希码进行训练;同时使用多标签哈希码监督模态哈希码的训练过程。该方法解决了文本数据存在噪声的问题,采用更准确的衡量数据间相似性的方法,体现数据间的相似性程度。
主权项:1.一种基于深度学习技术的跨模态哈希检索方法,其特征在于:包括以下步骤:步骤1、将多模态数据集中的数据划分为查询集和检索集两部分,在检索集中划分一部分数据作为训练集,在训练过程中只使用训练集数据进行训练;多模态数据集中一个实例由图像、文本、多标签组成;数据集中的每个图片对应一个文本,每个文本由若干个不连续的单词组成,所有的单词构成词库;每对图像-文本对由包含多个类别的多标签进行标识,即一条模态数据有一个或者多个类别;步骤2、对多模态数据集中的文本单词进行去噪;首先对多模态数据集中存在的文本数据噪声进行过滤;将文本中的单词分成两类,与内容相关的单词和与内容无关的单词,并过滤掉与内容无关的单词;步骤3、分别使用图像模态网络、文本模态网络、标签网络对多模态数据集中的图片数据、文本数据、标签数据进行特征提取,得到图片特征向量、文本特征向量和标签特征向量;并将不同模态的特征向量分别通过各自的哈希层生成哈希码;步骤4、计算原始标签的相似度生成浮点型相似性矩阵;步骤5、在考虑模态哈希码分布的情况下对多标签哈希码进行训练;步骤6、使用多标签哈希码监督模态哈希码的训练过程。
全文数据:
权利要求:
百度查询: 东北大学 基于深度学习技术的跨模态哈希检索方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。