申请/专利权人：成都航天科工大数据研究院有限公司

申请日：2020-12-03

公开（公告）日：2024-03-22

公开（公告）号：CN112528062B

主分类号：G06F16/583

分类号：G06F16/583;G06F16/332;G06F18/25

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2021.04.06#实质审查的生效;2021.03.19#公开

摘要：本发明涉及武器检索技术领域，公开一种跨模态武器检索方法，包括：获取被检索文本数据和被检索图像数据；基于BERT特征提取模型，在所述被检索文本数据中提取文本特征数据，并根据所述文本特征数据计算文本低维向量；基于ResNet特征提取模型，在所述被检索图像数据中提取图像特征数据，并根据所述图像特征数据计算图像低维向量；基于Attention融合和双判别器对抗网络的复合特征融合模型，对所述文本低维向量和所述图像低维向量进行特征融合以获得特征融合结果基于BM25F算法模型对所述特征融合结果进行检索，并将检索结果返回至人机交互界面。本发明不仅能实现跨模态数据的无缝融合，而且提高了武器装备的检索速度，进一步提高了军事领域的机动化、智能化水平。

主权项：1.一种跨模态的武器检索方法，其特征在于，所述方法包括：步骤1：获取被检索文本数据和被检索图像数据；步骤2：基于BERT特征提取模型，在所述被检索文本数据中提取文本特征数据，并根据所述文本特征数据计算文本低维向量；步骤3：基于ResNet特征提取模型，在所述被检索图像数据中提取图像特征数据，并根据所述图像特征数据计算图像低维向量；步骤4：基于Attention融合和双判别器对抗网络的复合特征融合模型，对所述文本低维向量和所述图像低维向量进行特征融合以获得特征融合结果；步骤5：基于BM25F算法模型对所述特征融合结果进行检索，并将检索结果返回至人机交互界面；假设所述被检索文本数据为X，X的维度是[batch_size，sequence_length]，所述BERT特征提取模型提取特征数据的步骤包括：步骤2.1、对所述被检索文本数据的字向量和位置进行编码，编码方式为：X＝EmbeddingLookupX+PositionEncoding；1其中，X∈Rbatch_size*sequence_length*embed_size，步骤2.2、基于自注意力机制对编码后的文本数据进行特征捕捉，捕捉方式为：Q＝XWQ2K＝XWK3V＝XWV4Xattention＝SelfAttentionQ,K,V；5步骤2.3、进行残差连接与层归一化，包括：Xattention＝X+Xattention；6Xattention＝LayerNormXattention7步骤2.4、两层线性映射并利用激活函数进行激活，包括：Xhidden＝ActivateLinearLinearXattention8步骤2.5、返回步骤2.3，直至文本数据特征提取完毕，包括：Xhidden＝Xattention+Xhidden9Xhidden＝LayerNormXhidden10其中，Xhidden∈Rbatch_size*sequence_length*embed_size；所述ResNet特征提取模型提取图像特征数据包括：步骤3.1、获取各个残差单元的输出，其中，每个所述残差单元包含多层结构，计算方法为：yl＝hxl+Fxl,Wl11xl+1＝fyl12其中，xl和xl+1分别表示第l个残差单元的输入和输出，F是残差函数，f是Relu激活函数；步骤3.2、根据步骤a，计算从浅层l到深层L的学习特征为： 步骤3.3、利用链式规则，计算反向过程的梯度： 其中，表示损失函数到达L的梯度，数值1表示短路机制可以无损地传播梯度；所述基于BM25F算法模型对所述特征融合结果进行检索，并将检索结果返回至人机交互界面包括：步骤5.1、基于BM25F算法模型对所述特征融合结果在各个field中分值进行加权求和，以获得BM25F的最终值，计算方法如下： 其中，boostc是相应域的权值，lc是field的长度，bc是调节因；步骤5.2、将计算得出的多个BM25F的最终值按照数值从大到小进行排序，并将数值最大的最终值作为检索结果返回。

全文数据：

权利要求：

百度查询： 成都航天科工大数据研究院有限公司 一种跨模态武器检索方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD