申请/专利权人：安徽大学

申请日：2024-01-16

公开（公告）日：2024-04-16

公开（公告）号：CN117891964A

主分类号：G06F16/532

分类号：G06F16/532;G06F16/583;G06V10/774;G06V10/82;G06V10/74

优先权：

专利状态码：在审-公开

法律状态：2024.04.16#公开

摘要：本发明公开了一种基于特征聚合的跨模态图像检索方法，包括以下步骤：将采集到的足迹图像用CPU处理器对其进行处理；将足迹数据集送入多阶段特征聚合网络优化并加载检索库中的灰度足迹图像；获取待查询的灰尘足迹图像；计算待查询的灰尘足迹图像与检索库中灰度足迹图像的相似性；输出检索库中与待查询灰尘足迹图像最相似的灰度足迹图像人员信息。本发明涉及图像处理领域，该种基于特征聚合的跨模态图像检索方法，有效减少灰尘足迹与灰度足迹间的模态差异，提高跨模态足迹图像检索的准确率。

主权项：1.一种基于特征聚合的跨模态图像检索方法，其特征在于：包括以下步骤：S1：将采集到的足迹图像用CPU处理器对其进行处理；S2：将足迹数据集送入多阶段特征聚合网络优化并加载检索库中的灰度足迹图像；S3：获取待查询的灰尘足迹图像；S4：计算待查询的灰尘足迹图像与检索库中灰度足迹图像的相似性；S5：输出检索库中与待查询灰尘足迹图像最相似的灰度足迹图像人员信息；其中，步骤S2包括以下步骤：第一步，对采集到的足迹图像进行预处理：通过拍摄现场环境的足迹和光学传感器采集到赤足灰尘足迹和灰度足迹图像；对灰尘足迹采用图像分割以提取高表征特征，将赤足足迹从背景中分割出来得到灰尘足迹数据集；将足迹图像统一大小为512×512，并对灰度足迹图像数据集进行数据增广；第二步，网络模型训练：将总数九分之七人的足迹图像作为训练样本输入网络模型进行训练，将剩余九分之二人的足迹图像作为测试样本，基于灰度足迹图像建立检索库；在第二步中对网络模型进行训练的具体训练步骤如下：1构造混合注意力模块：采用ResNet50作为骨干网络，混合注意力模块的输入分别是骨干网络每一层前的低级特征图和每一层后的高级特征图，先把低级特征图和高级特征图分别送入两个1×1的卷积层，然后将两个卷积层的输出通过矩阵乘法和softmax函数计算通道相似度，再把低级特征图送入1×1的卷积层后与通道相似度矩阵通过矩阵乘法增强通道特征表示，最后，通过一个1×1的卷积层将特征转换为原始高级特征图的大小，与原始高级特征图相加后得到输出；与低级特征图再经过类似的操作就能增强空间特征表示；2构造特征聚合模块：在骨干网络每个层级间融合混合注意力模块就构成了特征聚合模块，不使用Layer4层，在Layer1层与Layer2层后分别融合一个和两个混合注意力模块，前两个模块输入每层前后的高级特征图与低级特征图，最后融合的混合注意力模块输入的低级特征图是Layer1层前的原始特征，输入的高级特征图是前一个混合注意力模块的输出；3构造部分注意力模块：在骨干网络之后加入部分注意力模块，关注细粒度部分特征，Layer3层后的特征通过自适应的平均池化函数，分为3个互不重叠的部分，将每个部分别送入三个1×1的卷积层，把前两个卷积层的输出做矩阵乘法后通过softmax激活函数，再和第三个卷积层的输出做矩阵乘法，得到一个细粒度部分特征，之后和一个经过softmax激活函数归一化的权值矩阵做加权求和，得到注意力增强的部分特征，将输入特征通过全局平均池化层和批归一化层得到特征向量，再将得到的两部分的特征相加，得到输出特征。

全文数据：

权利要求：

百度查询： 安徽大学 一种基于特征聚合的跨模态图像检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD