申请/专利权人：西安理工大学

申请日：2021-12-09

公开（公告）日：2024-04-23

公开（公告）号：CN114372163B

主分类号：G06F16/53

分类号：G06F16/53;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2022.05.06#实质审查的生效;2022.04.19#公开

摘要：本发明公开了基于注意力机制与特征融合的图像检索方法，包括：删掉ResNet50模型的全连接层；提取ResNet50模型的第二层、第三层、第四层、第五层卷积块的输出特征；将得到的输出特征进行融合，得到融合特征；融合特征依次输入SE模块、池化层、全连接层，得到检索网络模型，并输出检索结果；对检索网络模型进行训练，输出精确检索结果。通过特征融合将ResNet50不同卷积块的特征融合后再加入通道注意力，关注特征的通道信息，提高了提取图像特征的鲁棒性。

主权项：1.基于注意力机制与特征融合的图像检索方法，其特征在于，包括以下步骤：步骤1、预先利用imagenet数据集训练ResNet50模型，然后删掉ResNet50模型的全连接层；步骤2、提取ResNet50模型的第二层卷积块的输出特征conv2_block3_out、第三层卷积块的输出特征conv3_block4_out、第四层卷积块的输出特征conv4_block6_out、第五层卷积块的输出特征conv5_block3_out；步骤3、将步骤2得到的输出特征进行融合，得到融合特征；步骤4、所述融合特征依次输入SE模块、池化层、全连接层，得到检索网络模型，并输出检索结果；步骤5、对所述检索网络模型进行训练，输出精确检索结果；步骤3中采用特征金字塔的方式将步骤2得到的输出特征进行融合；步骤3具体包括以下步骤：步骤3.1、将第五层卷积块的输出特征依次经过1x1卷积得到对应的特征图M5；对特征图M5进行上采样，与第四层卷积块的输出特征经过1x1卷积后得到的特征图相加，得到对应特征图M4；对特征图M4进行上采样，与第三层卷积块的输出特征经过1x1卷积后得到的特征图相加，得到对应特征图M3；特征图M3进行上采样，与第二层卷积块的输出特征经过1x1卷积后得到的特征图相加，得到对应特征图M2；步骤3.2、分别对所述特征图M5、特征图M4、特征图M3、特征图M2经过3x3卷积，得到最终的ResNet50模型的第二层、第三层、第四层、第五层特征；步骤3.3、使用concatenate函数对第二层、第三层、第四层、第五层特征进行融合，得到融合特征；步骤4中融合特征在SE模块中的处理过程为：所述融合特征大小为W×H×C，先经过压缩操作后得到1×1×C向量，再经过第一个全连接层后输出1×1×C×SERadio向量，所述1×1×C×SERadio向量经ReLU函数激活后，之后输入第二个全连接层，输出为1×1×C向量，然后经过sigmoid函数激活；对所述融合特征进行scale操作后，将经过sigmoid函数激活后的1×1×C向量与所述融合特征对应通道的三维矩阵相乘，得到输出结果；步骤4中所述全连接层的激活函数选用sigmoid函数，Sigmoid函数公式为： ；上式中，为函数的输出，为函数的输入。

全文数据：

权利要求：

百度查询： 西安理工大学 基于注意力机制与特征融合的图像检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD