申请/专利权人：成都信息工程大学

申请日：2024-02-22

公开（公告）日：2024-03-26

公开（公告）号：CN117765378A

主分类号：G06V20/00

分类号：G06V20/00;G06V10/44;G06V10/80;G06V10/82;G06V10/774;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.12#实质审查的生效;2024.03.26#公开

摘要：本发明提出一种多尺度特征融合的复杂环境下违禁物品检测方法和装置，通过加强局部特征提取和缓解特征融合的语义冲突来提高对重叠目标和小目标的检测能力，设计多尺度注意力模块主干增强网络对重叠物体的局部特征提取能力，引入挤压激励注意力机制减少目标区域的冗余信息；针对小目标的信息丢失问题，设计自适应融合特征金字塔网络，引入包含细节信息的浅层特征和包含语义信息的深层特征防止小目标信息丢失；采用自适应权重融合策略和通道注意力机制，避免直接融合造成的目标信息丢失。实验结果表明，与现有方法相比，本发明即使在物品遮挡严重、背景复杂的情况下也能准确检测出目标，同时具有更优秀的小目标检测能力。

主权项：1.基于多尺度特征融合的复杂环境下违禁物品检测方法，其特征在于，所述方法构建了一个针对复杂环境下X光违禁物品图像检测网络，所述图像检测网络引入多尺度注意力机制增强重叠物体的局部特征表示能力，同时融合浅层和深层特征，提高网络对小尺度违禁物品的分类和定位能力，采用自适应融合策略和通道注意力机制减少直接融合产生的语义冲突，防止目标信息丢失，所述检测方法具体包括：步骤1：准备X光违禁物品检测所需数据集，即Pidray数据集；步骤2：对步骤1所获取数据集进行预处理，并按照约定比例划分成训练集和测试集；步骤3：对所述训练集和所述测试集进行数据增强处理，同时构建并初始化基于改进YOLOV7的复杂环境下违禁物品检测网络，所述检测网络由多尺度注意力模块主干、自适应融合特征金字塔网络和检测头部组成，多尺度注意力模块主干以YOLOV7的特征提取主干为基础，设置多尺度特征提取模块增强局部特征的表示能力，所述自适应融合特征金字塔网络包括自适应上下文信息融合模块与特征融合模块，检测头部用于对前面两个网络提取的特征进行解码，输出预测的检测图像；步骤4：将步骤3处理后的训练集输入构建完成的所述检测网络中，对网络进行训练，训练过程具体包括：步骤41：将数据增强后的训练集输入多尺度注意力模块主干中提取特征信息，依次通过下采样和高效聚合网络层得到不同尺度的特征图，具体包括第一特征图C1、第二特征图C2、第三特征图C3、第四特征图C4、第五特征图C5，并在第一特征图C1、第三特征图C3、第五特征图C5之后分别插入注意力模块，最后一个注意力模块输出最终的注意力特征图Fin，将注意力特征图Fin传入多尺度特征提取模块中，得到多尺度特征图Fout；步骤42：将步骤41中不同尺度的特征图输入自适应融合特征金字塔网络中进行特征融合，具体的，将第二特征图C2、第三特征图C3和第四特征图C4输入第一自适应上下文信息融合模块得到第一自适应融合特征图Wout，将第三特征图C3、第四特征图C4、注意力特征图Fin输入第二自适应上下文信息融合模块，得到第二自适应融合特征图Wout2；步骤43：将步骤41输出的所述多尺度特征图Fout与注意力特征图Fin通过特征求和方法融合得到第一融合特征图F1，将第一融合特征图F1上采样2倍与所述第二自适应融合特征图Wout2进行拼接融合，并通过高效聚合网络层得到第二融合特征图F2，将第二融合特征图F2上采样2倍与所述第一自适应融合特征图Wout进行拼接融合，并通过高效聚合网络层得到第一输出特征图F3；步骤44：将所述第一输出特征图F3下采样2倍得到特征图L1后，与第一融合特征图F1、第二融合特征图F2一起输入第一特征融合模块中得到特征图L2，并通过高效聚合网络层得到第二输出特征图F4；将所述第二输出特征图F4下采样2倍得到特征图L3，并与第一融合特征图F1、第二融合特征图F2一起输入第二特征融合模块中得到特征图L4，并通过高效聚合网络层得到第三输出特征图F5；步骤45：将第一输出特征图F3、第二输出特征图F4和第三输出特征图F5分别传入所述检测头部，所述检测头部通过3×3卷积调整输出特征图的通道数，得到不同尺度下的输出结果P1、输出结果P2和输出结果P3；步骤5：通过非极大值抑制对三个输出结果P1、输出结果P2和输出结果P3进行融合，得到预测违禁物品位置和类别信息，并计算预测违禁物品位置和类别信息和真实违禁物品位置和类别信息的损失值；步骤6：步骤4和步骤5依次经过10轮训练后，将测试集传入训练完成的所述图像检测网络进行测试，判断所述图像检测网络当前测试的所有类标签在10个阈值下的平均精确率指标是否最高，若是，则保存当前模型参数，接着跳转至步骤4进行下一轮训练，若否，则直接跳转至步骤4进行下一轮训练，直至完成300轮训练；步骤7：选取测试过程中表现最好的网络，然后将测试集送入该网络，计算精确率、找回率，所有类标签在10个阈值下的平均精确率和所有类标签的平均精确率指标，并保存最终的检测效果图。

全文数据：

权利要求：

百度查询： 成都信息工程大学 多尺度特征融合的复杂环境下违禁物品检测方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD