申请/专利权人：桂林电子科技大学

申请日：2021-11-09

公开（公告）日：2024-03-26

公开（公告）号：CN114037938B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/764;G06V10/771;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2024.03.26#授权;2022.03.01#实质审查的生效;2022.02.11#公开

摘要：本发明公开一种基于NFL‑Net的低照度目标检测方法，所述方法包括如下步骤：1）对低照度图像数据集进行处理和划分；2）训练NorexNet网络对输入的低照度图像进行特征提取；3）构造SM‑FPN网络对特征图进行多尺度特征的融合；4）在模型的检测头结构中添加位置注意力模块；5）对整体模型进行训练并采用逐像素检测的方式对图像进行目标检测。这种方法能够不受低光照环境下拍摄的影响，对于产生的低照度图像仍然可以进行很好地识别来检测出图像中的目标对象。

主权项：1.一种基于NFL-Net的低照度目标检测方法，其特征在于，包括如下步骤：1对低照度图像数据集ExDark进行处理和划分，过程为：1-1ExDark数据集共计7363张低照度图像，包含12个常规目标类别，将整个数据集以8:2的比例划分成两部分，其中80％为训练集，共5891张图片；20％为测试集，共1472张图片，数据集划分情况为表1所示；表1： 1-2将所有低照度图片进行预处理，使图像缩放到统一的长×宽为608×608；2训练NorexNet网络对输入的低照度图像进行特征提取：过程包括：2-1NorexNet网络设有5个特征提取层，第1个特征提取层由1个3×3卷积层和一个最大池化层构成，第2至第5个特征提取层由固定数目的BISBlock拼接而成，在BISBlock的结构中采用3种归一化操作加强对低照度图像的特征处理，再利用卷积层进行特征提取，3种归一化操作分别是：批次归一化Batchnormalization、实例归一化Instancenormalization和自适配归一化Switchablenormalization；2-2将步骤1-2中预处理后的低照度图像作为NorexNet网络的输入，训练NorexNet网络对低照度图像进行特征提取，NorexNet网络的5个特征提取层的输出特征图的尺寸分别为：304×304×64、152×152×256、76×76×512，记为C3；38×38×1024，记为C4和19×19×2048，记为C5；3构造SM-FPN网络对特征图进行多尺度特征的融合：过程包括：3-1将步骤2-2得到的输出特征图C3、C4和C5作为SM-FPN网络的三个输入，SM-FPN网络设有一个主干结构和两个分支路径，采用C3、C4和C5构建一个使得特征信息自上而下多尺度融合的主干结构，另外，在自上而下的分支路径中添加子像素上采样模块SPUS、在自下而上的分支路径中添加池化下采样模块MADS，在子像素上采样模块SPUS中添加子像素卷积层，子像素卷积层通过自适应调整像素的方式进行上采样；在池化下采样模块MADS中采用最大池化层来实现下采样；3-2训练SM-FPN网络对特征图进行多尺度融合，SM-FPN网络的输出结果是三个已经完成特征融合的特征图，这三个输出特征图的尺寸分别为：76×76×256，记为P3；38×38×512，记为P4；19×19×1024，记为P5；4在模型的检测头结构中添加位置注意力模块Location-AM：过程包括：4-1设计位置注意力模块Location-AM并将其插入模型的检测头结构中，该位置注意力模块Location-AM对特征图沿着水平和垂直两个方向聚合特征信息进行编码，在捕获长距离依赖关系的同时，保留预测目标在水平和垂直方向上的位置信息；4-2将步骤3-2得到的三个特征图P3、P4和P5先通过位置注意力模块Location-AM，然后输出的结果，分别记为P3'、P4'和P5'被送入模型的检测头结构进行最终目标检测；5对整体模型进行训练并采用逐像素检测的方式对图像进行目标检测：过程包括：5-1模型检测头结构设有3个头部预测层，将步骤4-2中的3个不同尺寸的P3'、P4'和P5'分别送入3个头部预测层以获取预测结果，3个头部预测层在不同特征层级之间共享参数，每一个头部预测层首先经过连续的4个卷积层：1个1×1卷积层，步长为1、填充为0、输出通道数为256和3个3×3卷积层，步长为1、填充为1、输出通道数为256，然后形成三路分支，第一个分支用于类别分类Classification的预测；第二个分支用于位置回归Regression的预测，第三个分支中心量化Cen-quantification用于计算当前像素点位置到涉及该像素点的真实边界框Ground-truthbox中包含的目标对象的中心的量化距离；5-2NFL-Net以逐像素方式来进行目标检测：给定输入的低照度图像，将低照度图像采用步骤1-步骤5-1的方式对图像进行处理，最后获得特征图上每个位置的分类得分Kx,y、回归预测Gx,y和量化距离Qx,y，并获得对目标对象预测的边界框；5-3整体模型在训练过程中的损失函数定义如公式1所示： 损失函数由三部分构成，分别是类别分类损失、位置回归损失和中心量化损失，其中，NP表示正样本数，Kx,y表示位置x,y上的分类得分，Gx,y表示位置x,y上的回归预测，Qx,y表示位置x,y上的量化距离，第一项类别分类损失采用的是Focalloss损失函数；第二项位置回归损失采用的是CIoUloss损失函数；第三项中心量化损失采用的是BCEloss损失函数。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 一种基于NFL-Net的低照度目标检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD