申请/专利权人：中国科学院长春光学精密机械与物理研究所

申请日：2023-06-26

公开（公告）日：2024-04-02

公开（公告）号：CN116665015B

主分类号：G06V10/82

分类号：G06V10/82;G06V10/80;G06V10/774;G06V20/17;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2023.09.15#实质审查的生效;2023.08.29#公开

摘要：本发明涉及一种基于YOLOv5的红外序列图像弱小目标检测方法，解决红外序列图像由于受到噪声和复杂背景的干扰而导致弱小目标检测出现虚警的问题。该发明包含以下步骤：首先构建红外序列图像数据集，接着构建基于YOLOv5的红外序列图像弱小目标检测网络模型，具体包括构建YOLOv5网络模型、YOLOv5检测头的解耦、构建特征信息筛选模块和构建帧间信息链接模块，然后进行网络的训练和测试，最后对基于YOLOv5的红外序列图像弱小目标检测方法进行评估。本发明将YOLOv5网络与红外序列图像的帧间关联信息相结合，可以同时利用图像的时空关联来实现端到端的弱小目标检测，在提升检测精度的同时，能够有效的剔除虚警干扰，具有较强的鲁棒性和可行性。

主权项：1.一种基于YOLOv5的红外序列图像弱小目标检测方法，其特征在于，包括以下的步骤：步骤1：构建红外序列图像数据集；步骤2：构建基于YOLOv5的红外序列图像弱小目标检测网络模型；步骤2.1：构建YOLOv5网络模型，所述YOLOv5网络模型由输入端、主干特征提取网络、特征融合网络和检测头组成；步骤2.1.1：所述输入端对图像数据进行马赛克数据增强、自适应锚框计算和自适应图片缩放操作，实现输入图像的预处理；步骤2.1.2：所述主干特征提取网络由CSPDarknet构成，包含Focus层、CSP层、ConvBNSiLU层和SPP层，对步骤2.1.1得到的预处理后的输入图像进行特征提取；步骤2.1.3：所述特征融合网络由FPN+PAN特征金字塔构成，对步骤2.1.2得到的不同尺寸特征图进行特征融合；步骤2.1.4：所述检测头有三个分支，分别用来预测大、中、小目标，每个分支上均有一个1×1的卷积，步骤2.1.3得到的特征图通过1×1的卷积层同时预测目标的回归参数、网络预测框与真实目标框的置信度以及每个类别的得分；步骤2.2：获取YOLOv5解耦头，所述YOLOv5解耦头通过将YOLOv5检测头进行解耦操作而得到，能够加速YOLOv5网络模型的收敛速度并提升检测精度；步骤2.2.1：将原YOLOv5检测头部的1×1的卷积层替换为ConvBNSiLU层，所述ConvBNSiLU层包含1×1卷积、标准化处理BN和SiLU激活函数；步骤2.2.2：在步骤2.2.1所述的ConvBNSiLU层后添加分支一和分支二，两个分支分别经过两个卷积核为3×3的ConvBNSiLU层；步骤2.2.3：将步骤2.2.2得到的分支一经过一个1×1的卷积，得到针对目标类别信息预测的Cls分支；步骤2.2.4：将步骤2.2.2得到的分支二分为两个分支，分别经过一个1×1的卷积，得到用来预测目标回归分数的Reg分支和用来预测目标置信度的IoU分支；步骤2.2.5：对三个检测头分别按步骤2.2进行解耦，得到三个YOLOv5解耦头，分别对大、中、小目标进行预测；步骤2.3：构建特征信息筛选模块，所述特征信息筛选模块通过滑动窗口和边界回归得到，能够有效的提取目标候选框；步骤2.3.1：所述的特征信息筛选模块的输入为步骤2.1.3特征融合后得到的特征图；步骤2.3.2：将特征图通过3×3的滑动窗口得到一个H×W×256的中间层，其中H为特征图的高度，W为特征图的宽度；步骤2.3.3：将步骤2.3.2得到的中间层分别经过两个全连接层，其中一个全连接层得到2k个目标概率，另一个全连接层得到4k个边界回归参数，其中k代表预设的k个锚框；步骤2.3.4：计算滑动窗口中心点在原始图像上的对应位置，并以该点为中心对原图中预设的k个锚框进行偏移调整，得到预测框；步骤2.3.5：对预测框进行边界回归调整，得到更接近真实框的目标候选区域，计算公式如下：Px＝Aw·dxA+AxPy＝Ah·dyA+AyPw＝Aw·expdwAPh＝Ah·expdhA式中A为预设锚框，P为预测框，预设锚框A＝Ax,Ay,Aw,Ah，P＝Px,Py,Pw,Ph，其中x,y,w,h分别表示各框的中心点坐标、宽度和高度，dxA和dyA代表中心点坐标的平移变换，dwA和dhA代表宽与高的缩放变换；步骤2.3.6：将步骤2.3.5得到的目标候选区域映射到步骤2.2.3得到的Cls分支和步骤2.2.4得到的Reg分支上，用于进一步的帧间信息链接模块；步骤2.4：构建帧间信息链接模块，所述帧间信息链接模块通过相似度评分模型来链接真实目标并剔除虚警；步骤2.4.1：经步骤2.3得到相邻两帧红外图像的目标候选框；步骤2.4.2：获取步骤2.4.1所述目标候选框的位置信息、几何信息和语义信息，计算公式如下：floc＝{IoU,dcenters}fgeo＝{ratiow,ratioh} 其中，IoU是两个目标框的交集，dcenters是两个目标框中心之间的相对欧氏距离，ratiow和ratioh分别是两个目标框的宽度和高度之比，和分别为两目标框的类别置信向量，fsem为两框类别置信向量的点积；步骤2.4.3：将步骤2.4.2获取的位置信息、几何信息和语义信息经过相似度评分模型，得到两个目标框的相似度评分，计算公式如下： 其中，X是训练后的逻辑回归参数，用来区分两个目标候选框中的目标是否属于同一对象；步骤2.4.4：根据步骤2.4所述过程对输入的红外序列图像依次进行判别，并将相似度高的同类目标框进行链接，直至所有帧的目标框处理完毕，可以有效的剔除虚警；步骤3：训练基于YOLOv5的红外序列图像弱小目标检测网络模型；步骤4：将步骤1构建的红外序列图像数据集输入步骤3训练后的基于YOLOv5的红外序列图像弱小目标检测网络中，测试基于YOLOv5的红外序列图像弱小目标检测网络的检测性能；步骤5：评估基于YOLOv5的红外序列图像弱小目标检测网络模型检测效果。

全文数据：

权利要求：

百度查询： 中国科学院长春光学精密机械与物理研究所 一种基于YOLOv5的红外序列图像弱小目标检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD