申请/专利权人：西北工业大学

申请日：2022-05-30

公开（公告）日：2024-03-12

公开（公告）号：CN114973390B

主分类号：G06V40/18

分类号：G06V40/18;G06T7/80;G06T7/246;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.12#授权;2022.09.16#实质审查的生效;2022.08.30#公开

摘要：本发明公开了一种结合眼动注意力机制的复杂背景红外微弱目标检测方法，采集红外微弱目标图像数据作为训练样本；再进行数据增强，然后设计带有眼动采集功能的专家判读系统和相应的采集流程，收集专家的眼动信号；对眼动信号进行预处理，同时利用图神经网络获取眼动信号的局部特征和全局特征；构建眼动注意力机制，采用典型的YOLO网络对红外微弱目标图像进行特征提取，然后将眼动信号的特征作为注意力特征的YOLO网络的特征进行特征融合，将眼动信号作为网络特征参数的约束；最后对模型进行训练，并进行对比分析。本发明能够实现红外图像的自动化检测，大幅提高图像判读的准确性，可靠性和泛化性，进一步降低红外图像检测的人工成本。

主权项：1.一种结合眼动注意力机制的复杂背景红外微弱目标检测方法，其特征在于，包括如下步骤：步骤1：采集红外微弱目标图像数据，进行预处理，得到仅由红外微弱目标样本组成的训练样本数据集；所述红外微弱目标为面积不大于9×9像素的红外目标，一幅图像中的红外微弱目标数目为1-2个；步骤2：对训练样本数据集进行数据增强，包括随机改变图像对比度、亮度、平移操作，增强训练样本数据集的数据多样性，扩展数据分布范围；步骤3：使用眼动仪采集专家判读红外微弱目标图像时的眼动信号；步骤3-1：对红外微弱目标图像中的红外微弱目标进行标注；步骤3-2：对眼动仪进行标定，调整座椅位置和眼动仪角度，确保专家眼动信号始终处于视野中间，不会超出视野范围；步骤3-3：在采集过程中，从训练样本数据集中随机抽出一张图像并显示在屏幕中，专家对图像进行判读，记录专家的判读结果，录入数据库中；最后将每个样本对应的专家判读结果和判读过程中专家的眼动信息对应起来并保存；步骤4：对眼动信号进行预处理，同时利用图神经网络获取眼动信号的局部特征和全局特征；步骤4-1：对眼动信号进行去噪处理；采用两种手段进行：一种是通过多次实验，降低异常点干扰；另一种是对每次采集的眼动信号形成的二维数据，进行二维高斯滤波，提高眼动信息的信噪比；步骤4-2：采用图神经网络对眼动信号进行特征处理和特征分类，将眼动信号特征分为局部特征和全局特征；所述局部特征由眼动信号的高频停留位置组成，全局特征由全部眼动信号组成；步骤4-3：在图神经网络对特征进行分类之后，再采用动态区域卷积的特征融合方法对眼动信号的局部特征和全局特征进行融合，得到眼动信号的物理特征；步骤5：构建眼动注意力机制，先采用YOLO网络对红外微弱目标图像进行特征提取，然后将眼动信号的特征作为注意力特征与YOLO网络提取的特征进行特征融合，将眼动信号作为网络特征参数的约束；步骤5-1：采用YOLO网络作为主干网络，将锚框大小设定为9、13和15，提取红外微弱目标图像的空间特征；步骤5-2：采用多粒度注意力机制的深度学习模型融合眼动信号的物理特征和红外微弱目标图像的空间特征；具体如下：步骤5-2-1：深度学习模型的输入为Ir,E1,E2，Ir为红外微弱目标图像，E1和E2分别是眼动信号的局部特征和全局特征；步骤5-2-2：Ir通过基于YOLO的主干网络得到空间特征；E1特征进行特征维度变换、对齐预处理操作，之后使用多个图神经网络对时频信息进行推理，生成具有语义关系的特征其中Nv是特征向量数目；再利用池化函数，将语义特征池化为全局特征V1,*；步骤5-2-3：使用门控融合方法提取全局视觉特征；给定图像区域特征c1,i和图表示v1,*，门控融合方法表示为：αi＝σW1,a[c1,i,v1,*]r1,i＝αi*W1,rc1,i+1-αi*W1,gv1,*其中σ是sigmoid激活函数，W1,a、W1,r和W1,g表示不同的线性变换，r1,i表示融合后特征表示；步骤5-2-4：采用细粒度特征融合模块，将眼动特征E2和空间特征进行融合，从而引入局部注意力来提取目标细节信息；在第τ次迭代中，利用前τ-1个推理块的节点特征Vτ-1和图像特征rτ-1作为输入，得到细粒度的融合特征；步骤5-2-4：细粒度融合模块进一步结合注意力机制对目标的红外微弱目标特征进行评分并对其进行加权求和；细粒度融合模块的第一个全景融合模块和随后的T-1个细粒度模块按顺序堆叠，形成了多粒度多层次的渐进特征融合过程；融合之后的特征，经过深度网络的预测层进行类比和位置预测，最终输出的红外微弱目标的类别信息；步骤6：对模型进行训练；构建注意力机制之后，利用已经得到的目标样本和对应的眼动信号以及专家给出的标签，对YOLO网络、图神经网络以及动态区域卷积进行训练，通过损失函数，对模型的参数进行后向传递，在多次迭代之后，模型参数达到稳定状态，作为预训练模型；当新的数据输入到模型之后，不用专家判读，无需眼动信号，仅利用模型参数，能够对红外微弱目标特征进行自动化提取，同时对红外微弱目标位置和类别进行准确输出。

全文数据：

权利要求：

百度查询： 西北工业大学 结合眼动注意力机制的复杂背景红外微弱目标检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD