申请/专利权人：兰州交通大学

申请日：2023-05-19

公开（公告）日：2024-01-19

公开（公告）号：CN116664462B

主分类号：G06T5/50

分类号：G06T5/50;G06V10/82;G06V10/80;G06T5/70;G06T5/20;G06V10/74;G06T5/60

优先权：

专利状态码：有效-授权

法律状态：2024.01.19#授权;2023.09.15#实质审查的生效;2023.08.29#公开

摘要：本发明公开了一种基于MS‑DSC和I_CBAM的红外和可见光图像融合方法，属于图像融合技术领域，该方法采用MS‑DSC对已配准的源图像进行特征提取，既克服单一尺度特征提取不足，又分别考虑了图像区域中的通道信息和空间信息，在减少参数的同时增强了网络表达能力，能更准确的提取目标对象的特征信息，将提取的特征信息采用I_CBAM从通道和空间两方面对图像的显著信息聚焦，抑制无用通道信息确保在融合时所有的显著特征都可以被利用，提升融合质量。本发明采用的I_CBAM算法是对原有算法的进一步改进，不仅展现了注意力机制在图像处理中的独特优势，而且在保留显著特征信息的同时降低了模型复杂度，通过与其他算法相结合，实现了纹理细节和场景信息清晰化，提升了融合质量。

主权项：1.一种基于MS-DSC和I_CBAM的红外和可见光图像融合方法，其特征在于，包含以下步骤：S1:将已经配准好的红外和可见光图像分别使用7x7、5x5、3x3、1x1四种不同尺度的卷积核来提取红外和可见光图像中的不同感受野的特征，通过多尺度卷积层不会改变最初图像的大小，丰富图像特征，提升浅层特征信息提取范围，增加图像多尺度卷积结构；其对应公式如下： 1 2其中：Fin为输入特征图；*代表卷积操作；卷积核大小为fj，j=1,3,5,7；Fj代表不同卷积核操作的特征图；Fout为输出的特征图；S2:对经过多尺度浅层特征提取的红外图像和可见光图像采用深度可分离卷积进行深层特征提取，先采用3×3卷积核进行每个通道独立空间卷积减少参数，再通过1×1卷积在不改变特征图本身尺寸的情况下加深网络深度，最后选择LeakyRelu作为激活函数；S3:对深度可分离特征提取的深层红外和可见光特征经过I_CBAM注意力机制同时学习空间注意力模块和通道注意力模块，在通道注意力模块中将输入的特征图FH×W×C，H为特征图的高，W为特征图的宽，C为特征图的通道数，进行全局最大池化和平均池化，得到两个1×1×C的特征图，然后将其分别送入一个两层的神经网络Multi-LayerPerception，最后经element-wise加和操作和sigmoid激活后生成通道特征图Mc，在空间注意力模块中，将输入特征图F也经过最大池化和平均池化，得到两个H×W×1特征映射，然后对其进行基于通道的concat操作，并使用卷积核大小为3的空洞卷积降维，接着通过Sigmoid激活函数,得到最终的空间特征图MS，最后将经过通道注意力和空间注意力得到的特征图直接与原始输入特征图F加权得到最终的输出特征图；其对应公式如下： 3 4 5其中，F表示输入特征图，表示对应元素相乘，MCF表示F经过通道注意力的输出权值，MSF表示F经过空间注意力的输出权值；f3×3dilat表示卷积核大小为3的扩张卷积；实验使用的扩张卷积的扩张率为2，和分别表示平均池化和最大池化；σ表示Sigmoid激活函数；W0∈RCr×C，W1∈RC×Cr，W0和W1是MLP的权重，其共享两个输入，ReLU激活函数后跟W0；S4:将浅层特征、深层特征和经过I_CBAM注意力的特征图采用concat和1×1卷积策略进行融合，得到融合图像；S5:将融合的单幅图像先使用三个1×1、3×3、3×3卷积核组成的单通道从融合图像中提取特征，然后从一个3×3卷积组成的双通道中生成分解结果。

全文数据：

权利要求：

百度查询： 兰州交通大学 一种基于MS-DSC和I_CBAM的红外和可见光图像融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD