申请/专利权人：武汉大学

申请日：2022-04-14

公开（公告）日：2024-04-16

公开（公告）号：CN114757862B

主分类号：G06T5/50

分类号：G06T5/50;G06V10/82;G06N3/0464;G06N3/08;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.08.02#实质审查的生效;2022.07.15#公开

摘要：本发明涉及一种用于红外光场设备的图像增强渐进式融合方法，用来提高红外图像的质量。本发明所提方法的目标是建立一个图像增强渐进式融合网络，将红外光场设备生成的低质量阵列红外图像重建一个中心视图的高质量红外图像，输出的高质量红外图像尽可能地接近地面真值红外图像。图像增强渐进式融合网络的整体结构主要由分组、组内特征融合和组间特征融合三个部分组成。经本发明提供的新的方法，在用于红外光场设备及其他红外阵列图像时，可不进行图像配准，生成一个融合的中心视图的高质量红外图像。与目前最先进的方法相比可以获得更好的图像效果。

主权项：1.用于红外光场设备的图像增强渐进式融合方法，其特征在于，包括如下步骤：步骤1，设计一个红外光场成像设备，并根据所述的红外光场成像设备生成红外光场数据集，并将红外光场数据集中的图像进行分组；所述的红外光场成像设备由多个红外摄像机组成，所述的多个红外摄像机以一定大小的规则网格严格等距布置排列，利用红外光场成像设备生成的多幅子图像阵列构成红外光场数据集，多幅子图像阵列的排列顺序与多个红外摄像机阵列相同；步骤2，构建图像增强渐进式融合网络，所述图像增强渐进式融合网络包括组内特征融合部分和组间特征融合部分；其中组内特征融合部分通过利用一个具有共享权重的渐进式金字塔可变形融合模块来提取各组内的合并特征，从而充分提取和融合各组图像的空间视差信息；组间特征融合部分整合从不同角度方向的获得的合并特征，通过建立循环注意力融合模块，充分融合不同角度方向的空间视差信息，根据不同角度方向合并特征的互补性，循环注意力融合模块采用循环结构逐步融合，将各个组内的合并特征进一步融合得到最终融合特征，进而获得最终的高质量红外图像；步骤2中，组内特征融合部分中各组内的合并特征Ma的表达式为： 其中，FPPDFM·表示渐进式金字塔可变形融合模块，表示不同方向上的子图像阵列；渐进式金字塔可变形融合模块的具体处理过程如下；以一组红外堆栈作为输入，首先使用5×5卷积H5×5和3个残差模块为组内每个红外子视图提取浅层特征浅层特征的表达式为： 其中，FRB为残差模块，U为特征深度，取值为自然数；为了充分捕获组内空间视差相关性，使用G个增强渐进式融合残差模块FEPFRB和一个金字塔可变形融合模块FPDFB来提取组内合并特征Ma，Ma的表达式为： 其中，FEPFRB表示增强渐进式融合残差模块，FPDFB表示金字塔可变形融合模块；所述的增强渐进式融合残差模块是在渐进式融合残差模块上的改进，将1×1卷积改进为金字塔可变形融合模块，使用两个3×3卷积提取更深一层的特征的表达式为： 其中，为上一层的特征，当g为1时，为浅层特征G为自然数；将特征输入至金字塔可变形融合模块，以融合与中心红外视图最具视差相关性的特征的表达式为： 将融合后的特征连接到之前所有的特征图中，并进一步采用一个1×1卷积和一个密集残差模块提取包含空间信息和视差信息的输出特征同时，使用局部残差学习降低网络学习难度，的表达式为： 所述的金字塔可变形合融合模块以深度为U×N的连接特征LF为输入，其中U×N为特征深度，LF是或其中是第G个增强渐进式融合残差模块的输出；由于各组内的红外子视图高度相关且具有同一方向的偏移，对某一红外子视图的偏移预测可以从组内其他红外子视图中受益，因此使用一个3×3卷积、3个残差模块和一个3×3卷积联合预测所有偏移ΔP，ΔP的表达式为：ΔP＝HLF＝H3×3FRBFRBFRBH3×3LF使用空间视差可变形卷积Dconv·直接融合得到深度为N的合并特征MF，MF的表达式为： 其中K为卷积核的大小，wu,k表示权重值，pk表示规则的采样偏移量；当K＝3时,pk∈{-1，-1，-1,0,...,0,1,1,1}；可学习的偏移量是基于特定位置的，将为每个以视差空间位置u,p为中心的卷积窗口分配独立的偏移量pu,P，以这种方式，能够同时建模空间可变形和不同角度方向红外堆栈中的视差动态；以尺度金字塔的方式实施空间视差可变形卷积，并以级联细化的方式获取最终合并特征；为了在第l层生成合并特征MFl，使用跨步因子为2的跨步卷积将连接特征降采样到l+1层，获得特征的三层金字塔；在第l层，最终的可学习偏移量由本层可学习偏移量及l+1层上采样可学习偏移量共同生成，其合并特征MFl的表达式为：MFl＝H3×3[DconvLFl,ΔPl,MFl+1↑2]其中，ΔPl＝H3×3HLFl,ΔPl+1↑2，·↑2表示因子为2的上采样操作，通过双线性插值实现；当时，MF为增强渐进式融合残差模块输出的中间合并特征当时，MF为渐进式金字塔可变形融合模块输出的最终合并特征Ma；步骤2中，循环注意力融合模块的处理过程如下；首先使用一个3×3卷积获得Ma更深一层的特征由于不同组红外堆栈携带的空间视差信息对中心红外视图具有不同的贡献度，因此使用角度注意力融合模块融合来自不同角度方向的两个特征，最后将角度注意力融合模块的输出反馈给自己，同时输入到一个3×3卷积并利用全局残差学习得到输出的HQ红外图像的表达式为： 其中，FFa表示最终融合特征，FAAFM表示角度注意力融合模块，当a＝0°时，FFa-45°＝Ma；角度注意力融合模块首先采用3×3卷积为每个多通道输入特征生成一个单通道特征，随后沿角度维度利用Softmax函数计算注意力掩模： 其中，和表示生成的注意力掩膜在位置p处的权重；通过元素级乘法将注意力掩模应用到单通道特征上，以有效整合不同角度方向的特征和FF′a-45°，和FF′a-45°的表达式为： 其中，表示元素级乘法；将加权特征连接输入到一个3×3卷积、4个密集残差模块和一个3×3卷积得到最终融合特征FFa，FFa可以描述为： 步骤3，构建损失函数，对构建的构建图像增强渐进式融合网络进行训练；步骤4，通过训练好的图像增强渐进式融合网络重建一个中心视图的高质量红外图像。

全文数据：

权利要求：

百度查询： 武汉大学 用于红外光场设备的图像增强渐进式融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD