申请/专利权人：北京工业大学

申请日：2021-12-14

公开（公告）日：2024-04-02

公开（公告）号：CN114266709B

主分类号：G06T5/00

分类号：G06T5/00;G06T5/60;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2022.04.19#实质审查的生效;2022.04.01#公开

摘要：一种基于跨分支连接网络的复合降质图像解耦分析与复原方法属于数字图像视频信号处理领域。本发明设计了一个多分支并行的网络结构，分支网络内部为编解码的网络结构，并在其中添加短链接和长连接让分支网络可以充分的融合低层和高层的语义特征，同时还在分支网络内部添加注意力机制，让网络能够自适应地对不同程度的降质因素自适应的动态调整网络参数，达到一定的动态调整能力。本发明还在分支之间添加了跨分支连接，不仅可以保证了我们在不同分支只提取到一种降质因素，还兼顾了不同降质因素产生先后顺序。将加权后的融合降质特征输入到重建模块后得到清晰的复原图像。该技术在刑侦、目标跟踪、军事侦察等领域具有广泛的应用前景。

主权项：1.一种基于跨分支连接网络的复合降质图像解耦分析与复原方法，其特征在于，包括以下步骤：1空间注意力分支：空间注意力分支和通道注意力分支都是由特征升维网络、编解码网络、提取降质特征模块和这3部分组成；第一步，特征升维网络提升特征维度；特征降维网络由1个卷积操作组成，将三维的输入图像送入到一个7×7卷积层并输出64维的特征图，每个卷积层后都跟有LeakyReLU激活层提升训练网络时的收敛速度；第二步，使用编解码网络结构融合多层语义信息；编解码网络由编码网络和解码网络组成，其中编码网络内包含了3个不同尺度和通道数的含有短链接的密集子模块和两个升维卷积层，每个子模块都是由6个相同的残差模块组成，残差模块内部由一个跨层连接和两个卷积层组成，跨层连接将前一个残差模块的输出与当前的残差输出进行对应位置相加的操作，并在残差模块内添加空间注意力模块来动态调整残差的权重系数，同时，在卷积层之间加入ReLU激活函数保证网络在训练时更快的收敛；记密集子模块内第i个残差模块的输出特征为li，用公式1表示：li＝SAFli-1+li-1,#1其中，li表示第i个残差模块的输出特征，li-1则表示通过跨层连接得到的前一个残差模块输出的特征，F·表示残差模块内两个卷积层的映射方程，包括LeakyReLU激活层和3×3卷积操作，SA·则表示空间注意力模块的映射方程；残差模块内的残差特征输入模块后，依次经过最大池化和平均池化操作后输入到一个卷积层中并经过Sigmoid函数归一化得到特征图并与输入的残差特征相乘得到加权后的残差特征图作为模块的输出SAFli-1，即公式2表示：SAFli-1＝SigF′APMPFli-1⊙Fli-1,2其中Fli-1表达的是在当前残差模块中卷积层输出的残差特征；MP·表达的是最大池化操作，AP·表达的是平均池化操作，F′·表示的是一个卷积核为3×3的卷积操作，Sig·表达的是Sigmoid函数操作，⊙表示的是对应位置相乘操作；由于在密集子模块中引入了短链接来缓解高层语义特征与低层语义特征之间的语义鸿沟；因此，第i个密集子模块的整体输出可用公式3表示： 其中τi表示第i个密集子模块的输入特征，因此由公式3可得，第i个密集子模块的整体输出等于密集子模块的输入特征与其中内部第6个残差模块的输出特征之和；同时，由于三个密集子模块中卷积层的通道数分别为64，128和256，互不相同，因此，在每一个密集子模块之间加入一个升维卷积层和一个ReLU激活函数层，来对特征的通道数量进行升维操作，用公式4表达：τi+1＝UPOi,#4其中，Oi表示第i个子模块的整体输出特征，τi+1表示的是第i+1个子模块的整体输入特征，UP·表示的是升维操作；它是一个组合操作，包括ReLU激活层和3×3卷积操作；编码网络的输出为第三个密集子模块的整体输出，即O3，同时作为后续解码网络的输入特征解码网络由两个逆卷积模块组成，每个逆卷积模块内部有一个逆卷积层和一个卷积层，并在两个层之间加入ReLU激活函数；第一个逆卷积模块将解码网络的输入的通道数由256个降低为128个，并将特征图的尺寸扩大为原来的两倍；第二个逆卷积模块将第一个模块的输出的通道数由128个再次降低为64个，并再次将特征图的尺寸扩大为原来的两倍，这样第二个逆卷积模块的输出与原先输入的低质图像的尺寸一致了；同时，会与编码网络的输入在对应位置相加并作为整个编解码网络的输出；第三步，提取降质特征模块来提取复合降质图像内降质的位置信息；提取降质特征模块内部有一个重建模块和一个全局连接，重建模块内部有两个卷积层，卷积层之间引入ReLU激活函数；针对缺乏对复合降质图像中空间降质信息的提取，设计了一个提取降质特征模块能够有效的提取复合降质图像内部的单一类型的降质特征；先将第二步中编解码网络提取到的64维的特征图通过重建模块将为3维特征图，并利用一个全局长连接与输入的低质图像对应位置相加，这个全局长连接将分支网络转变为了一个残差网络，因此，在残差部分提取到的特征即为低质图像与对应高质图像之间的差，为所求的降质特征ψ1；同时为了确保在每一个分支都只提取一种降质，后续会通过跨分支连接将ψ1输送到通道注意力分支；空间注意力分支提取ψ1的函数表达式为：ψ1＝NMPUx1,#5其中，x1表示为输入的压缩低质图像，U·表示第一步中特征升维网络的函数，P·表示为编码网络的函数，M·表示为解码网络的函数，N·表示为第三步提取降质特征模块的函数，方程2表达的是从分支内部看的函数表达式，当从分支外部看时，则为：ψ1＝y-x1,#6其中y为训练网络时所用到的高质图像，x1为输入的压缩降低质图像；2通道注意力分支通道注意力分支与空间注意力分支在网络结构上几乎一致，不同的地方只有两点：1在所有密集连接块内部中的残差模块中，使用通道注意力机制来代替空间注意力分支中的空间注意力机制；2在提取降质特征模块内，提取到的降质特征ψ2会与从空间注意力分支提取到的降质特征ψ1和低质图像对应位置相加；通道注意力模块的网络结构中模块的输入为残差模块的残差特征，残差特征分别经过最大池化和平均池化后并依次送入到MLP多层感知机生成特征的权重图，并经过对应位置相加并通过Sigmoid函数归一化后得到取值为[0,1]的特征权重图，并与输入的残差特征图对应位置相乘得到加权后的残差特征图；用公式7表达：r＝t⊙SigMLPMPt+APt,#7其中t表示的是残差模块中残差的特征图，r为通过通道注意力模块后的加权残差特征图，MP·表示最大池化的函数，AP·表示平均池化的函数，MLP·表达的是MLP感知机的函数，Sig·表示Sigmoid函数，⊙表示的是对应位置相乘操作；为了确保在每一个分支只提取到一种降质的特征，将提取到的降质特征ψ2与ψ1和低质图像对应位置相加，确保了ψ2中不会存在ψ1的降质特征；通道注意力分支提取降质特征ψ2的函数表达式为：ψ2＝N′M′P′U′x2-ψ1,#8其中，x2表示为输入的模糊和复合降质的低质图像，U′·表示第一步中特征升维网络的函数，P′·表示为编码网络的函数，M′·表示为解码网络的函数，N′·表示为第三步提取降质特征模块的函数，ψ1表示从空间注意力分支提取到的降质特征，方程8表达的是从分支内部看的函数表达式，当从分支外部看时，则为：Ψ2＝y-x2-Ψ1,#9其中y为训练网络时所用到的高质图像，x2为模糊和复合降质的低质图像，Ψ1表示从空间注意力分支提取到的降质特征；3跨分支连接跨分支连接是一个分支之间的长连接，在上述的空间注意力分支和通道注意力分支可以看出，跨分支连接是将从空间注意力分支提取到的降质特征Ψ1输送到通道注意力分支的提取降质特征模块内，然后与通道注意力分支提取到的降质特征Ψ2相加并输出；以模糊和噪声降质，如公式10所示：L＝k*H+Noise,#10其中k表示模糊降质的模糊核，H表示高质图像，L为复合降质图像，Noise表示噪声降质特征；可以将一幅复合降质图像L的生成过程定义为一幅高质图像H经过模糊核k卷积后于噪声Noise相加得到；进一步推导公式10，经过简单的运算即可得到公式11：k*H＝L-Noise.#11可以看到公式11中等号左侧只有模糊核这一个参数，即想要模糊特征，以此为依据并类比残差网络设计了跨分支结构；加入了跨分支连接后，当向通道注意力分支中加入复合降质图像时，通过端到端的训练在通道注意力分支得到了复合降质的特征L，即模糊-噪声混合特征，利用跨分支将噪声的降质特征Noise与复合降质的特征L在通道注意力分支做差得到特征Ψ2，那么Ψ2即为公式11左侧只有模糊降质的形式；4分支注意力模块以输入低质图像LR、空间注意力分支输出Ψ1和通道注意力分支的输出Ψ2三个特征的拼接特征作为输入，使用两个卷积层P·提取降质的权重掩模特征图，并将其与通道注意力分支的输出ψ2进行对应元素相乘操作，得到带有权重的ψ2特征；然后，将带有权重的ψ2特征与空间注意力分支的输出ψ1相加得到分支注意力模块的输出ψ；该过程如公式12所示：ψ＝ψ2⊙PLR,ψ1,ψ2+ψ1,#12其中，⊙代表元素相乘操作；P·为提取局部权重掩模特征图的两个卷积层，低质图像LR、空间注意力分支的输出ψ1和通道注意力分支的输出ψ2，并且这三个特征输入分支注意力模块时为拼接操作；5整体重建模块整体重建模块接收分支注意力模块的输出ψ并通过两个卷积层得到最终的复原图像；在两个卷积层之间添加了LeakyReLU激活函数；6多阶段训练策略采用分阶段的训练策略，在第一个阶段只训练空间注意力分支，先让空间注意力分支提取表层的，最后添加的降质特征；然后在第二个阶段训练通道注意力分支、分支注意力模块和重建模块，并保持空间注意力分支的网络权重不变；在第二个阶段的训练过程中，直接在通道注意力提取复合降质图像的全部降质特征，并通过跨分支连接让两个分支可以进行交互，让提取到的全部降质特征减去空间注意力分支提取到的表层降质特征，剩下的即为深层的降质特征；其中第一阶段的数学表达式为： 其中，SA·为空间注意力分支，x为输入的压缩降质低质图像；表示损失函数为L2范数；第二阶段的数学表达式为： 其中x表示模糊和复合降质的低质图像，CA·表示通道注意力分支,φ·表示整体网络，ψ1和ψ2分别表示从空间注意力分支和通道注意力分支提取到的不同类型降质的特征，表示损失函数为L2范数。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于跨分支连接网络的复合降质图像解耦分析与复原方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD