申请/专利权人：桂林电子科技大学

申请日：2022-06-29

公开（公告）日：2024-03-26

公开（公告）号：CN114972116B

主分类号：G06T5/90

分类号：G06T5/90;G06T5/60;G06N3/045;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.03.26#授权;2022.09.16#实质审查的生效;2022.08.30#公开

摘要：本发明公开一种基于NASPE‑net的低照度图像增强方法，包括如下步骤：1）对数据集依照光照程度划分为低照度图像和正常照度图像；2）将低照度图像输入到NASPE‑net中提取参数映射图；3）生成RGB通道的注意力权重图；4）得到近似正常光照图像的增强图片；5）采用GAN方法进行对抗损失；6）设计损失函数反向训练NASPE‑net网络。这种方法不仅不需要成对的低正常亮度图像数据集，而且参数量比较小，可以很好的对低照度图像进行增强。

主权项：1.一种基于NASPE-net的低照度图像增强方法，其特征在于，包括如下步骤：1对所采用的数据集依照光照程度划分为低照度图像和正常照度图像：从公开的数据集LOL、MIT和HOR源中共汇集了1964张图像，其中938张为低照度图像、1026张为正常照度图像，1964张图像中80％作为训练集、20％作为测试集，所有这些图像都被转换为PNG格式，并调整到600×400像素，数据集分布情况如下所示：数据内容为低正常照度图像数据集，总数据集中低照度图像938张，正常照度图像1026张，总训练图像1964张，训练集占80％：低照度图像750张，正常照度图像821张，总训练图像1571张；测试集20％：低照度图像188张，正常照度图像1026张，总训练图像1964张，其中，数据集中的图片在分为低光照条件下拍摄的图片和正常光照条件拍摄的图片，低正常照度图像不配对；2将低照度图像输入到NASPE-net中提取到8组，每组分别对应RGB三通道的参数映射图，包括以下步骤：2-1NASPE-net一共包含10层神经网络，先将大小为600×400的低照度图像按RGB格式输入到第一层，输出特征尺寸为600×400×64大小，然后经过8层输入尺寸为600×400×64，输出尺寸为600×400×64的神经网络，最后把第九层输出结果输入到最后一层、并进行Tanh激活，输出结果为600×400×24的参数映射图；2-2设计搜索空间：搜索空间一共包括5个卷积块和3个残差块，前3个卷积块的输入特征尺寸为600×400×3、输出特征尺寸为600×400×64，后面2个卷积块的输入特征尺寸为600×400×64、输出特征尺寸为600×400×24，3个残差的输入特征尺寸为600×400×64、输出特征尺寸为600×400×64；2-3构建NASPE-net：过程包括：第一层神经网络：第一层神经网络由卷积块1、卷积块2和卷积块3这3个候选模块并联而成，将大小为600×400的低照度图像按RGB格式输入到第一层得到3个尺寸大小为600×400×64的特征图，将这3个输出结果进行加权平均得到大小为600×400×64的特征图作为下一层的输入，加权平均所用到的权重为a1到α3，权重都大于0而且加起来等于1，即如公式1所示：a1+a2+a3＝11，输出结果的计算公式为公式2所示： 其中fjx表示第j个卷积块卷积快输出的结果，x表示输入图像的像素点；第二层到第九层神经网络：第二层到第九层神经网络由残差块1、残差块2和残差块3这3个候选模块并联而成，将上一层输出结果尺寸大小为600×400×64的特征图到下一层得到3个尺寸大小为600×400×64的特征图，把这3个输出结果进行加权平均得到大小为600×400×64的特征图作为下一层的输入，加权平均所用到的权重为a4到α27，每层神经网络采用3个权重，每层权重都大于0而且加起来等于1；第十层神经网络：第十层神经网络由卷积块4和卷积块这2个候选模块并联而成，将第九层层输出结果尺寸大小为600×400×64的特征图输入到第十层得到2个尺寸大小为600×400×24的参数映射图，将这2个输出结果进行加权平均得到大小为600×400×24的参数映射图，加权平均所用到的权重为a28到α29，权重都大于0而且加起来等于1；2-4将24张参数映射图分成8组，每组分别对应RGB三通道的参数映射图；2-5寻找最优神经网络：NASPE-net由10层神经网络构成，每层网络都由不同的模块构成，其中每个模块中的参数都是不一致的，网络通过调整α来优化网络的输出，最终每一层只保留一个模块，剔除掉其余的模块，从而形成最优神经网络，对应的损失函数如公式3所示： 其中w是NASPE-net中的参数，yi表示正常光照的图像，pxi；w表示NASPE-net对第i张图片增强后的图像，然后对n个训练样本求平均，公式3中的损失函数所得到的结果要尽可能小，Ltotal为总体损失函数，如公式4所示： 其中wi为先验权重，Lspa为空间一致性损失函数，Lcol为彩色恒常损失函数，为全局鉴别器损失，为局部鉴别器损失；3引入正则注意力引导机制，将低照度图像输入生成RGB通道的注意力权重图，包括：3-1将低照度图像以RGB的格式进行输入，并分别对RGB三个通道进行归一化处理；3-2采用1-i即逐像素相减作为注意力权重图，得到低照度图像RGB三通道的合成的注意力权重图R1x；4对原图进行8次迭代得到近似正常光照图像的增强图片，包括以下步骤：4-1将NASPE-net得到8组参数映射图分别标记为A1x到A8x；4-2将低光照图像增强作为一种采用深度网络进行图像线性映射估计的任务，假设低照度图像和正常照度图像的关系如公式5所示，其中Y表示的是正常照度下的图像，X表示的是低照度下的图像，γPx表示低照度和正常照度直接的区别，γ为权重参数：Y＝X+γPx5，4-3将原图按照RGB格式进行读取，根据步骤4-2中的假设，按照公式6将NASPE-net所得到的第1组参数映射图A1、低照度图像所得到的注意力权重图R1和低照度图像进行逐像素相乘，将结果与低照度图像进行相加，其中x代表一个像素点，Ix表示原始图像，Rn代表注意力权重图，AΠx表示参数映射图：LEIx；A1x＝Ix+R1xA1xIx6；4-4将得到的结果LEIx；A1x输入到正则注意力机制得到新的注意力权重图R2x，将LEIx；A1x替换公式6中的第一个Ix，重步骤4-3中的操作；4-5重复步骤4-4八次，每次迭代都减少低照度图像和正常照度图像之间的差异，第八次迭代的公式如公式7所示：LE8x＝LE7x+R8xA8xIx7；5采用GAN方法进行对抗损失：包括以下步骤：5-1引入全局-局部判别器，全局-局部判别器作为基于NASPE-net的反馈网络，全局鉴别器用于对经过迭代增强的图像全局光照分布和正常照度下的图像全局光照分布进行鉴别，局部鉴别器用于对经过迭代增强的图像局部光照分布和正常照度下图像的局部光照分布进行鉴别，对NASPE-net进行反向传播，使迭代增强的图像全局-局光照分布部更接近正常照度下图像的全局-局部光照分布，使得基于NASPE-net的增强后的图像在照度上更接近于真实图像，其中，全局鉴别器设有三个下采样卷积块和三层普通卷积块，具体结构如下：第一下采样卷积块的卷积核大小为4×4、输入通道数为3、输出通道数为64、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；第二下采样卷积块的卷积核大小为4×4、输入通道数为64、输出通道数为128、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；第三下采样卷积块的卷积核大小为4×4、输入通道数为128、输出通道数为256、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；第一普通卷积块的卷积核大小为4×4、输入通道数为256、输出通道数为512、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；第二普通卷积块的卷积核大小为4×4、输入通道数为512、输出通道数为512、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；第三普通卷积块的卷积核大小为4×4、输入通道数为512、输出通道数为1、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层，全局鉴别器结构如下所示：卷积块1：卷积核大小4×4、输入通道数1、输出通道数64、步长2、填充1；卷积块2：卷积核大小4×4、输入通道数64、输出通道数128、步长2、填充1；卷积块3：卷积核大小4×4、输入通道数128、输出通道数256、步长2、填充1；卷积块4：卷积核大小4×4、输入通道数256、输出通道数512、步长1、填充3；卷积块5：卷积核大小4×4、输入通道数512、输出通道数512、步长1、填充3；卷积块6：卷积核大小4×4、输入通道数512、输出通道数1、步长1、填充3；局部鉴别器设有两个下采样卷积块和三层普通卷积块，具体结构如下：第一下采样卷积块的卷积核大小为4×4、输入通道数为3、输出通道数为64、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；第二下采样卷积块的卷积核大小为4×4、输入通道数为64、输出通道数为128、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；第一普通卷积块的卷积核大小为4×4、输入通道数为128、输出通道数为256、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层；第二普通卷积块的卷积核大小为4×4、输入通道数为256、输出通道数为512、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；第三普通卷积块的卷积核大小为4×4、输入通道数为512、输出通道数为1、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；局部鉴别器结构如下所示：卷积块1：卷积核大小4×4、输入通道数1、输出通道数64、步长2、填充1；卷积块2：卷积核大小4×4、输入通道数64、输出通道数128、步长2、填充1；卷积块3：卷积核大小4×4、输入通道数128、输出通道数256、步长1、填充1；卷积块4：卷积核大小4×4、输入通道数256、输出通道数512、步长1、填充3；卷积块5：卷积核大小4×4、输入通道数512、输出通道数1、步长1、填充3；5-2将迭代后生成的亮度通道Y和正常照度下的亮度通道Y输入到全局判别器和局部判别器，把判别器得到的矩阵特征图进行比较；5-3判别器的对抗性损失函数如公式8和公式9所示： 其中C表示判别器网络，xr，xf分别表示真实分布的正常亮度通道Y和伪分布的正常亮度通道Y，σ表示sigmoid激活函数，Ex表示均值；5-4将对抗损失和传入NASPE-net中进行反向传播；6设计损失函数反向训练增强网络，包括以下步骤：6-1空间一致性损失函数：采用空间一致性损失函数来保持增强后的图像保留原始图像的对比度信息，损失函数如公式10所示： 其中i表示图像中的像素点，j表示上下左右相邻的4个像素点，Y表示增强后的图像，I表示原始图像；6-2彩色恒常损失函数：设置Cb和Cr是无限接近的，损失函数如公式11所示：Lcol＝∑Cb，CtJCb-JCr211，其中JCb表示Cb通道的像素值，JCr表示Cr通道的像素值；6-3总损失函数：总体损失函数如公式4所示： 每个损失都有对应的先验权重w，采用总损失函数反向传播训练NASPE-net，为全局鉴别器损失，为局部鉴别器损失。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 一种基于NASPE-net的低照度图像增强方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD