申请/专利权人：北京工业大学

申请日：2020-03-25

公开（公告）日：2020-07-17

公开（公告）号：CN111429433A

主分类号：G06T7/00(20170101)

分类号：G06T7/00(20170101);G06N3/04(20060101);G06N3/08(20060101)

优先权：

专利状态码：在审-实质审查的生效

法律状态：2020.08.11#实质审查的生效;2020.07.17#公开

摘要：本发明提出了一种基于注意力生成对抗网络的多曝光图像融合方法。注意力机制的思想与多曝光融合中的细节加权问题高度匹配，可以应用通道注意力自适应选择各个输入图像的权重，用空间注意来自适应的选择不同空间位置的权重。该技术在各种多媒体视觉领域都有广泛的应用前景。所述算法设计了一种新的注意力生成对抗网络用于多曝光图像融合任务，通过将视觉注意力机制引入到生成网络，能够帮助网络自适应地学习不同输入图像以及不同空间位置的权重，来实现更好的融合效果。

主权项：1.一种基于注意力生成对抗网络的多曝光图像融合方法，其特征在于：包括基于注意力机制的生成对抗网络结构搭建，多曝光图像融合生成网络与判别网络对抗训练、多曝光图像融合测试三部分；首先，第一部分是进行基于注意力机制的生成对抗网络搭建，总体网络由生成网络和判别网络两部分构成，在生成网络中引入了注意力机制；网络搭建具体包括以下步骤：1生成网络结构搭建生成网络结构由特征提取和注意力机制融合构成；特征提取部分由输出通道数为32的3×3卷积、PReLU激活操作，5个输入输出通道均为32的残差块模块，再经过输出通道为32的3×3卷积和PReLU激活操作来完成，将得到的特征图与经过第一层卷积和激活操作的特征图对应位置相加，即对一幅图像完成了特征提取操作，得到一幅图像的32个特征图；同时对一个训练对中的N幅输入图像中的每幅图像都进行相同的特征提取，得到N幅图像的32个特征图，将它们级联得到N×32个特征图；其中，每个残差块操作包括顺序的1层3×3卷积，批归一化操作和PReLU激活，然后，1层3×3卷积，和批归一化操作，最后将上述操作的结果特征图与输入的特征图对应位置相加，即可得到一次残差块的结果；注意力模块设计为级联的混合注意力模块，即先对输入的特征图进行通道注意力操作，将通道注意力权值与通道特征图逐通道相乘，完成通道注意力操作；然后对通道注意力调整过的特征图进行空间注意力操作，计算每个空间位置的权值，将权值与特征图逐元素相乘，完成空间注意力操作；经过通道注意力和空间注意力的顺序操作，则完成了混合注意力操作；其中，通道注意力操作是基于通道平面进行两种池化操作来提取注意力参数；分别计算输入特征图每个通道的全局Averagepooling平均值和Maxpooling最大值，得到与输入特征图尺度以及通道数量相同的特征向量，然后将两个特征向量分别经过权值共享的多层感知机，将两个特征向量线性相加后经过sigmoid激活操作得到通道注意力结果，即得到每个特征图的权重；将通道注意力权值与对应的通道进行相乘，得到通道注意力调整后的特征图；空间注意力操作是所有通道的特征图以空间位置为单位进行Averagepooling平均值和Maxpooling最大值，将其按通道维度拼接在一起得到与输入特征图尺度一致的2个权值矩阵；然后，将得到的特征图进行7×7卷积操作，得到和输入特征图尺度一致的空间注意力权值矩阵，即得到每个空间位置的权重；对经过通道注意力操作之后，进行特征图与空间注意力权值的逐元素相乘，完成混合注意力操作；在经过注意力操作之后，进行3×3卷积操作，通过tanh激活函数得到输出的融合结果；2判别网络结构搭建判别网络与生成网络相连，它接收生成网络的结果以及生成网络输入图像对应的Ground-truth，用于判断两个输入图像的真假；判别网络包含10个卷积层，滤波器尺寸都为3×3，滤波器数目不断增加，从64个增加到1024个，每2次增加一倍；在第2–8个卷积操作层，每个卷积层包含1个卷积运算，1个批量归一化，1个LeakyReLU激活，只有第1个卷积层没有批归一化操作；接下来，对512个特征图顺序进行平均池化操作，卷积运算，LeakyReLU激活，再次卷积操作，最后用sigmoid函数激活输出判别结果；第二部分是多曝光图像融合生成网络与判别网络对抗训练；首先是训练数据的准备，降采样然后分割，将每对图像分成6块；对抗训练方法是生成网络和判别网络交替训练，先利用生成损失进行一次生成网络训练，反向传播，然后利用判别损失进行一次判别网络训练，再反向传播，这样一直交替训练；总的损失函数如公式1所示：minGmaxDfG,D，1以此达到那什均衡，完成训练；设计的生成网络的损失函数由四部分组成，分别是图像损失lmse、感知损失lpe、对抗损失lad和TV损失ltv；将4种损失按一定比例相加就是生成网络损失，具体损失函数如公式2所示：lmef＝αlmse+βlpe+γlad+δltv，2测试的数据集选用训练部分选择后剩余的数据，做降采样处理，不裁剪，输入测试程序，生成多曝光融合图像；测试程序应用第二部分多曝光图像融合生成网络与判别网络对抗训练的结果，将对抗训练得到的生成网络的参数输入测试程序进行多曝光图像融合，生成多曝光融合图像。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于注意力生成对抗网络的多曝光图像融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD