申请/专利权人：浙江科技学院;国网浙江省电力有限公司电力科学研究院

申请日：2022-06-15

公开（公告）日：2022-09-27

公开（公告）号：CN115115514A

主分类号：G06T3/40

分类号：G06T3/40;G06N3/04;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2022.10.18#实质审查的生效;2022.09.27#公开

摘要：本发明公开了一种基于高频信息特征融合的图像超分辨率重建方法，其构建生成网络，包括特征预提取模块、残差网络、上采样模块、输出模块；使用训练图像集对生成网络进行预训练，得到生成网络预训练模型；构建基于高频信息特征融合的生成对抗网络，包括生成网络和判别网络，生成网络加载生成网络预训练模型，判别网络由高频信息蒸馏模块、高频信息特征提取模块、图像特征提取模块、特征融合模块以及像素域判别模块组成；使用训练图像集对生成网络和判别网络进行对抗训练，得到生成网络训练模型和判别网络训练模型；生成网络训练模型根据测试图像集中的每幅低分辨率图像生成对应的超分辨率图像；优点是利用其重建的重建图像的纹理细节更丰富。

主权项：1.一种基于高频信息特征融合的图像超分辨率重建方法，其特征在于包括以下步骤：步骤1：选取至少501幅RGB图像；然后对每幅RGB图像进行预处理，得到每幅RGB图像对应的尺寸为24×24且包含有高频信息的低分辨率图像；再将至少500幅尺寸为24×24且包含有高频信息的低分辨率图像构成训练图像集，将剩余的尺寸为24×24且包含有高频信息的低分辨率图像构成测试图像集；步骤2：构建基于残差网络的生成网络：其包括特征预提取模块、包含有18个残差块的残差网络、基于PixelShuffle的上采样模块、输出模块，特征预提取模块对输入的低分辨率图像进行特征预提取，残差网络对特征预提取模块预提取的特征进行特征提取，上采样模块对残差网络提取的特征进行两次上采样操作，输出模块对上采样操作后得到的特征进行特征映射，并输出通道数为3的超分辨率图像；其中，低分辨率图像的尺寸为24×24，超分辨率图像的尺寸为96×96；步骤3：将训练图像集中的每幅低分辨率图像输入到基于残差网络的生成网络中进行预训练，预训练过程中采用MSE损失函数；步骤4：使用训练图像集按照步骤3的过程进行至少300轮预训练，得到生成网络预训练模型；步骤5：构建基于高频信息特征融合的生成对抗网络：其包括已构建的基于残差网络的生成网络和基于卷积神经网络的判别网络，生成网络加载生成网络预训练模型，判别网络由高频信息蒸馏模块、高频信息特征提取模块、图像特征提取模块、特征融合模块以及像素域判别模块组成，高频信息蒸馏模块的输入端接收一幅高分辨率图像或超分辨率图像，高频信息蒸馏模块提取出高分辨率图像或超分辨率图像中的三个高频信息并对三个高频信息进行融合及归一化处理，高频信息蒸馏模块的输出端输出高分辨率图像或超分辨率图像的高频信息归一化图像，高频信息特征提取模块的输入端接收高频信息蒸馏模块的输出端输出的高频信息归一化图像，高频信息特征提取模块对高频信息归一化图像进行特征提取，高频信息特征提取模块的输出端输出高频信息特征，图像特征提取模块的输入端接收输入到高频信息蒸馏模块的高分辨率图像或超分辨率图像，图像特征提取模块对高分辨率图像或超分辨率图像进行特征提取，图像特征提取模块的输出端输出图像特征，特征融合模块的第一输入端接收高频信息特征提取模块的输出端输出的高频信息特征，特征融合模块的第二输入端接收图像特征提取模块的输出端输出的图像特征，特征融合模块对特征进行拼接融合，特征融合模块的输出端输出融合特征，像素域判别模块的输入端接收特征融合模块的输出端输出的融合特征，像素域判别模块对融合特征进行判别，像素域判别模块的输出端输出高分辨率图像或超分辨率图像的矩阵得分；其中，高分辨率图像的尺寸为96×96，高频信息归一化图像的尺寸为48×48，矩阵得分的维数为16×16；步骤6：将训练图像集中的每幅低分辨率图像输入到生成网络中，生成网络输出对应的超分辨率图像；然后将训练图像集中的每幅低分辨率图像对应的高分辨率图像和超分辨率图像分别输入到判别网络中，判别网络分别输出高分辨率图像和超分辨率图像各自的矩阵得分；接着将训练图像集中的每幅低分辨率图像对应的高分辨率图像输入到VGG网络模型中，VGG网络模型提取出在其第4个卷积层激活后第5个最大池化层之前获取的特征图，并将训练图像集中的每幅低分辨率图像对应的超分辨率图像输入到VGG网络模型中，VGG网络模型提取出在其第4个卷积层激活后第5个最大池化层之前获取的特征图，利用这两幅特征图计算感知损失，记为再利用判别网络对训练图像集中的每幅低分辨率图像对应的超分辨率图像的矩阵得分计算对抗损失，记为之后根据感知损失和对抗损失计算生成网络的损失，记为LossGen，同时利用判别网络对训练图像集中的每幅低分辨率图像对应的超分辨率图像的矩阵得分和训练图像集中的每幅低分辨率图像对应的高分辨率图像的矩阵得分计算判别网络的损失，记为LossDis，最后根据生成网络的损失进行反向传播优化生成网络的参数；同样，根据判别网络的损失进行反向传播优化判别网络的参数；其中，IHR表示低分辨率图像对应的高分辨率图像，表示VGG网络模型提取出的IHR对应的特征图，表示中坐标位置为w,h的像素点的像素值，ILR表示低分辨率图像，gen表示生成网络，genILR表示生成网络输出的ILR对应的超分辨率图像，表示VGG网络模型提取出的genILR对应的特征图，表示中坐标位置为w,h的像素点的像素值，W表示VGG网络模型提取出的特征图的宽度，H表示VGG网络模型提取出的特征图的高度，1≤w≤W，1≤h≤H，δDWT表示高频信息蒸馏模块，δDWTgenILR表示高频信息蒸馏模块的输出端输出的超分辨率图像的高频信息归一化图像，符号表示两幅图像的拼接操作，dis表示像素域判别模块，表示像素域判别模块的输出端输出的超分辨率图像的矩阵得分，δDWTIHR表示高频信息蒸馏模块的输出端输出的高分辨率图像的高频信息归一化图像，表示像素域判别模块的输出端输出的高分辨率图像的矩阵得分；步骤7：使用训练图像集按照步骤6的过程进行至少300轮对抗训练，得到生成网络训练模型和判别网络训练模型；其中，对抗训练过程中，adam优化器的两个超参数beta1设为0.9、beta2设为0.999、batchsize设为16、初始学习率设为10e-4，每迭代1×105次后学习率都减半；步骤8：生成网络训练模型根据测试图像集中的每幅低分辨率图像生成对应的超分辨率图像。

全文数据：

权利要求：

百度查询： 浙江科技学院;国网浙江省电力有限公司电力科学研究院 基于高频信息特征融合的图像超分辨率重建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD