申请/专利权人：杭州电子科技大学

申请日：2022-04-25

公开（公告）日：2024-05-03

公开（公告）号：CN114693565B

主分类号：G06T5/00

分类号：G06T5/00;G06V10/80;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.05.03#授权;2022.07.19#实质审查的生效;2022.07.01#公开

摘要：本发明公开了一种基于跳跃连接多尺度融合的GAN图像修复方法，根据跳跃连接未考虑编解码器中各层特征之间的相关性的特点，利用编码器中相对高层的特征图与相对低层的特征图融合，再传递至各层解码器并输出生成图像。然后细化了损失的类型，重新定义损失函数为对抗损失、像素重构损失和金字塔损失来进一步指导网络的训练向正确的方向进行。本发明方法针对现有图像修复方法高层特征不能指导低层特征的生成导致修复的结果可能存在语义不连贯的问题进行改善，提升了破损图像修复的效果，在满足人类视觉感知需求的同时也能在一定程度上与原图相似。且经实验验证，该方法在人脸图像、自然场景图像和建筑图像上都达到了不错的修复效果。

主权项：1.一种基于跳跃连接多尺度融合的GAN图像修复方法，其特征在于，步骤如下：步骤1.构建基于跳跃连接多尺度融合的生成对抗网络；以掩膜来代替图像中的破损区域，将带有破损区域的图像作为生成单元的输入，生成单元以U-Net模型为基础结构，跳跃连接中使用多尺度融合将编码器各层特征图融合，然后传递至解码器与解码器特征图进行通道融合，并得到生成图像；判别单元由5层卷积层组成，对输入图像做二分类，负责对修复图像和原始图像的判别；步骤2.构建生成对抗网络的损失函数；对步骤1中得到的生成图像进行处理得到破损图像的修复结果，与原图计算像素重构损失；解码器特征图输出各尺度的图像与对应尺度的原图计算金字塔损失；同时作为判别单元的输入，输出判别结果并计算对抗损失，结合三种损失函数同时指导生成对抗网络下一步的训练向正确的方向进行，使得生成单元能生成更加逼真的修复图像，判别单元能进一步区分生成的修复图像和原图；步骤3.通过训练好的生成对抗网络得到破损图像的修复结果；步骤2.具体方法如下：步骤2.1.细化损失的类型，重新定义损失函数L来指导模型的训练向正确的方向进行；公式表达如下：L＝λadvLadv+λpyramidLpyramid+Lrec2式中，Ladv为对抗损失，Lpyramid为金字塔损失，Lrec为像素重构损失，λadv＞0和λpyramid＞0为对应损失函数的权重值；λadv＝0.1，λpyramid＝0.5；步骤2.2.生成单元输出的生成图像相比于输入，破损区域和已知区域的内容都会发生改变，但只有破损区域需要修复，因此最终的修复结果由输入的已知区域和输出的破损区域组合得到，公式表达如下：Iinpainting＝Ig⊙M+Io⊙1-M3式中，Ig为生成单元输出的生成图像；将得到的图像修复结果输入至判别单元中以计算对抗损失来使结果更逼真；以hinge函数定义对抗损失，公式表达如下： 式中，PdataIinpainting为修复图像样本分布，表示期望Iinpainting从PdataIinpainting中获取；PdataIo为真实样本分布，表示期望Io从PdataIo中获取；DIo,DIinpainting分别表示判别单元对原始图像和修复图像的判别结果，ReLU·表示激活函数，LD为判别单元对抗损失，也为判别单元的总损失；步骤2.3.生成单元输出的生成图像会同时改变输入图像Iinput的破损区域和已知区域，因此将像素重构损失Lrec分解成图像缺失区域的像素重构损失Lhole和已知区域的像素重构损失Lvalid；以Lhole来指导缺失区域的输出在语义上更接近原图，Lvalid指导生成单元输出的生成图像在已知区域不会有太大改变，公式表达如下：Lrec＝λholeLhole+λvalidLvalid6式中，λhole＞0和λvalid＞0为对应的权重值；λhole和λvalid都采用l1距离来衡量生成图像和原始图像在像素层面的差异，公式表达如下：Lhole＝||Ig⊙M-Io⊙M||1＝||Iinpainting-Io||17Lvalid＝||Ig⊙1-M-Io⊙1-M||1＝||Ig⊙1-M-Iinput||18步骤2.4.通过生成单元各层解码器特征图经卷积输出不同尺度的修复图像与真实样本计算l1距离，以此得到金字塔损失，逐步完善每个尺度对破损区域的填充，公式表达如下： 式中，为Ipyramid中的各个尺度的图像修复结果，由Io下采样至与具有相同尺度大小得到；Ipyramid实现多尺度融合的过程监控，使得解码器的过程损失更快的产生效果。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于跳跃连接多尺度融合的GAN图像修复方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD