申请/专利权人：上海海事大学

申请日：2020-12-24

公开（公告）日：2024-04-09

公开（公告）号：CN112561791B

主分类号：G06T3/04

分类号：G06T3/04;G06N3/0464;G06N3/0475;G06N3/094

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2021.04.13#实质审查的生效;2021.03.26#公开

摘要：本发明公开了一种基于优化AnimeGAN的图像风格迁移，具体包含以下过程：建立风格迁移的训练集，包含原风格图像集和目标风格图像集；构建生成网络：所述生成网络为编码器‑解码器结构，包含标准卷积块、下采样卷积块、倒置残差块、上采样卷积块和深度可分离卷积；构建判别网络：所述判别网络中的卷积层为标准卷积；进行生成网络与判别网络的对抗训练，得到训练成熟的生成网络；采用训练成熟的生成网络对图像进行目标风格迁移，生成目标风格迁移图像。本发明基于优化后的AnimeGAN进行图像风格迁移，著降低了图像训练时间；将优化后的AnimeGAN应用于非成对图像之间的风格迁移，使得生成的图像具有明显的目标风格纹理、内容迁移的效果更好，且图像边缘清晰。

主权项：1.一种基于优化AnimeGAN的图像风格迁移，其特征在于，包含以下步骤：S1、建立风格迁移的训练集，包含原风格图像集和目标风格图像集；S2、构建生成网络G：所述生成网络G为编码器-解码器结构，包含标准卷积块、下采样卷积块、倒置残差块、上采样卷积块和深度可分离卷积；S3、构建判别网络D：所述判别网络D中的卷积层为标准卷积；S4、进行生成网络G与判别网络D的对抗训练，得到训练成熟的生成网络G；S5、采用训练成熟的生成网络G对图像进行目标风格迁移，生成目标风格迁移图像；所述生成网络G的编码器通过一层标准卷积块输入，将该标准卷积块与一层标准卷积块、一个下采样卷积块、一个标准卷积块、一个深度可分离卷积、一个下采样卷积块、一个标准卷积块以及8块倒置残差块依次连接，形成所述编码器；所述生成网络G的解码器通过一个卷积层输出，依次连接一层标准卷积块、一个上采样卷积块、一个深度可分离卷积、一个标准卷积块、一个上采样卷积块、两个标准卷积块和该卷积层，形成所述解码器；所述判别网络D通过第一卷积层输入，并对第一卷积层、第二卷积层和第四卷积层分别进行LRelu激活函数操作，对第三卷积层、第五卷积层和第六卷积层分别进行实例正则化函数和LRelu激活函数操作，所述判别网络D通过第七卷积层输出；所述生成网络G与判别网络D的对抗训练包含以下过程：S41、所述生成网络D的预训练：将第一类图像和第一类图像的YUV格式三通道图像，以及第三类图像和第三类图像的YUV格式三通道图像，输入所述生成网络D；采用VGG19网络模型对所述生成网络D进行预训练，预训练过程采用L1稀疏正则化方法计算图像内容损失函数LconG,D和灰度损失函数LgraG,D,计算公式如下： 其中，公式1中G表示所述生成网络，D表示所述判别网络，pi表示第i张第一类图像，Gpi表示第一类图像pi输入所述生成网络G生成的图像，表示第一类图像pi的YUV格式三通道图像的数学期望,VGGlpi表示输入第一类图像pi的VGG19网络模型、第l层的特征映射，VGGlGpi表示输入Gpi的VGG19网络模型、第l层的特征映射；公式2中表示输入所述生成网络G的、第三类图像的灰度图像xi的数学期望，Gram表示特征图的Gram矩阵；S42、训练所述判别网络D：将与第一类图像pi对应的第二类图像、所述生成网络G生成的图像Gpi输入所述判别网络D，对该第二类图像进行区分识别；识别过程中采用的损失函数计算公式如下： 其中，公式3中ωadv表示权重；表示第三类图像的YUV格式三通道图像ai的数学期望，该第三类图像与第一类图像pi对应；表示第一类图像pi的YUV格式三通道图像的数学期望；表示第三类图像的灰度图xi的数学期望，该第三类图像与第一类图像pi对应；表示图像Gpi的灰度图像yx的数学期望；Dai、Dxi、Dyi分别表示判别网络判别输入的第三类图像的YUV格式三通道图像、第三类图像的灰度图、第一类图像的YUV格式三通道图像是否是真实；S43、训练生成网络G：将第一类图像的YUV格式三通道图像输入生成网络G，生成目标风格的图像并输出；所述生成网络G将RGB格式的图像颜色转换为YUV格式来构建颜色重构损失LcolG,D，计算公式如下： 其中，YGpi、UGpi、VGpi分别表示所述生成网络G生成的图像Gpi在YUV格式下的三个通道，H表示Huber损失，pi表示第i张第一类图像；S44、重复步骤S41～S43，对第i+1张第一类图像进行生成网络G与判别网络D的对抗训练；以原风格图像集中每张第一类图像完成生成网络G与判别网络D的对抗训练，作为一个epoch。

全文数据：

权利要求：

百度查询： 上海海事大学 一种基于优化AnimeGAN的图像风格迁移

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD