申请/专利权人：京工慧创(福州)科技有限公司

申请日：2020-02-21

公开（公告）日：2024-04-09

公开（公告）号：CN111325661B

主分类号：G06T3/04

分类号：G06T3/04;G06V10/764;G06V10/82;G06N3/0475;G06N3/094

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2020.12.25#著录事项变更;2020.07.17#实质审查的生效;2020.06.23#公开

摘要：本发明涉及一种名为MSGAN的图像的季节风格转换模型及方法，包括生成器G、生成器F、第一真假鉴别器DG、第二真假鉴别器DF以及季节鉴别器DS。生成器的目标是将输入的图像转化为其他特定的季节风格。真假鉴别器的作用是区分图像是否为合成图像。季节鉴别器对每个合成的图像和真实的图像进行季节分类。这两个鉴别器分别都可以对生成器提供指导。为了给出网络正确的优化方向，MSGAN分别使用了风格损失，结构相似度损失和颜色损失去提高生成器的生成能力。不仅如此，MSGAN还首次使用了图像的显著性信息来对图像风格转换任务进行指导，使得图像风格转换的结果更加符合人眼真实的情况。

主权项：1.一种名为MSGAN的图像的季节风格转换模型，其特征在于，包括生成器G、生成器F、第一真假鉴别器DG、第二真假鉴别器DF以及季节鉴别器DS；所述生成器G的输入包括输入图像以及携带输入的季节风格信息的条件向量，所述生成器G将输入的图像转化为由条件向量确定的季节风格的图像；所述第一真假鉴别器DG区分生成器G转换后的图像是否为合成图像，并将结果反馈给生成器G，用以对生成器G提供指导；所述季节鉴别器DS对每个合成的图像或真实的图像进行季节分类，并将结果反馈给生成器G，用以对生成器G提供指导；所述生成器F将生成器G生成的图像转换为与初始输入图像相似的合成图像，所述第二真假鉴别器DF区分生成器F转换后的图像是否为合成图像；所述生成器G在训练时的损失函数为： 式中，X与Y表示训练时输入模型的图片，LcGANG,DG,X,Y表示生成器G和第一鉴别器DG的对抗损失函数，LcycG表示生成器G的循环一致性损失函数，Lcolor表示色调损失函数，Lssim表示相似性损失函数，LstyleG,DS表示季节风格损失函数，α、β、γ、δ均为网络损失值的比例权重；各损失函数具体如下： 其中，Gx|c表示生成器G根据输入的图像x与条件c生成的图像，表示当x,y服从真实数据分布时*的数学期望，表示当x服从真实数据分布时*的数学期望，DGx,y第一真假鉴别器鉴别真实图像时输出的结果，DGx,Gx|c表示第一真假鉴别器DG鉴别生成器G合成的图像时输出的结果； 其中，FGx|c表示生成器F对生成器G在条件c下的输出的结果的转化结果； 其中，Gx|cw表示生成器G在条件c下输出的结果的色调值，yw表示参考图像的色调值； 其中，N为窗口中像素p的数目，SSIM*为损失函数； 其中，表示当y服从真实数据分布时*的数学期望，DSGx|c表示季节鉴别器Ds对生成器G在条件c时的判断结果，DSy表示季节鉴别器Ds对真实图像的判别结果；所述生成器F在训练时的损失函数为：LF,DF＝LcGANF,DF,X,Y+αLcycF+βLcolor+γLssim；式中，X与Y表示训练时输入模型的图片，LcGANF,DF,X,Y表示生成器F和第二鉴别器DF的对抗损失函数，LcycF表示生成器F的循环一致性损失函数，Lcolor表示色调损失函数，Lssim表示相似性损失函数，α、β、γ均为网络损失值的比例权重；各损失函数具体如下： 其中，Gx|c表示生成器G根据输入的图像x与条件c生成的图像，表示x,y服从真实数据对时*的数学期望，表示x服从真实数据时*的数学期望，DFx,y表示第二真假鉴别器DF对数据对的鉴别结果，DFx,Gx|c表示第二真假鉴别器DF对合成数据的鉴别结果； 其中，GFy表示当生成器G的输入为生成器F的输出时，输出的结果； 其中，Gx|cw表示生成器G当接收到条件c时合成的数据的色调，yw表示真实图像颜色的色调； 其中，N为窗口中像素p的数目，SSIM*为损失函数。

全文数据：

权利要求：

百度查询： 京工慧创(福州)科技有限公司 一种名为MSGAN的图像的季节风格转换模型及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD