申请/专利权人：杭州电子科技大学

申请日：2022-05-06

公开（公告）日：2024-03-19

公开（公告）号：CN114863527B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/80;G06N3/0464;G06N3/0455;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2022.08.23#实质审查的生效;2022.08.05#公开

摘要：本发明公开了一种基于FP‑SCGAN模型的妆容风格迁移方法，将特征金字塔与SCGAN算法结合。FP‑SCGAN网络共包括四个部分：PSEnc、FIEnc、MFDec以及马尔可夫判别器。PSEnc用于提取参考妆容特征，FIEnc用于提取待迁移图片的面部特征，MFDec用于将原图脸部特征和参考图像的妆容特征进行融合，马尔可夫判别器用于度量生成分布与实际分布之间的距离。该改进算法能够解决妆容迁移时眼眶存在不自然的边缘，较淡的眼妆无法迁移等问题，相比较于目前主流的SCGAN妆容迁移算法，迁移效果得到提升。

主权项：1.一种基于FP-SCGAN模型的妆容风格迁移方法，其特征在于，其FP-SCGAN网络包括PSEnc、FIEnc、MFDec以及马尔可夫判别器，网络的训练在生成器G与判别器D的相互博弈中进行，最终达到动态平衡时网络即收敛，训练具体包括以下步骤：S10，得到风格特征：将未上妆图像x与已上妆图像y送入FIEnc中，经过特征提取、下采样和残差模块得到待迁移图片的面部特征cx，cy，并将妆容参考图像的关键区域送入PSEnc中，经过预训练VGG19网络进行特征提取以及特征金字塔对特征进行融合，得到风格特征sx,sy；S20，得到参考妆容图像与待迁移图像融合的特征：将得到的风格特征送入到多层感知器中，使风格特征映射到特征空间，得到风格特征编码codex,codey，将得到的待迁移图片的面部特征以及风格特征编码送入MFDec中通过解码器AdaIN进行特征融合；同时，MFDec的浅层中使用AdaIN来引入特征，经过MFDec网络得到参考妆容图像与待迁移图像融合的特征xy,yx,xx,yy；S30，优化判别器和生成器：固定生成器G的参数，计算生成器损失，用于优化判别器D，使得判别器D的辨别能力增强，随后进行反向传播，更新判别器参数,共有两个判别器，分别用于判别生成的上妆图像与去妆图像，二者结构上相同；固定判别器D的参数，计算判别器损失，用于优化生成器G，使得生成器G对判别器D的欺骗能力增强；S40，计算各类损失：包括身份损失，该损失采用生成器重建待迁移图像；妆容损失，该损失引导关键区域妆容的迁移；局部vgg损失，该损失加强对关键区域语义信息的保留；全局vgg损失，该损失保证生成图像与原始图像语义信息相似；S50，更新生成器参数：同时将xy,yx送入FIEnc中提取内容特征cx,fake,cy,fake；然后，将cx,fake与codex以及cy,fake与codey分别送入到MFDec中得到xrec以及yrec；进一步计算重建损失，该损失引导网络进行整体风格迁移的同时，保留原始图像的基本特征；最后进行反向传播，更新生成器参数。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于FP-SCGAN模型的妆容风格迁移方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD