申请/专利权人：西北大学

申请日：2022-06-28

公开（公告）日：2024-03-12

公开（公告）号：CN114998970B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/774;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2024.03.12#授权;2022.09.20#实质审查的生效;2022.09.02#公开

摘要：本发明公开了一种基于多尺度密集特征融合的妆容迁移方法，首先借用多尺度金字塔结构思想，对原图像和目标图像进行下采样，得到不同尺寸的输入图像；然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取，将提取到的风格特征从原图像迁移到目标图像中，通过与判别器不断的博弈对抗，生成所需要的翻译图像；最后，通过渐进式增长生成器训练的方式，在训练的每个阶段中不断增加密集特征模块，实现原图像的妆容迁移，生成所需要的目标图像妆容风格的图像；与现有最先进的方法相比，本发明的方法训练时长减少34，并且生成图像的细节特征较好，可以更好地捕获源域和目标域之间分布的差异，提高妆容迁移的质量。

主权项：1.一种基于多尺度密集特征融合的妆容迁移方法，其特征在于包括以下步骤：步骤1：对输入的未化妆图像I′A和具有参考妆容的图像I′B使用MTCNN人脸检测算法进行人脸检测，定位并裁剪出需要进行妆容迁移的人脸图像IA和IB；步骤2：将IA和IB下采样到N个不同的尺度，对每一个尺度的图像进行一次训练，即整个训练过程分为N个阶段；第n个阶段和的尺度计算如式1所示： 其中，n∈{1，2，…，N}，和是模型设置的图像最小尺度，和是模型设置的最大尺度图像，N是训练的总阶段数；步骤3：整体网络结构由两个对称的金字塔结构及一个金字塔结构判别器组成；将步骤2中下采样得到的N个尺度图像作为输入图像，采用金字塔结构进行训练，然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取与融合，通过生成器与判别器不断的博弈对抗，生成所需要的妆容迁移图像IAB；步骤4：生成器通过密集特征模块来进行图像特征的提取和融合，其过程为：首先，采用三个3×3卷积从每个阶段的输入图像提取风格特征；其次，将各个阶段提取到的图像特征进行拼接融合，并利用这些特征将原图像的特征向量转换为目标图像的特征向量；最后通过一个3×3卷积输出每个阶段妆容迁移后的图像密集特征模块的第L个密集特征卷积的输入来自于前面所有密集卷积阶段的特征映射，其表达式如式2所示：xL＝HL[x1，x2，...，xL-1]2其中，HL代表特征融合，表示将第xL阶段到第xL-1阶段的所有输出特征按通道组合在一起；步骤5：为缓解网络的模式崩溃问题，将步骤4中得到的妆容迁移图像作为输入图像，通过生成器生成重建图像然后使用循环一致性损失来约束与具有相似的结构特征；循环一致性损失表达式如式3所示： 其中，步骤6：以作为判别器的输入，输出结果为是对应域的自然图像的概率，通过与生成器的不断博弈对抗，最终判别器将达到纳什平衡状态，即判别器判别生成器生成的图像为真或假的概率都为50％；步骤7：完成第二个阶段到第N个阶段的训练，训练过程与第一个阶段的过程类似，不同之处在于生成器大小是逐步递增的；在进行妆容迁移时，每次都从图像最小的尺度和最小的生成器开始；在训练过程中，每个阶段都从前一阶段获取原始特征作为输入，且前一阶段参数值不是固定的；一旦任意阶段模型收敛，则在生成器的最后一个密集特征模块后添加一个与其相同的密集特征模块来增加生成器的大小；重复这个过程N次，直到达到训练设置的图像最大尺度；对于任意阶段n，网络结构由两个生成器及一个判别器保证妆容迁移图像属于正确的图像域，使A图像域映射到B图像域得到妆容迁移图像则使反向映射得到重建图像即

全文数据：

权利要求：

百度查询： 西北大学 一种基于多尺度密集特征融合的妆容迁移方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD