申请/专利权人：陕西师范大学

申请日：2022-02-08

公开（公告）日：2024-04-12

公开（公告）号：CN114820286B

主分类号：G06T3/04

分类号：G06T3/04;G06N3/0455;G06N3/0475;G06N3/0464;G06N3/084;G06T5/50

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2022.08.16#实质审查的生效;2022.07.29#公开

摘要：本发明涉及一种自适应特征融合恢复及混合妆容迁移重组方法，本发明主要实现了基于自适应特征融合模块的面部特征恢复技术、根据求解加权最小二乘WLS模型选择引导图像、搭建特征提取网络以及风格迁移网络进行卸妆操作、结合生成式对抗网络及变分自编码器网络各自优势实现基于参考带妆图像的妆容迁移重组。本发明主要解决了由于姿态或光照不同、背景及人物姿势的差异性、输入照片的清晰度、尺寸大小以及自带妆容对妆容迁移重组效果产生的影响。通过结合生成式对抗网络和变分自编码器网络技术进行妆容重组，达到较好的妆容迁移效果。

主权项：1.一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，包括以下步骤：步骤1、获取输入图像，输入图像中包括样本图像集一张低清晰度的原始输入图像Id，其中，表示第k张样本图像，K表示样本图像的总数；步骤2、从样本图像集中获得与原始输入图像Id相似度最高的图像样本图像作为引导图像；步骤3、将引导图像与原始输入图像Id输入多个级联的自适应特征融合模块，由最后一级自适应特征融合模块输出具有较高还原清晰度的图像其中，每一级的自适应特征融合模块基于以下步骤实现：步骤301、得到原始输入图像Id的特征Fd后进行降维处理；步骤302、得到引导图像的特征Fg,w,a后进行降维处理；步骤303、通过提取二进制图像的特征得到标记点特征，其中，提取所有输入图像的M个特征点后获得二进制图像；步骤304、对步骤303中所得特征进行降维处理；步骤305、将步骤301、步骤302以及步骤303所得到的维度一致的特征进行连接；步骤306、将通过步骤305获得的经过连接的特征作为带偏置卷积网络层的输入，在带偏置卷积网络层中引入注意力机制，利用引入注意力机制的带偏置卷积网络层融合所输入的特征；步骤307：将通过步骤302获得的引导图像的特征Fg,w,a作为卷积层的输入；步骤308：将经过步骤307处理后的特征与通过步骤301获得的特征进行减法运算后，送入残差结构进行降维处理；步骤309：将经过步骤308处理的特征与通过步骤306所获得的特征进行乘法运算后，再次送入残差结构进行降维处理；步骤310：将通过步骤301获得的原始输入图像Id的特征作为卷积层的输入；步骤311：将经过步骤310处理后的特征与经过步骤309处理后的特征进行加法运算后和通过步骤309得到的结果共同输入包含残差块的重建子网处理得到输出结果；在最后一级自适应特征融合模块中，通过包含残差块的重建子网得到最终的具有较高还原清晰度的图像步骤4、若图像自带妆容，则进入步骤5进行妆容迁移；若图像不带妆容，则进入步骤6；步骤5、将图像输入IDNet特征提取网络，将IDNet特征提取网络的输出输入STNet风格迁移网络，由STNet风格迁移网络产生卸妆后的输出图像步骤6、利用风格迁移网络处理卸妆后的输出图像或直接处理不带妆容的具有较高还原清晰度的图像将待风格迁移网络处理的图像进一步定义为素颜图像x∈[0,1]H×W×3；将步骤2获得的引导图像或者用户自定义的带妆容图像作为参考带妆图像y∈[0,1]H×W×3；风格迁移网络先采用GAN生成式对抗网络对输入的素颜图像x以及参考带妆图像y进行基于DMT的插值妆容迁移，通过控制权重大小α∈[0,1]进行插值妆容迁移，达到调节妆容浓淡程度的目的；再利用VAE变分自编码器进行局部优化。

全文数据：

权利要求：

百度查询： 陕西师范大学 自适应特征融合恢复及混合妆容迁移重组方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD