申请/专利权人：南京大学

申请日：2021-01-28

公开（公告）日：2024-04-09

公开（公告）号：CN112883826B

主分类号：G06F30/27

分类号：G06F30/27

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2021.06.18#实质审查的生效;2021.06.01#公开

摘要：本发明公开一种基于学习几何和纹理风格迁移的人脸漫画生成方法，基于几何形变模块获取人脸变形图；纹理迁移模块遵循流形对齐风格转移假设，并基于神经网络优化方式迁移新风格；对于形变图与漫画的局部相似语义区域，纹理迁移模块约束风格化输出与漫画风格图具备相似特征图；并通过StyleGAN生成风格多样的艺术漫画增广风格数据集合，允许隐空间插值的方式获取多种漫画，从而实现了多样化人脸漫画生成。本发明可以夸大人的脸部特点，定制地获取不同艺术家的几何形变风格；有针对地对几何扭曲和纹理渲染，结合插值可控的漫画风格图，使得生成的人脸漫画图像更加逼真与多样。

主权项：1.一种基于学习几何和纹理风格迁移的人脸漫画生成方法，其特征在于，包括以下步骤：1获取人脸和漫画关键点：通过人脸关键点提取算法获取人脸照片和漫画照片的关键点；2构建人脸和漫画分布：将预先获取的人脸照片漫画图像数据集，划分训练集与测试集，加载人脸照片关键点分布与漫画关键点分布的表示矩阵；3计算投影矩阵：获取人脸照片关键点分布与漫画关键点分布的协方差矩阵，通过WCT算法获取能使两者对齐的线性变换，记为投影矩阵；4获取漫画域的关键点：利用投影矩阵，将人脸关键点投影到漫画域，从而获取人脸在漫画域对应的关键点；5获取人脸形变图：根据人脸关键点与漫画关键点，得到从人脸到漫画的Warp仿射矩阵，将仿射矩阵作用在整张人脸图像上，从而获取人脸形变图；6计算基于特征的近邻矩阵：将人脸形变图、漫画风格图分别输入到VGG-19网络中提取内容表示和风格表示；计算内容表示每一个位置特征与风格表示每一个位置特征的余弦相似度，得到一个位置到位置的近邻矩阵，其中矩阵每个元素编码了特征在不同空间位置的相似度，描述了内容到风格语义级别的匹配关系；7基于语义的风格损失：对于上述的人脸形变图的内容表示和漫画图的风格表示，计算两者位置到位置的欧式距离矩阵，该矩阵与近邻矩阵拥有等大的维度；定义K是近邻的数目，根据近邻矩阵中前K个近邻的位置关系，将欧式距离矩阵对应的K个位置赋值为1，其余位置赋值为0，最后，将距离矩阵求和作为风格损失；8迭代生成漫画图片：基于反向传播算法，使用迭代更新方式回传风格损失的梯度，惩罚内容到风格匹配的特征，使得越相似的特征越接近越好，输入的形变图逐渐被渲染上漫画的风格纹理，得到最终的漫画图片；9基于特征的人脸内容结构保持：将生成漫画重新输入到VGG-19提取到风格化的内容表示，用风格化内容表示与形变图内容表示的均方误差作为内容损失，从而保持形变图原有的人脸结构不被纹理迁移过程破坏；10获取多样化的漫画风格：借助StyleGAN生成海量的生成漫画，同时提供隐空间插值方法控制生成漫画的效果，构建特征丰富的漫画风格分布；11用训练阶段的投影矩阵对不同输入的人脸照片进行形变，用基于语义级别的风格迁移方法渲染纹理；所述步骤3通过以下公式实现： 其中，Lpw为白化矩阵，关键点的均值向量表示为漫画关键点的均值向量为中心化后的图片关键点矩阵为中心化后的漫画关键点矩阵为对进行特征值分解得到Dp、Ep、Dp为图片域对角线元素特征值的对角阵，Ep为图片域列向量为特征向量的正交阵，为Ep的转置；对进行特征值分解得到Dc、Ec、Dc为漫画域对角线元素特征值的对角阵，Ec为漫画域列向量为特征向量的正交阵，为Ec的转置；是对齐之后的图片关键点矩阵，其协方差矩阵与的协方差矩阵相同；P为从图片到漫画的投影矩阵。

全文数据：

权利要求：

百度查询： 南京大学 一种基于学习几何和纹理风格迁移的人脸漫画生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD