申请/专利权人：杭州电子科技大学

申请日：2020-12-29

公开（公告）日：2024-02-13

公开（公告）号：CN112633288B

主分类号：G06V10/26

分类号：G06V10/26;G06V10/32;G06V40/16;G06V10/764;G06V10/774;G06V10/82;G06N3/0475;G06N3/094

优先权：

专利状态码：有效-授权

法律状态：2024.02.13#授权;2021.04.27#实质审查的生效;2021.04.09#公开

摘要：本发明公开了一种基于绘画笔触指导的人脸素描生成方法。本发明步骤如下：步骤1数据预处理，将所有数据集的图片经过调整尺寸和裁剪的操作缩放到统一大小；步骤2笔触分类器模型的构建及预训练，自定义笔触标签，构建笔触分类器网络模型，完成模型的预训练，保留训练好的模型参数；步骤3生成对抗网络模型的构建，分别构建生成器和判别器两个网络模型；步骤4生成对抗网络模型的训练，定义损失函数，训练生成对抗网络模型；步骤5人脸素描的生成及质量评价。本发明提出了利用笔触分类器辅助指导人脸素描生成的方法，并完成了人脸素描的高质量生成。

主权项：1.一种基于绘画笔触指导的人脸素描生成方法,其特征在于包括如下步骤：步骤1数据预处理将所有数据集的图像经过调整尺寸和裁剪的操作缩放到统一大小；步骤2笔触分类器网络模型的构建及预训练自定义笔触标签，构建笔触分类器网络模型，完成模型的预训练，保留训练好的模型参数；步骤3生成对抗网络模型的构建分别构建生成器和判别器两个网络模型；步骤4生成对抗网络模型的训练定义损失函数，训练生成对抗网络模型；步骤5人脸素描的生成及质量评价依次将待处理的人脸图像输入到训练后的生成对抗网络模型中，得到对应的人脸素描画图像，并根据指标完成质量评价；步骤2所述的笔触分类器模型的构建及预训练：2-1使用人脸分割网络BiseNet生成Mask数据集通过人脸分割网络BiseNet对预处理后数据集中的人脸图像做语义解析，为每个语义成分分配一个像素级标签并进行标注；最后获得的20个人脸语义标签如下：atts＝[1'skin',2'l_brow',3'r_brow',4'l_eye',5'r_eye',6'eye_g',7'l_ear',8'r_ear',9'ear_r',10'nose',11'mouth',12'u_lip',13'l_lip',14'neck',15'neck_l',16'cloth',17'hair',18'hat'，20'mustache']；2-2根据20个人脸语义标签自定义人脸素描笔触标签：平滑笔触：patch块最大值为1or6or11or14or15or16，则label为1；毛发笔触：patch块最大值为2or3or17or20，则label为2；强结构笔触：patch块最大值为7or8or9or10or12or13，则label为3；边界笔触：提取块or[20or1and14]or[6和1or2or3or10]or4or5orand1or9or17]oror则label为4；其余为背景0；针对上述笔触标签的定义标准可能出现的错误，使用标签平滑技术，设置错误率为ε，则对应的标签更新为：label＝1-ε*label+εclass_num其中，class_num表示分类的标签数5；2-3构建笔触分类器网络；使用DenseNet网络构建笔触分类器，其中设置的growthRate＝6,depth＝10,reduction＝0.5；2-4训练笔触分类器网络模型并保存对于笔触分类器网络模型，使用nll_loss作为损失函数，使用Adam优化器完成梯度更新；每隔20个epoch保存一次模型，总共训练800epoch；所述的笔触分类器网络的构建如下：Bottleneck:先使用BatchNorm2d做标准化，后面采用激活函数‘relu’，再做一个1*1的卷积操作；输出向量继续进行BatchNorm2d标准化、激活函数‘relu’，再做一个3*3的卷积操作后输出；Transition:先使用BatchNorm2d做标准化，后面采用激活函数‘relu’，再做一个1*1的卷积操作,最后接一个‘avg_pool2d’完成平均池化并输出；DenseNet:主体使用3个BottleNet，中间使用2个Transition做过渡连接；输出向量使用BatchNorm2d做标准化，再做2*2的卷积操作，最后做log_softmax运算输出；针对上述网络构建过程中使用的卷积操作，使用动态区域感知卷积代替标准卷积；动态区域感知卷积的具体实现过程如下：首先通过标准卷积来生成guidedfeature，根据guidedfeature将空间维度分成多个区域，卷积核生成模块G根据输入图片动态生成每个区域对应的卷积核。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于绘画笔触指导的人脸素描生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD