申请/专利权人：杭州绿度信息技术有限公司

申请日：2019-11-25

公开（公告）日：2024-03-05

公开（公告）号：CN111062260B

主分类号：G06V40/16

分类号：G06V40/16;G06T3/04;G06T5/77

优先权：

专利状态码：有效-授权

法律状态：2024.03.05#授权;2020.05.19#实质审查的生效;2020.04.24#公开

摘要：本发明公开了一种面部整容推荐方案自动生成方法。本发明的主要流程如下：首先，获取一张用户的高清晰人脸正面照片，将人脸照片输入人脸特征参数化模型，得到用户的人脸参数化数据；其次比对用户人脸参数与构建的人脸库中脸的面部特征和五官参数，得到最相似的脸以及与用户五官参数的变形向量。再将用户的照片和变形向量，输入人脸整容效果模型，自动生成用户对应的整容后效果和量化的方案。本发明整个过程用户只需配合拍摄一张高清人脸照片，就可以自动化地完成整个面部整容推荐方案的生成，具有操作方便，耗时短，精度高的优点，并为用户提供了参数化的五官整容前后数据差异和高精度的整容后人像效果。

主权项：1.一种面部整容推荐方案自动生成方法，其特征在于包括如下五个阶段：阶段一：人脸样本数据收集和预处理，完成模型样本库创建；阶段二：训练人脸特征参数化模型，参数化用户人脸照片；阶段三：高颜值人脸库构建，相似高颜值人脸计算；阶段四：根据整容的变形量和术前术后照片，训练人脸术后效果生成模型；阶段五：功能模型部署，输入用户正脸照片，生成人脸整形后效果，并输出推荐的五官整形方案；阶段一人脸样本数据收集和预处理，具体实现如下：1-1.获取去除客户信息后的匿名术前术后人像照片，以及每张人像照片对应的实测五官指标定量数据，五官指标定量数据包含56个人脸参数指标，具体分为六大类特征：鼻子5个特征、脸型22个特征、眉毛7个特征、下巴4个特征、眼睛11个特征、嘴巴7个特征；将照片数据按照不同的命名格式进行区分，术前照片与术后照片设为图片id相同，术前照片命名以图片id_bef为图片名称，术后照片命名以图片id_aft命名，可用于人脸术后效果生成模型训练；1-2.利用开源的人脸检测模型insightface截取人像照片中的人脸部分，剔除人脸无法识别、脸部五官模糊的样本，获得最终剩余合格样本，并做图像尺寸转换，最后保证图像大小都是256*256像素；1-3.使用标注工具，对处理后的人像照片中的人脸部分进行标记，将实测五官指标定量数据与图像数据通过图片id建立起映射关系，构建出基础数据集；阶段二训练人脸特征参数化模型具体步骤如下：基于实测用户五官数据和对应的人脸照片，构建样本数据集，训练深层的人脸参数化模型；模型输入为用户正脸照片，输出为人脸的五官数据向量和人脸特征向量；模型基于InceptionResNetV1网络进行迁移学习的训练，将主网络的输出层替换为全连接层，再将全连接层输入到softmax层输出1*1*56的向量；通过人脸检测模型获取到人脸的特征向量和关键点信息，再将人脸特征向量和五官关键点信息输入后序五官特征提取网络，得到最佳参数化人脸模型；模型训练优化函数采用adam，激活函数采用relu,模型的目标函数采用均方根误差RMSE，RMSE计算公式如下： 其中，N-表示每批次训练的图片数量；observed-表示输入图片真实五官参数；predicted-表示根据输入图片，模型预测出的五官参数；通过人脸关键点检测模型获取人脸的81个关键点，依据关键点的坐标定位到具体的五官位置，按照五官对人脸照片进行切割，将整张人脸照片和切割后的五官照片分别训练，整张人脸照片主要负责五官空间关系的参数预测，最终输出56个五官特征指标；高颜值人脸库构建，具体如下：3-1.高颜值人脸库构建3-1-1.通过互联网公开数据爬取人像照片；3-1-2.利用人脸检测模型insightface，剪切出爬取照片中的人像照片，并检测图片质量，保留清晰正脸人像照片；3-1-3.将有清晰正脸人像照片通过一种基于深度卷积网络的亚洲女性颜值评分模型，输出爬取正脸人像照片的颜值评分结果；3-1-4.选取颜值评分前5％的人像照片作为高颜值人脸库；3-2.相似高颜值人脸计算，具体实现如下：在阶段二获取用户人脸的五官数据向量和人脸特征向量，需要给用户寻找最相似的人脸，确定人脸整容的方向；首先就需要将高颜值人脸库中的照片输入阶段二中的人脸参数化模型，得到高颜值人脸库对应的五官数据向量和人脸特征向量，将计算结果向量拼接，并固化为特定的文件；当获取到用户人脸照片后，用户与人脸库中的人脸相似度计算，通过阶段二得到人脸五官数据向量和人脸特征向量，再取人脸固化文件中的拼接向量，通过计算向量之间的余弦相似度，将相似度最高的脸作为用户的整形意向人脸；余弦相似度计算方法如下： 公示中向量A,B分别代表用户和相似度最高的脸的拼接向量；阶段四：根据整容的变形量和术前术后照片，训练人脸术后效果生成模型，具体实现如下：4-1.人脸变相量计算：人脸图片参数化后，任意新的一张人脸都能够由人脸特征向量组合生成，因此用户术前和术后人脸的关系可表示为： 从公式中观察到通过在术前人脸模型Sbef上添加变形量aisi，就可以生成特定人脸模型Saft；公式中，Si表示人脸参数化模型生成的特征向量；用户整形后的人脸模型Saft相对于整形前的人脸模型Sbef只是整形了下巴，则变形量aisi就代表用户下巴的整形程度；变形量可由人脸参数化模型输出向量得出，人脸的属性向量由人脸参数化模型输出的人脸特征和五官参数组成，假设人脸目标属性向量为Attaft，源人脸的属性向量为Attbef；将变形量aisi表示为属性向量之间的差：aisi＝Attaft-Attbef通过计算得出aisi，为面部整容以及整容后人脸生成提供更有价值的信息；4-2人脸术后效果生成模型训练：目标人脸生成模型训练，将阶段一中按照术前和术后人脸照片进行区分的样本数据，通过阶段二训练好的人脸参数化模型，得到源人脸照片属性向量Attbef和术后人脸的属性为Attaft,计算出人脸属性的变形量人脸术后效果生成模型的输入端包括源人脸照片和属性变形量的向量，输出为整容后的人脸照片；术后目标人脸生成模型基于STGAN，将用户的术前术后图片及对应的人脸特征向量构建为样本数据，训练得到最佳的模型参数；整个生成模型逻辑上比较清晰，在编码器和解码器过程中，加入STU选择单元，从而获得人脸属性整容后的输出；编码器的输入端包括术前源人脸照片x和差分属性标签Attdiff；对于判别器，也是判别生成器输出真假和对应的属性标签；对抗损失采用WGAN-GP来实现生成优化，对应着LDadvLGadv；对于属性标签和生成器的属性优化通过源真实样本和标签优化判别器，再通过判别器去判别目标生成的属性结果来优化生成器： 为源域和目标域属性标签，最终的损失为： 其中Lrec为不使用标签的重构误差：Lrec＝||x-Gx,0||1人脸术后效果生成模型训练，术前术后的56个五官参数数据向量做差，得到整容前后的变形量，与用户的术前和术后照片构成整体的样本数据集，将样本数据集分为训练集、验证集、测试集，训练得到最佳的人脸术后效果生成模型；阶段五输入用户正脸照片，生成人脸整形后效果，并输出推荐的五官整形方案，具体实现如下：步骤1：用户在人像采集终端设备前采集高清晰正面人脸照片；步骤2：将步骤1中的人脸照片输入阶段二中训练好的人脸参数化模型，得到对应的人脸特征向量；步骤3：将人脸特征向量与库中的固化的人脸特征计算得出相似度最高的脸，得到用户人脸特征与相似度最高的脸之间的变形量；步骤4：将原人脸照片和变形量输入阶段四训练好的人脸术后生成模型，得到推荐整容方案对应的整形后效果，并输出变相量对应的人脸五官参数的变化量，自动生成整体的推荐整容方案。

全文数据：

权利要求：

百度查询： 杭州绿度信息技术有限公司 一种面部整容推荐方案自动生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD