Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 恭喜华东师范大学孙力获国家专利权

恭喜华东师范大学孙力获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网恭喜华东师范大学申请的专利一种基于生成对抗网络的双驱动人脸属性编辑方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114022346B

龙图腾网通过国家知识产权局官网在2025-05-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111086482.3,技术领域涉及:G06T3/04;该发明授权一种基于生成对抗网络的双驱动人脸属性编辑方法是由孙力;黄秋胜;郑智琳;胡雪琦设计研发完成,并于2021-09-16向国家知识产权局提交的专利申请。

一种基于生成对抗网络的双驱动人脸属性编辑方法在说明书摘要公布了:本发明公开了一种基于生成对抗网络的双驱动人脸属性编辑方法,其特点是采用基于标签和参考图像的双驱动网络结构,使用共享的编码器将attdiff、原图片、参考图片和噪声融合到隐空间,最后通过SPADE的方式加入对抗生成网络的中间层,而且在隐空间添加双驱动间的插值约束,还利用修改后的attdiff创建损失函数对假图和原图进行约束,训练一个生成对抗网络,实现对人脸图片中各个属性的可控编辑。本发明与现有技术相比具有对人脸属性进行可控编辑,方法简便,生成图的质量高,属性准确率高,有效的解决了双驱动模型生图质量低和属性编辑准确率低的问题。

本发明授权一种基于生成对抗网络的双驱动人脸属性编辑方法在权利要求书中公布了:1.一种基于生成对抗网络的双驱动人脸属性编辑方法,其特征在于,该方法包括以下具体步骤:步骤1:选择人脸属性数据集,对图片数据进行预处理;步骤2:搭建双驱动生成对抗网络模型,设计损失函数,并根据设计的损失函数训练网络;步骤3:使用训练好的生成对抗网络对人脸图片进行属性编辑;其中:所述步骤2,具体包括:2.1:按照编码器-解码器的结构搭建生成器网络G;生成器网络G的主路输入为待修改的原图,侧枝输入为风格代码,输出为生成的假图;生成器网络G的编码器由残差网络构成,解码器由残差网络加SPADE模块构成,SPADE模块用于接收侧枝输入的风格代码;2.2:计算attdiff,attdiff是表征期望改变的属性的向量;attdiff=目标标签-原图的标签;其中目标标签在训练过程中随机设定;attdiff的大小为1*1*14;2.3:搭建侧枝映射网络M;网络M的输入是向量N,输出是风格代码对于向量N的获取,先是从标准正态分布中随机采样得到的一个噪声,大小是1*1*64,然后将该噪声和attdiff在通道维度即第三个维度上拼接得到向量N,此时向量N的大小为1*1*78;2.4:搭建侧枝编码网络E,编码网络E有两种用途;第一种:E的输入是向量W1,输出是风格代码Ss;对于向量W1的获取,先将-attdiff在第一和第二维度做广播形变,大小变为128*128*14,然后将其和原图在通道维度即第三个维度上拼接得到向量W1,此时向量W1的大小为128*128*17;第二种:E的输入是向量W2,输出是风格代码对于向量W2的获取,先将attdiff在第一和第二维度做广播形变,大小变为128*128*14,然后将其和参考图在通道维度即第三个维度上拼接得到向量W2,此时向量W2的大小为128*128*17;2.5:采用两种驱动方式得到生成的假图,第一种是标签驱动方式,将步骤2.3得到的风格代码和步骤2.4得到的风格代码Ss相加得到风格代码Srand,利用步骤2.1搭建的生成器网络G,将原图输入生成器网络G的主路,将Srand通过SPADE输入到生成器网络G的侧枝,即得到生成的假图第二种是参考图驱动方式,将步骤2.4得到的风格代码和步骤2.4得到的风格代码Ss相加得到风格代码Sref,利用步骤2.1搭建好的生成器网络G,将原图输入生成器网络G的主路,将风格代码Sref通过SPADE输入到生成器网络G的侧枝,即得到生成的假图此时的人脸假图和拥有相同的属性标签,且和步骤2.2中的目标标签一致,但是拥有不同的属性风格,的风格式样来自步骤2.3中随机采样的噪声,而的风格式样来自参考图;2.6:由下采样的编码器构成判别器网络D,输入为真图或者假图,输出是分数A;对于分数A,值越大代表判别器网络D认为图片越真实,反之认为越假;2.7:由下采样的编码器构成分类器网络C,输入为真图或者假图,通过分类器网络C对图片属性进行预测,输出是预测出的14个图像属性的标签P;2.8:设计损失函数来训练和优化网络参数;a式1为对抗损失函数 式中,R为训练集,包含182000张真实图像,Xs是指从R中随机取出的真实图像,为插值图像,的获得:先将两种驱动方式得到的风格代码,即Srand和Sref,做线性插值,得到Si=α*Srand+1-α*Sref,插值系数α为0-1随机取值,再将Si送入生成器网络G的侧枝,同时生成器网络G的主路输入原图,来生成插值图像DXs或者DXg是指将图片Xs或者Xg输入判别器网络D,输出对其图片真实程度的分数;通过最大化Ladv来训练更新判别器网络D,同时最小化Ladv来训练更新生成器网络G、侧枝编码网络E及侧枝映射网络M;b采用式2的损失函数进行图像类别的约束 由于每一张图有14个属性标签,yi是第i个属性的真实值0或者1,CiX是指将图片输入分类器C,输出的第i个属性的预测值,对于一张图而言,有14个预测出来的属性值;通过令Lcls中的X为真实图像,来最小化Lcls,训练更新分类器C;通过令Lcls中的X为或者来最小化Lcls,训练更新生成器网络G、侧枝编码网络E及侧枝映射网络M;c设计式3损失函数Lsty=|Srand-Sref|3通过Lsty来增大Srand和Sref之间的相似度,以此训练更新侧枝编码网络E及侧枝映射网络M;d为了保持生成图中无关属性和原图一致,设计式4损失函数Lak=|EXs,attak-EXg,attak|,attak=1-2Ys1-|attdiff|4Ys是原图的标签,attak是表征不想改变的属性的向量,EXs,attak表示将attak和原图Xs输入到编码网络E中,得到的输出为原图中不需要编辑的属性信息In1;EXg,attak表示将attak和生成图Xg输入到编码网络E中,得到的输出为生成图中不需要编辑的属性信息In2;Lak的目的是缩小In1和In2之间的差距;通过最小化Lak,来训练更新生成器网络G、侧枝编码网络E及侧枝映射网络M;步骤2.9:使用式1-4的损失函数对生成对抗网络进行重复迭代训练,直至网络收敛。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华东师范大学,其通讯地址为:200241 上海市闵行区东川路500号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。