买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明公布】基于多级属性编码器和注意力机制的人脸替换方法_西安电子科技大学_202110074625.2 

申请/专利权人:西安电子科技大学

申请日:2021-01-20

公开(公告)日:2021-05-07

公开(公告)号:CN112766160A

主分类号:G06K9/00(20060101)

分类号:G06K9/00(20060101);G06K9/62(20060101);G06T3/00(20060101);G06N3/04(20060101);G06N3/08(20060101)

优先权:

专利状态码:有效-授权

法律状态:2023.07.28#授权;2021.05.25#实质审查的生效;2021.05.07#公开

摘要:本发明公开了一种基于多级属性编码器和注意力机制的人脸替换方法,主要解决现有技术中替换图像忽略背景、光照等目标属性且融合效果较差的问题。方案包括:1利用多任务卷积神经网络对源人脸图像进行预处理;2通过特征编码器提取源人脸身份特征;3使用多级属性编码器通过多层次级联的卷积块和反卷积块以及层间连接提取目标人脸图像属性;4结合注意力机制构建新型生成器网络,并设计生成器损失函数;5制作网络训练集和测试集,对新型生成器网络进行迭代训练;6使用训练后的网络模型生成人脸替换图像。本发明能够全面准确提取目标图像属性,更好地保留目标人脸的姿态、表情、光照等信息,生成真实自然的人脸替换图像。

主权项:1.一种基于多级属性编码器和注意力机制的人脸替换方法,其特征在于,实现步骤包括如下:1源人脸图像预处理:将源人脸图像Xs送入多任务卷积神经网络MTCNN进行预处理,完成人脸区域检测、人脸对齐以及关键点定位,得到预处理后源人脸图像;2提取源人脸身份特征:将预处理后源人脸图像插值为分辨率112×112大小后,送入预先训练好的Arcface特征编码器,通过该编码器进行源人脸特征提取,得到512维的人脸身份特征向量,即源人脸身份特征Zid;3提取目标人脸图像属性:采用线性整流函数ReLU的变体泄露修正线性单元函数LeakyReLU作为激活函数,利用多级属性编码器,得到目标人脸图像属性Zatt: 其中,Xt表示目标人脸图像;分别指目标人脸图像属性第一分量、第二分量、...、第八分量;4构建注意力模块:4a对深度卷积神经网络第k层的激活向量进行归一化;4b将目标人脸图像属性Zatt和源人脸身份特征Zid分别集成到激活向量中;4c按照下式,得到注意力模块的输出 其中,Mk为注意力模型权重,φk为集成了目标图像属性Zatt的激活向量,为集成了源人脸身份特征Zid的激活向量;表示卷积运算;5构建新型生成器网络:5.1搭建8个残差块,每个残差块均由注意力模块、激活函数和卷积层三部分组成;其中激活函数采用线性整流函数ReLU,卷积核大小设置为3×3、步长为1;5.2将源人脸身份特征Zid和目标人脸图像属性Zatt的每个分量分别输入到一个残差块进行特征融合;5.3依次级联每个残差块,得到新型生成器网络;6设计保持源人脸身份特征、保留目标图像属性的生成器损失函数;7制作网络训练集和测试集:通过互联网搜集人脸图片样本,对样本中的模糊图片进行手动过滤,在过滤之后的图片中选择使用不少于10000张图片作为训练集,使用FaceForensics++数据集提供的人脸视频作为测试集;8训练并测试网络模型:将训练集中的图像输入到多级属性编码器和新型生成器网络中进行迭代训练,得到最终的人脸替换网络模型,并用测试集对其完成测试;9将待替换的源人脸视频和目标人脸视频分帧成对应的图像后,送入人脸替换网络模型中,生成人脸替换图像。

全文数据:

权利要求:

百度查询: 西安电子科技大学 基于多级属性编码器和注意力机制的人脸替换方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。