申请/专利权人：湖南大学

申请日：2023-12-25

公开（公告）日：2024-03-22

公开（公告）号：CN117745860A

主分类号：G06T11/00

分类号：G06T11/00;G06N3/045;G06N3/0475;G06V10/80

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明涉及人脸图像编辑的技术领域，尤其是指一种基于多模态交互模块的涂鸦人脸图像编辑方法。通过双路多模态交互模块，分别从位置维度和通道维度两方面计算交叉注意力图，使用得到的交叉注意力图和涂鸦向量通过对人脸图像隐向量迭代修改进行隐空间隐射，完成涂鸦和图像目标编辑位置的语义内容对齐，并将涂鸦嵌入到对应的隐空间中；通过单路多模态交互模块保存编辑后原始人脸身份特征，得到的纹理补充向量对人脸图像隐向量迭代修改进行隐空间隐射，最终生成人脸图像编辑结果。本发明能够更加直观、充分地表达用户的编辑意图，实现符合用户预期的真实感编辑效果，本发明在人脸图像编辑的编辑效果、编辑真实感以及人脸身份信息保存上具有优越性。

主权项：1.一种基于多模态交互模块的涂鸦人脸图像编辑方法，其特征在于：包括涂鸦纹理信息处理、涂鸦编辑、纹理补充以及编辑生成；通过基于transformer网络结构的双路多模态交互模块，首先将用户输入的涂鸦掩膜通过一个嵌入层网络转换为查询向量，然后借助预训练好的inversion编码器将待编辑的人脸图像转换为隐向量，作为多模态交互模块的键和值；双路多模态交互模块的查询、键和值分别从位置维度和通道维度两方面计算交叉注意力图，然后使用得到的交叉注意力图和涂鸦向量通过对人脸图像隐向量迭代修改进行隐空间隐射，完成涂鸦和图像目标编辑位置的语义内容对齐，并将涂鸦嵌入到对应的隐空间中；通过单路多模态交互模块保存编辑后原始人脸身份特征，首先根据涂鸦掩膜从人脸图像中获取编辑区域的纹理掩膜，然后同样通过一个嵌入层网络转换为查询向量，而从双路多模态交互模块中得到的编辑隐向量作为键和值，一起输入单路多模态交互模块中计算交叉注意力图，得到的纹理补充向量对人脸图像隐向量迭代修改进行隐空间隐射，以增强纹理内容细节和编辑后图像的深度对齐；最后得到的编辑偏移量与图像隐向量进行结合，通过预训练的生成网络生成最终人脸图像编辑结果。

全文数据：

权利要求：

百度查询： 湖南大学 一种基于多模态交互模块的涂鸦人脸图像编辑方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD