申请/专利权人：中山大学·深圳;中山大学

申请日：2022-12-09

公开（公告）日：2024-03-15

公开（公告）号：CN115760646B

主分类号：G06T5/77

分类号：G06T5/77;G06T5/50;G06T5/60;G06N3/0442;G06N3/0464;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.15#授权;2023.03.24#实质审查的生效;2023.03.07#公开

摘要：本发明公开了一种针对不规则孔洞的多模态人脸图像修复方法和系统，包括获取待修复人脸图像对应的隐藏表示信息，使用多个多尺度多级跳接融合模块依次接续对隐藏表示信息进行处理，获得图像特征信息，获取待修复人脸图像对应的文本特征信息，使用多模态特征融合模块根据文本特征信息对图像特征信息进行调整，获得多模态融合特征信息等步骤。本发明使用多模态特征融合模块来调整图像特征，获得多模态融合特征信息，使用多尺度多级跳接融合模块来提高对图像特征的利用率；受益于这两个模块，本发明能够在人脸图像的不规则受损区域内生成视觉上逼真、语义上合理的具有精细纹理的内容，减少伪影或者模糊等瑕疵。本发明广泛应用于图像处理技术领域。

主权项：1.一种针对不规则孔洞的多模态人脸图像修复方法，其特征在于，所述针对不规则孔洞的多模态人脸图像修复方法包括：获取待修复人脸图像；获取所述待修复人脸图像对应的隐藏表示信息；使用多个多尺度多级跳接融合模块，依次接续对所述隐藏表示信息进行处理，获得图像特征信息；获取所述待修复人脸图像对应的文本特征信息；使用多模态特征融合模块，根据所述文本特征信息对所述图像特征信息进行调整，获得多模态融合特征信息；对所述多模态融合特征信息依次进行反卷积和卷积处理，获得重建人脸图像；所述使用多个多尺度多级跳接融合模块，依次接续对所述隐藏表示信息进行处理，获得图像特征信息，包括：任一所述多尺度多级跳接融合模块对输入信息进行压缩，获得压缩特征信息，将所述压缩特征信息分别输入至多个多级跳接融合单元，获取各所述多级跳接融合单元分别输出的特征信息，其中不同的多级跳接融合单元输出的特征信息的尺度不同，对全部所述多级跳接融合单元各自输出的特征信息进行融合，获得该所述多尺度多级跳接融合模块的输出信息；其中，第一个所述多尺度多级跳接融合模块的输入信息为所述隐藏表示信息，其他所述多尺度多级跳接融合模块的输入信息为上一个所述多尺度多级跳接融合模块的输出信息，最后一个所述多尺度多级跳接融合模块的输出信息为所述图像特征信息；所述使用多模态特征融合模块，根据所述文本特征信息对所述图像特征信息进行调整，获得多模态融合特征信息，包括：所述多模态特征融合模块根据所述文本特征信息，生成逐元素的缩放因子和逐通道的偏移因子；根据所述缩放因子和所述偏移因子对所述图像特征信息进行调整，获得所述多模态融合特征信息。

全文数据：

权利要求：

百度查询： 中山大学·深圳;中山大学 一种针对不规则孔洞的多模态人脸图像修复方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD