申请/专利权人：天津大学

申请日：2021-11-16

公开（公告）日：2024-05-17

公开（公告）号：CN114022506B

主分类号：G06T5/77

分类号：G06T5/77;G06T3/4038;G06N3/082;G06N3/0464;G06N3/0455;G06V10/774;G06V10/764;G06T5/60;G06T7/13

优先权：

专利状态码：有效-授权

法律状态：2024.05.17#授权;2022.02.25#实质审查的生效;2022.02.08#公开

摘要：本发明涉及图像修复技术领域，公开了一种边缘先验融合多头注意力机制的图像修复方法，包括步骤S1：获取实验数据并对数据进行预处理，其中实验数据包括训练集以及测试集，对预处理后的图片提取出图像的边缘图；步骤S2：构建边缘先融合多注意力机制修复模型，包括边缘修复模型和图像修复模型，所述边缘修复模型以提取的边缘图、原始图像和掩码图像为输入，输出为修复的边缘图像，所述图像修复模型以修复的边缘图像同缺损图像为输入进行训练；本文通过融合多头注意力机制的方式，通过提取更加丰富的图像，像素长距离依赖以达到提升图像修复的效果。

主权项：1.一种边缘先验融合多头注意力机制的图像修复方法，其特征在于，包括步骤S1：获取实验数据并对数据进行预处理，其中实验数据包括训练集以及测试集，对预处理后的图片提取出图像的边缘图；步骤S2：构建边缘先融合多注意力机制修复模型，包括边缘修复模型和图像修复模型，所述边缘修复模型以提取的边缘图、原始图像和掩码图像为输入，输出为修复的边缘图像，所述图像修复模型以修复的边缘图像同缺损图像为输入进行训练；其中，所述图像修复模型包括图像修复器，图像修复器经过对修复的边缘图像多次采样，多次基于扩张卷积的残差卷积，一次的多头注意力网络以及两次的反卷积后生成修复图片；步骤S3：通过测试集对边缘先融合多注意力机制修复模型的结果进行评估；所述图像修复器经过对修复的边缘图像多次采样，多次基于扩张卷积的残差卷积，一次的多头注意力网络以及两次的反卷积后生成修复图片包括：步骤S2-1：经过卷积层和残差网络得到的特征图经过不同的卷积变化得到多组的query、key、value特征图；步骤S2-2：获取重建的特征图；步骤S2-3：将重建的特征图按照通道维度进行拼接，获得多个注意力联合结果；步骤S2-4：在经过卷积网络变换将其变换为原始的输入特征的尺寸，将还原的重建特征图和原来的特征图进行相加作为最终输出的修复图片结果；所述步骤S2-2中获取重建的特征图包括：步骤S2-2-1：将key特征图进行转秩，将query特征图和转秩后的key特征图之间的分组进行点积运算，得到多组的相关性注意力矩阵；步骤S2-2-2：对相关性注意力矩阵进行归一化；步骤S2-2-3：归一化的每一组相关性的自注意力矩阵与该组的value特征图进行矩阵进行乘法运算，获得该组的重建的特征图；所述步骤S2-3将重建的特征图按照通道维度进行拼接，获得多个注意力联合结果包括：步骤S2-3-1：获取第i个头的注意力结果： 其中，用Qi、Ki、Vi表示第i个头的特征图查询键值矩阵；步骤S2-3-2：将各个头的自注意力结果拼接，使用矩阵对多个特征空间进行融合投影回原始矩阵大小，最终得到多个自注意力联合结果：MultiHead＝Concathead1，head2，...，headhWo。

全文数据：

权利要求：

百度查询： 天津大学 一种边缘先验融合多头注意力机制的图像修复方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD