申请/专利权人：北京工业大学

申请日：2021-10-26

公开（公告）日：2024-03-22

公开（公告）号：CN114202459B

主分类号：G06T3/4053

分类号：G06T3/4053;G06T5/70;G06N3/045;G06N3/0464;G06N3/0475;G06N3/094;G06N3/0895

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2022.04.05#实质审查的生效;2022.03.18#公开

摘要：本发明公开了一种基于深度先验的盲图像超分辨率方法，使用深度卷积神经网络DIP‑Net并结合非局部注意力估计高分辨率图像；通过求解关于模糊核最优化问题的精确解估计模糊核；交替迭代更新模糊核与高分辨率图像，利用估计模糊核生成低分辨率图像的降采样图像，结合低分辨率图像利用损失更新网络参数。对模糊核和高分辨率图像联合建模，采用网络模型与数学模型结合的方式同时估计模糊核与高分辨率图像；结合非局部注意力模块显式地利用图像的自相似性，为重建图像提供潜在的附加信息；仅利用单幅低分辨率图像作为监督信号实现了端到端的盲图像超分辨率重建，无需数据集的训练过程。本发明能够准确地估计模糊核，有效重建高分辨率图像的边缘与细节。

主权项：1.一种基于深度先验的盲图像超分辨率方法，其特征在于，包含以下5个步骤：步骤1.构建图像生成网络模型使用DIP-Net作为图像生成网络实现随机向量z到高分辨率图像x的映射x＝fz；θ，利用网络本身抑制噪声，隐式地建模平滑性约束先验项；DIP-Net网络输入z为区间0，1上均匀分布的随机向量，即z～U0，1；随机初始化一组网络参数，以降质图像作为自监督信号，利用梯度下降法更新参数使损失函数收敛；将非局部约束引入DIP-Net中，通过相似图像块间的相互约束显式地获取相似图像块蕴含的附加信息；非局部运算定义为如下所示形式： 式中，xi为待处理的特征，为输出特征，xj为xi的邻域特征，ρxi，xj为相似度函数，用于度量xi和xj之间的相关性，g·为特征提取函数，Cx为归一化参数；其中，相似度函数通常具有高斯函数、嵌入式高斯函数、内积与级联四种形式；在非局部运算的基础上非局部注意力模块定义为如下形式： 非局部注意力模块使用残差连接“xi+”，使其可以嵌入到任何预训练的网络中，且不会影响网络的任务，即当Wz＝0时，网络保持原有结构；使用的图像生成网络DIP-Net具有U型编解码结构，包含五组下采样和上采样卷积结构，其中网络的第三、四、五组下采样层特征加入非局部注意力模块；每一组卷积操作均通过跨层连接将下采样层的特征与对应相同维数的上采样层特征进行融合，跨层连接的通道数固定为16；网络输入z为服从均匀分布的随机向量，其尺寸与高分辨率图像一致，通道数一般设置为8或16，设置为8；步骤2.初始化网络参数随机初始化图像生成网络的参数θ0，即可得高分辨率图像的初始估计x0＝fz；θ0；设置学习率η、降采样因子a、模糊核尺寸s、网络输入随机向量z、模糊核正则化参数λh、最大迭代次数K；由于盲超分辨率方法不知道模糊核的真实尺寸，在重建高分辨率图像时需要估计模糊核尺寸，或者预先设定模糊核尺寸；步骤3.估计模糊核固定网络参数θk-1，用下式估计模糊核hk： 式中，表示傅里叶变换，表示傅里叶逆变换，表示傅里叶变换的复共轭，⊙a表示对a×a个图像块进行元素点乘运算，是对a×a个图像块进行平均处理操作，↑a表示利用零填充的方式进行a倍上采样；步骤4.估计高分辨率图像步骤4.1计算损失函数：固定当前模糊核的估计hk，给定θk-1，更新θk；利用更新的模糊核hk与估计的高分辨率图像xk-1通过可变步长的卷积操作生成降采样图像，根据低分辨率图像与降采样图像计算损失函数： 上式为均方误差损失函数，此外也能够使用其他连续可导的函数作为网络的损失函数；步骤4.2更新图像生成网络参数：计算损失函数关于网络参数的梯度，利用下式所示的梯度下降法更新θk， 式中η表示学习率；使用Adam梯度下降算法更新参数；步骤4.3生成高分辨率图像：利用更新参数后的图像生成网络生成高分辨率图像xk＝fz；θk；步骤5.判断收敛，输出模糊核与高分辨率图像的估计通过步骤3和步骤4，进行对目标函数的一次迭代求解，获得模糊核的估计hk，并将高分辨率图像的估计xk-1更新为xk；如果此时达到最大迭代次数或者迭代收敛，则停止迭代，输出最终的模糊核与高分辨率图像估计；否则，令k＝k+1，然后重复步骤3和步骤4。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于深度先验的盲图像超分辨率方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD