申请/专利权人：杭州电子科技大学

申请日：2021-06-17

公开（公告）日：2024-04-02

公开（公告）号：CN113538231B

主分类号：G06T3/4076

分类号：G06T3/4076;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2021.11.09#实质审查的生效;2021.10.22#公开

摘要：本发明公开了一种基于像素分布估计的单张图像超分辨重建系统及方法，首先进行数据预处理获得高分辨率图片IHR和低分辨率图片ILR；然后构建并训练基于像素分布估计的图像超分辨重建网络，包括权重提取模块和像素分布估计模块；权重提取模块用于从输入的低分辨率图片ILR中计算出像素分布估计模块所需要的权重，而像素分布估计模块根据预先设定的倍数s对输入图片像素的邻域像素相对坐标进行像素估计，实现图像的超分辨重建过程。本发明方法从像素分布估计的角度解释并实现了图像超分辨重建，模型结构简单，权重学习模块结构用卷积层就可以很好的学习，运算成本低，且效果好。

主权项：1.一种基于像素分布估计的单图像超分辨重建方法，其特征在于，步骤如下：步骤1、数据预处理；对数据集图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR；对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片ILR；步骤2、构建基于像素分布估计的图像超分辨重建网络；图像超分辨重建网络包括权重提取模块和像素分布估计模块；权重提取模块用于从输入的低分辨率图片ILR中计算出像素分布估计模块所需要的权重，而像素分布估计模块根据预先设定的倍数s对输入图片像素的邻域像素相对坐标进行像素估计，实现图像的超分辨重建过程；步骤3、训练基于像素分布估计的图像超分辨重建网络；步骤4、通过训练好的图像超分辨重建网络完成图像超分辨重建任务；步骤2具体方法如下；2-1：基于像素分布估计的图像超分辨重建理论；低分辨率图片由高分辨率图片IHR经过倍数为s倍的双三次插值法下采样得到，即低分辨率图片ILR的宽和高均为高分辨率图片IHR的1s；则低分辨率图片ILR的一个像素对应高分辨率图片IHR的s2个像素，低分辨率图片的超分辨重建过程是一个针对特定像素学习一种像素分布估计函数，然后利用学习到的像素分布估计函数将低分辨率图片ILR中第i,j个像素映射到高分辨率图片IHR中的i,j的s2个邻域像素的过程；因此基于像素分布估计的图像超分辨重建过程能够公式化为： 其中表示低分辨率图片ILR中的第i,j像素的像素值，Pi,j表示针对第i,j像素的一种像素分布估计函数，其结果等于当低分辨率图片ILR需要经过倍数为s倍的超分辨重建，低分辨率图片ILR中第i,j像素将对应高分辨率图片IHR中的i,j的s2个邻域像素， 其中Ωi,j表示第i,j像素的s2个邻域像素对于第i,j像素的相对坐标，表示为： 表示使用像素分布估计函数映射后的输出结果，近似于高分辨率图片IHR的对应位置的像素值，则完成低分辨率图片ILR的超分辨重建；2-2：构建基于像素分布估计的图像超分辨重建网络模型；图像超分辨重建网络包括权重提取模块和像素分布估计模块；权重提取模块用于从输入的低分辨率图片ILR中计算出像素分布估计模块所需要的权重，而像素分布估计模块用于对输入的第i,j像素的s2个邻域像素对于第i,j像素的相对坐标进行像素估计，实现图像的超分辨重建过程；权重提取模块结构如下：输入的低分辨率图片ILR的尺寸为W*H*C；首先经过一个卷积核数量为n1，滤波核尺寸3*3的卷积层；其次经过一个密集块，密集块包含5个卷积核数量为n2，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n3，滤波核尺寸3*3的卷积层；其中每个卷积层后面都连接一个ReLU非线性激活函数；经过权重提取模块，输入的低分辨率图片ILR的尺寸变为W*H*s3；像素分布估计模块结构如下：包含一层节点数为k1的全连接层，一层节点数k2全连接层，一层节点数k3＝3的全连接层和一层倍数为s倍的Pixelshuffle层；全连接层目的是对输入像素进行像素分布估计，Pixelshuffle层目的是把输出的s2个估计结果重新排列，生成尺寸为W*s*H*s*C的输出图像；在节点数为k1，k2的全连接层后面分别连接一个ReLU非线性激活函数；其中k1，k2和k3的取值和权重提取模块中输出图片的通道数有关，即n3＝2*k1+k1*k2+k2*k3；像素分布估计模块采用的全连接层的参数是由权重提取模块结构的输出的尺寸为W*H*n3的特征得到的，将W*H*n3的特征按照通道数依次加载到像素分布估计模块中全连接层的每一个节点；像素分布估计模块采用的全连接层的参数分配过程在网络训练过程中实时进行。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于像素分布估计的单张图像超分辨重建系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD