申请/专利权人：中南大学

申请日：2022-06-27

公开（公告）日：2022-09-23

公开（公告）号：CN115100039A

主分类号：G06T3/40

分类号：G06T3/40;G06V10/40;G06V10/774;G06V10/82;G06N3/04;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2022.10.14#实质审查的生效;2022.09.23#公开

摘要：本发明公开了一种基于深度学习的轻量级图像超分辨率重建方法，其实施方案为：1获取训练数据集；2扩充训练数据集；3构建多尺度特征挑选网络；4构建损失函数；5训练模型；6图像超分辨率重建。本发明构建的多尺度特征挑选网络，通过构建多尺度特征挑选模块来提取丰富的多尺度特征，增强网络的表达能力，提升图像超分辨率重建性能。为了提高网络的自适应能力，在多尺度特征挑选模块中，设计多尺度特征融合模块用于融合不同尺度的特征并动态调整感受野范围。相比其他基于深度学习的轻量级图像超分辨率重建方法，本发明能以相对较少的参数获得较为准确的图像超分辨率重建结果，易于部署在现实场景的移动设备中。

主权项：1.一种基于深度学习的轻量级图像超分辨率重建方法，其特征在于包括以下步骤：1获取训练数据集：从公共数据库中获取原始高分辨率图像，对这些高分辨率图像进行下采样，得到对应的低分辨图像，将这些一一对应的由高、低分辨率图像对组成的集合作为训练数据集；2扩充训练数据集：对步骤1得到的训练数据集进行随机裁剪，并采用随机旋转和翻转的数据增量方式扩充训练数据集；3构建多尺度特征挑选网络：该网络由卷积层1、卷积层2、卷积层3，N个多尺度特征挑选模块MFSB，像素重组层，以及逐像素相加操作构成；该网络的输入图像经卷积层1后得到中间特征图X0，X0依次经过N个MFSB模块，即MFSB1，MFSB2，…，MFSBN，分别得到中间特征图X1,X2,…,XN；将XN作为卷积层2的输入，得到的结果与中间特征图X0逐像素相加，得到中间特征图XF；XF依次经过卷积层3和像素重组层后，得到输出的超分辨率图像，完成多尺度特征挑选网络的构建；该步骤中的多尺度特征挑选模块MFSBi，其输入为中间特征图Xi-1，其中i为正整数，且i∈{1,2,…,N}，Xi-1经卷积层4进行维度调整后，得到中间特征图XA；将XA输入到切分层1中进行切分，得到四个子特征图和将子特征图输入到宽激活残差单元1后得到中间特征图将子特征图与中间特征图输入到多尺度特征融合模块MFFM1，得到中间特征图U1，将U1输入到宽激活残差单元2，得到中间特征图将子特征图与中间特征图一起输入到多尺度特征融合模块MFFM2，得到中间特征图U2，将U2输入到宽激活残差单元3，得到中间特征图子特征图不经任何变换得到中间特征图即与相等；将得到的中间特征图和拼接后，输入到卷积层5，得到中间特征图XR；XR与输入的中间特征图Xi-1逐像素相加，得到MFSBi的输出Xi；所述多尺度特征融合模块MFFMi具有相同的结构，其中i＝1,2；MFFMi模块以子特征图与中间特征图作为输入；将和逐像素相加，得到中间特征图M，将M作为综合通道注意力模块的输入，得到通道权重z；将z输入到切分层2中，生成两个不同的子通道权重z1和z2；将z1和输入的子特征图逐像素相乘，得到中间特征图F1；将z2和输入的中间特征图逐像素相乘，得到中间特征图F2；将中间特征图F1和F2逐像素相加，得到MFFMi模块的输出Ui；所述综合通道注意力模块以中间特征图M作为输入，依次经过全局平均池化层、全连接层、ReLU层、一维卷积层和Softmax层后，得到通道权重z；4构建损失函数：构建如下损失函数L： 其中，B为批量的大小，B为正整数且B∈[1,64]，xt表示由多尺度特征挑选网络得到的第t幅超分辨率图像，yt表示第t幅原始高分辨率图像，||·||1表示l1范数；5训练模型：将步骤2得到的扩充训练数据集输入到步骤3构建的多尺度特征挑选网络中，并以步骤4构建的损失函数作为优化目标进行训练，使用Adam优化器更新模型参数，直到损失不再下降，得到训练好的图像超分辨率重建模型；6图像超分辨率重建：用步骤5中训练好的图像超分辨率重建模型对测试集中的低分辨率图像进行超分辨率重建，得到超分辨率图像。

全文数据：

权利要求：

百度查询： 中南大学 一种基于深度学习的轻量级图像超分辨率重建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD