申请/专利权人：吉林大学

申请日：2024-01-24

公开（公告）日：2024-04-26

公开（公告）号：CN117934278A

主分类号：G06T3/4053

分类号：G06T3/4053;G06T5/50

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明公开了一种基于深度学习的视频超分辨率重建方法，其方法包括的步骤为：第一步、获取视频样本集；第二步、构建全时超分辨率重建网络模型；第三步、模型训练；第四步、将待进行超分辨率重建任务的视频。有益效果：构建了低频超分结果，并采用非局部注意力渐进融合，对来自过去、现在和未来的信息进行渐进融合,充分提取帧内空间相关性与帧间时间相关性,实现了有效的对齐与融合，同时利用先验信息,使得模型更好地重建前景的高频信息,提高重建观感和质量。该方法在多个公开数据集上取得了较好的重建效果。

主权项：1.一种基于深度学习的视频超分辨率重建方法，其特征在于：其方法包括的步骤如下：第一步、获取视频样本，构建视频超分辨率重建任务的数据集，将每段高分辨率视频对应的高分辨率图像序列进行高斯模糊下采样，得到对应的低分辨率图像序列来构建视频超分辨率重建任务的数据集，并将其分为训练集、验证集和测试集；第二步、构建全时超分辨率重建网络模型，通过下面三个步骤构造深度神经网络，称为全时视频超分辨率网络模型，包括先验信息生成器、基于双向混合传播的低频超分重建以及融合高频信息的超分重建，具体步骤如下：步骤1、先验信息生成器的构建，首先正反两个时间方向上的图像序列采用基于高斯混合分布的背景减除算法得到双向的前景信息，经一系列图像处理操作后得到二值图像作为蒙版，再与高分辨率图像共享高斯模糊下采样核得到补充的先验信息，作为先验知识提供给网络，先验信息能够换成任何对于网络训练有帮助的信息；步骤2、基于双向混合传播的低频超分重建，网络构建中设计双向混合传播模块和低频超分重建模块，具体如下：1双向混合传播模块构建，按图像序列的正反两个方向送入对应的循环传播网络，按滑动窗口的迭代方式构建双向混合传播方式，在正向或反向混合传播中，每一个时间步基于滑动窗口方式迭代地接收三个输入：循环传播的历史特征，重建帧、未来帧或过去帧以及先验信息融合后的特征提取，以及重建帧本身的浅层特征，将以上三个输入进行特征提取与融合后，再经过正向或反向的循环网络传播，得到过去的或未来的特征图序列，输出到下一步的低频重建模块；2低频超分重建，将上述得到的两个特征图序列进行降维，通过少数的残差连接块的解码和上采样块构建低频超分结果；步骤3、融合高频信息的重建，依次进行特征提取与对齐、全时渐进融合、高频超分重建以及高频融合重建，具体如下：1特征提取与对齐模块的构建，该模块接收当前帧与左右邻近共三帧作为输入，输入时每帧伴随着先验信息，对它们分别进行特征提取与对齐后进行拼接降维，输出到下一步的全时渐进融合模块中；2全时渐进融合模块，在这个模块中由数个级联的非局部注意力渐进融合残差块组成，非局部注意力渐进融合残差块的构建来自于过去、现在和未来的三个特征通道上的特征图拼接,经过降维卷积后将该隐藏状态输入到非局部注意力块中,经过该块后输出了包含全局信息的特征状态,将这个特征状态与三个通道拼接前的各自通道上的特征状态进行拼接,再将每个通道分别输入到一个卷积块中,最终将每个通道得到的特征图与输入前的特征图进行逐像素相加的残差连接,就得到了该块的三通道输出；3高频超分重建模块，对全时渐进融合后的信息进行高频细节超分重建，与上述步骤2中的低频超分重建模块的结构一样，但不共享参数；4高频融合重建，将上述步骤2中得到的低频超分重建结果与上述的高频超分重建结果叠加，得到融合后的图像超分辨率结果；第三步、模型训练，将低频超分重建结果的损失、融合高频信息重建结果的损失及基于重建的图像特征感知损失这三者综合起来构建损失函数，将训练集输入到第二步构建的全时视频超分辨率网络模型中进行训练，训练设定轮数后，待模型效果趋于收敛停止训练，得到最终的视频超分辨率重建网络；第四步、将待进行超分辨率重建任务的视频，制作成一组相同分辨率大小的图像序列，将图像序列输入到训练好的网络模型中，得到超分辨率重建后的图像序列，再将图像序列合成视频。

全文数据：

权利要求：

百度查询： 吉林大学 一种基于深度学习的视频超分辨率重建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD