申请/专利权人：上海大学

申请日：2019-09-10

公开（公告）日：2024-04-19

公开（公告）号：CN110689509B

主分类号：G06T5/50

分类号：G06T5/50

优先权：

专利状态码：有效-授权

法律状态：2024.04.19#授权;2020.02.11#实质审查的生效;2020.01.14#公开

摘要：本发明公开了一种基于循环多列3D卷积神经网络的视频超分辨率重建方法。首先，使用光流算法估计出当前LR帧和前一时刻LR帧的光流图然后，对网络重建的前一时刻的HR帧做子像素反卷积Sub‑PixelDeconvolution后得到前一时刻HR帧的子图使用光流图对前一时刻HR帧的子图进行运动补偿，得到运动补偿后的HR帧的子图最后，将当前LR帧和运动补偿后的HR帧的子图输入到多列3D卷积网络中重建得到当前的HR帧重建得到当前的HR帧和当前LR帧也被用来重建下一时刻的HR帧循环该算法，可以重建得到整个视频序列的HR帧。本发明方法在Vid4视频数据集上进行试验，都具有较高的鲁棒性和准确性。

主权项：1.一种基于循环多列3D卷积网络的视频超分辨率重建方法，其特征在于，包括如下步骤：步骤1、光流估计：使用基于金字塔思想的光流算法估计出当前时刻的LR帧与前一时刻的LR帧的光流图；所述基于金字塔思想的光流算法首先对待处理的图像以不同的倍数进行高斯模糊下采样，得到图像金字塔，然后对金字塔顶层尺度较小的图像使用光流法进行运动估计，由于图像的尺度较小，运动速度较大的物体在小尺度下时相应的运动也较小，满足了光流法的假设条件，计算得出的光流场上采样放大到下一层的尺度，作为下层光流场的初始值，计算出相应的增量部分并更新该层初始的光流场；以此类推，逐层估计并精细化，当计算到最后一层时，即完成光流场的估计；步骤2、运动补偿：首先对前一时刻的HR帧做子像素反卷积，然后使用步骤1得到的光流图对前一时刻HR帧的子图进行运动补偿，得到运动补偿后的HR帧的子图网络重建的前一时刻的HR帧做子像素反卷积后得到前一时刻HR帧的子图如下式所示： 其中，H、W和C分别表示图像的高度、宽度和通道数，s表示超分辨率重建的倍数；步骤3、时空特征提取：当前时刻的LR帧与步骤2运动补偿后的前一时刻的HR帧的子图共同输入到多列3D卷积网络中预测双三次插值后的LR帧与HR帧之间的残差帧；具体步骤为：首先将当前LR帧和运动补偿后的HR帧的子图进行堆叠操作，然后输入到所述多列3D卷积网络中，其中所述多列3D卷积网络由3列不同大小卷积核的3D卷积组成，一个卷积核大小为k×k×k的3D卷积被拆分为卷积核大小分别为1×k×k与k×1×1的3D卷积，在拆分后的这2个3D卷积层之间不需要使用激活函数，以提取多尺度时空特征，在每列的最后一层，使用卷积核大小为1×1×1的3D卷积，在所述多列3D卷积网络的最后使用反卷积层对特征图进行上采样，再通过一个3×3的卷积得到当前LR帧经过双三次插值上采样后的插值帧与当前的HR帧之间的残差帧步骤4、HR帧重建：将步骤3得到的残差帧与插值后的LR帧按元素相加得到HR帧；具体为：将步骤3得到的残差帧与当前LR帧经过双三次插值上采样后的插值帧通过按元素相加的方式可以得到网络预测的当前的HR帧如下式所示： 步骤5、循环多列3D卷积神经网络模型训练：在DAVIS训练集上训练视频超分辨率重建模型，优化算法使用随机梯度下降算法，训练完成后得到一个将低分辨率视频重建到高分辨率视频的模型，重建得到当前的HR帧和当前LR帧也被用来重建下一时刻的HR帧循环往复，可以重建得到整个视频序列的HR帧，在预测第1帧HR帧时，将网络重建的前一时刻的HR帧初始化为全0的黑色图像。

全文数据：

权利要求：

百度查询： 上海大学 基于循环多列3D卷积网络的视频超分辨率重建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD