申请/专利权人：杭州电子科技大学

申请日：2023-12-20

公开（公告）日：2024-03-22

公开（公告）号：CN117750200A

主分类号：H04N23/68

分类号：H04N23/68;G06T5/50;G06T7/70;G06T7/269;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明公开了一种基于子孔径位姿优化的无监督光场视频防抖方法。本发明利用光场图像子孔径丰富的特征表示，同时以中心子孔径图像估计的相机位姿为基准，设计基于子孔径位姿联合优化的无监督损失函数，使用子孔径图像学习场景高维深度特征与边缘子孔径相对于中心子孔径的偏移矩阵进行联合优化来保证子孔径稳定运动的一致性，从而实现子孔径画面运动一致的光场视频防抖；无监督的学习方法解决了视频防抖算法依赖于高质量数据集的问题。

主权项：1.基于子孔径位姿优化的无监督光场视频防抖方法，其特征在于设计基于子孔径位姿联合优化的无监督损失函数，网络输入抖动的子孔径光场视频，输出稳定的子孔径光场视频，具体包括如下步骤：步骤S1：准备原始的光场图像序列数据，该数据包含中心子孔径图像和4个边缘子孔径图像，4个边缘子孔径分别位于中心子孔径的正上、正下、正左、正右；步骤S2：将中心子孔径图像序列输入到预先训练好的光流估计网络中，生成中心子孔径对应的光流图序列；步骤S3：将光场图像序列数据输入到深度估计网络中，预测得到子孔径的深度图，包括中心子孔径深度图和边缘子孔径深度图；步骤S4：将光场图像序列数据输入到边缘子孔径偏移估计网络中，用于预测四个边缘子孔径相对于中心子孔径的偏移变换向量，并将其转换为偏移变换矩阵；步骤S5：将中心子孔径光场图像序列输入到位姿估计网络中，估计每帧光场图像的中心子孔径与第一帧光场图像的中心子孔径的相对位姿；步骤S6：利用步骤S2、S3、S4、S5中分别预测的中心子孔径的光流图序列、子孔径的深度图、四个边缘子孔径相对于中心子孔径的偏移变换矩阵、中心子孔径的相对位姿进行联合优化，计算损失函数并进行反向传播优化深度估计网络、偏移估计网络与位姿估计网络；如果训练轮数到达阈值，则进入下一步，否则继续执行步骤S6；步骤S7：优化步骤S5预测的中心子孔径的相对位姿，以得到中心子孔径的稳定相对位姿。结合步骤S3预测中的中心子孔径深度图，进行高斯卷积得到中心子孔径平滑深度图，使用该深度图计算中心子孔径图像每一帧变换到稳定帧的补偿变换图；同时利用四个边缘子孔径深度图、步骤S4预测的子孔径偏移变换矩阵以及步骤S5得到的中心子孔径的相对位姿来计算四个边缘子孔径的稳定补偿变换图；步骤S8：将补偿变换图作用于原始光场图像来合成稳定光场图像。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 基于子孔径位姿优化的无监督光场视频防抖方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD