申请/专利权人：哈尔滨工业大学

申请日：2023-12-27

公开（公告）日：2024-03-29

公开（公告）号：CN117788311A

主分类号：G06T5/50

分类号：G06T5/50;G06T5/90;G06T5/77;G06N3/0895;G06T5/60

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.16#实质审查的生效;2024.03.29#公开

摘要：一种基于包围摄影的自监督自适应的图像复原和增强方法，属于底层视觉重建技术领域。本发明针对现有图像重建模型只能完成单一重建任务并对真实数据重建能力差的问题。包括获取仿真数据集和真实数据集；构建由编码器、光流对齐模块、融合模块和重建模块构成的时间调制循环网络，对时间调制循环网络在仿真数据集上进行预训练，在真实数据集上进行微调训练；T帧多曝光RAW图像进行归一化和伽马变换得到变换图像，再经编码器进行特征提取得到编码特征，再利用光流对齐模块进行对齐得到对齐后特征；再经融合模块和重建模块重建得到重建生成图像；计算时域自监督损失、时域负损失和指数移动平均正则化损失，更新网络参数。本发明用于图像复原和增强。

主权项：1.一种基于包围摄影的自监督自适应的图像复原和增强方法，其特征在于包括，获取仿真数据集：从已有高动态范围视频中，采用视频插帧的方式获得多个高动态范围RAW图；基于多个高动态范围RAW图引入退化机制构建多组T帧多曝光仿真RAW图像，得到仿真数据集；获取真实数据集：采用智能终端在夜间采集包括动态和静态场景的多组T帧多曝光真实RAW图像，构建真实数据集；构建由编码器、光流对齐模块、融合模块和重建模块构成的时间调制循环网络，对时间调制循环网络在仿真数据集上进行预训练，在真实数据集上进行微调训练；时间调制循环网络处理流程包括：首先对T帧多曝光RAW图像进行归一化和伽马变换，归一化后图像和伽马变换后图像连接在一起得到变换图像变换图像经编码器进行特征提取得到编码特征将编码特征F2至FT利用光流对齐模块分别向F1对齐后，得到对齐后特征采用融合模块将编码特征F1和对齐后特征至进行融合，得到融合后特征H1至HT；融合后特征H1至HT分别经重建模块重建后，得到重建生成图像至在时间调制循环网络采用仿真数据集的训练过程中，计算重建生成图像和目标图像X之间的L1损失函数更新模型参数；在时间调制循环网络采用真实数据集的训练过程中，以输入的变换图像Yic和输出的重建生成图像至自身作为监督信息，分别计算时域自监督损失、时域负损失和指数移动平均正则化损失，并更新时间调制循环网络的参数，最终得到训练好的时间调制循环网络模型，用于图像重建。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 基于包围摄影的自监督自适应的图像复原和增强方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD