申请/专利权人：天津大学

申请日：2023-10-27

公开（公告）日：2024-04-23

公开（公告）号：CN117333399B

主分类号：G06T5/70

分类号：G06T5/70;G06N3/0464;G06N3/08;G06T7/90

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2024.01.19#实质审查的生效;2024.01.02#公开

摘要：本发明公开了基于通道和空间调制的Raw域图像及视频去摩尔纹方法，涉及图像信号处理技术领域。基于通道调制和空间调制的Raw域图像及视频去摩尔纹方法，包括如下步骤：S1、建立Raw域视频去摩尔纹数据集；S2、构建网络架构；S3、设计Raw域去摩尔纹方案，并依据所设计的方案搭建去摩尔纹模型；S4、利用深度学习Pytorch框架训练模型；S5、向模型中输入Raw域图像或视频去摩尔纹数据集中的测试数据对，获得Raw域图像及视频去摩尔纹结果；本发明利用提出的通道调制和空间调制模块、结合多阶段的网络训练策略，将Raw域图像及视频去摩尔纹性能提升到了新的高度。

主权项：1.基于通道和空间调制的Raw域图像及视频去摩尔纹方法，其特征在于，具体包括以下步骤：S1、建立Raw域视频去摩尔纹数据集：给定原始视频Vgt，将其以10fps帧率播放于显示屏上，用手机以30fps的帧率拍摄播放内容Vm，并通过时域对齐和空域对齐算法获得完全成对的输入数据对（Vm，Vgt），进而获得Raw域视频去摩尔纹数据集；S2、构建网络框架：设计一个基于通道调制和空间调制的Raw域图像及视频去摩尔纹网络，所述网络包括基线网络模块、分支网络模块、通道调制模块和空间调制模块；S3、设计方案、搭建模型：基于Raw域摩尔纹的通道分布特性，结合S1～S2中所述Raw域视频去摩尔纹数据集和Raw域图像及视频去摩尔纹网络，搭建去摩尔纹模型，所述去摩尔纹模型具体包括如下内容：①视频去摩尔纹基线网络：将S1中所得的数据对（Vm，Vgt）输入Baseline；所述Baseline包括数据预处理模块、多帧特征提取模块、多帧对齐模块、多帧融合模块和图像重建模块；在训练阶段输入3帧相邻的视频帧；所述数据预处理模块将Bayer模式的Raw域输入数据重组为通道顺序为RGGB的数据，并对其进行黑电平校正和白平衡校正；所述多帧特征提取模块将3帧输入数据通过卷积运算处理为高维特征；所述多帧对齐模块将第1和第3帧特征向第2帧对齐以消除位移差；所述多帧融合模块将对齐后的3帧特征融合为1帧；所述图像重建模块将融合后的特征进行多尺度的去摩尔纹和重建，最终得到一帧输出图像Vdm；所述基线网络中的特征为颜色混合特征；②视频去摩尔纹分支网络：所述分支网络包含多帧特征提取模块、多帧对齐模块、多帧融合模块及多帧重建模块，所述多帧特征提取模块和多帧重建模块使用分组卷积；所述①中预处理后的数据经过分支网络的各模块处理后，生成多个尺度的颜色分离特征；③通道调制与空间调制模块：将②中生成的颜色分离特征通过通道调制和空间调制模块与①中基线网络的颜色混合特征进行融合；④图像去摩尔纹网络：所述图像去摩尔纹网络包含类似于①、②、③中的基线网络、分支网络和调制模块，但基线网络和分支网络中不包含多帧对齐和多帧融合模块；⑤损失函数设计：将Vdm和Vgt求损失函数，所述损失函数包括L1损失、感知损失和颜色校正损失，其中，基线网络使用L1损失和感知损失进行训练，所述损失函数如下： 其中，表示目标图像（GT）；表示网络输出图像；i表示尺度索引，输出图像包含三个尺度，训练过程所述三个尺度均添加了约束；表示在第j层提取的VGG特征；和表示权重参数，分别控制L1损失和感知损失的权重；分支网络进一步加入颜色校正损失进行训练，所述损失函数如下： 其中，k表示像素索引，N表示像素数量；、和表示权重参数，分别控制第二阶段的L1损失、感知损失和颜色校正损失的权重；S4、训练模型：对于视频去摩尔纹，利用深度学习Pytorch框架训练模型，遍历S1中所构建的视频去摩尔纹数据集，先训练S3中的①中的基线网络直到收敛，再加入S3中的②中的分支网络二次训练直到收敛，得到最终的稳定模型；对于图像去摩尔纹，遍历RDNet提出的图像数据集，重复上述两阶段训练，得到最终的稳定模型；S5、输出结果：将S1中获得的数据集中的数据对输入到S4中所得的稳定模型中，获得视频去摩尔纹或图像去摩尔纹结果。

全文数据：

权利要求：

百度查询： 天津大学 基于通道和空间调制的Raw域图像及视频去摩尔纹方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD