申请/专利权人：天津大学

申请日：2023-04-24

公开（公告）日：2023-12-01

公开（公告）号：CN116596779B

主分类号：G06T5/00

分类号：G06T5/00;G06N3/0455

优先权：

专利状态码：有效-授权

法律状态：2023.12.01#授权;2023.09.01#实质审查的生效;2023.08.15#公开

摘要：本发明公开了基于Transformer的Raw视频去噪方法，涉及视频信号处理技术领域。基于Transformer的Raw视频去噪方法，包括如下步骤：S1、基于Transformer设计Raw视频去噪算法；S2、训练模型；S3、将测试集中的带噪声的Raw视频序列输入到模型中，得到相应的去除噪声后的视频序列。本发明通过利用所提出的时空融合重建模块以及空间优化模块，将Raw视频去噪性能提升到了新的高度。

主权项：1.基于Transformer的Raw视频去噪方法，其特征在于，具体包括以下步骤：S1、设计Raw视频去噪算法：基于Transformer技术，设计一个由时空重建模块和空间优化模块组成的Raw视频去噪算法；所述时空重建模块采用与U-net相同的编码器-解码器结构，在经过一对多分支空间自注意力模块和多分支时域互注意力模块后对特征图进行下采样，后续经过上采样恢复，并将恢复后的特征图与编码阶段相同尺寸的特征图拼接；所述Raw视频去噪算法具体包括以下内容：①多分支空间自注意力模块：所述多分支空间自注意力模块由若干个多分支空间自注意力层和一个重参数化后的卷积层级联而成，其中，所述多分支空间自注意力层为3分支结构，包括：1移位窗口自注意力；2全局窗口自注意力或邻域窗口自注意力；3低分辨率窗口自注意力；其中，所述全局窗口自注意力应用于低分辨率的多分支空间自注意力层，所述邻域窗口自注意力应用于原始分辨率的多分支空间自注意力层；②多分支时域互注意力模块：所述多分支时域互注意力模块由若干个时域互注意力层和一个重参数化后的卷积层级联而成，其中，所述时域互注意力层包括：1时域互注意力；2全局窗口互注意力或邻域窗口互注意力；3多分支空间自注意力；其中，所述全局窗口互注意力应用于低分辨率的多分支时域互注意力层，所述邻域窗口互注意力应用于原始分辨率的多分支时域互注意力层；所述时域互注意力与全局窗口互注意力或邻域窗口互注意力为2分支结构，其输出通过1×1卷积层融合后与多分支空间自注意力的输出拼接，然后通过重参数化后的MLP，最后通过具有残差结构的层归一化和重参数化的MLP；③重参数化模块：使用多网络层数来训练网络，应用重参数化策略融合不同网络层，减少网格参数；所述时空重建模块由多分支空间自注意力模块和多分支时域互注意力模块交叉级联而成；所述空间优化模块由多个多分支空间自注意力模块级联而成；S2、搭建、训练模型：基于S1中所设计的Raw视频去噪算法搭建Raw视频去噪模型，利用深度学习框架Pytorch平台训练模型，在整个RECRVD训练数据集上迭代12k次，学习率从1e-4开始，在总epoch的26和56后下降到5e-5和2e-5；S3、输出结果：将数据集的测试集中带有噪声的Raw视频序列输入到S2中训练好的Raw视频去噪模型中，输出得到相应的去除噪声的视频序列。

全文数据：

权利要求：

百度查询： 天津大学 基于Transformer的Raw视频去噪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD