申请/专利权人：中国科学技术大学

申请日：2024-01-22

公开（公告）日：2024-04-16

公开（公告）号：CN117893424A

主分类号：G06T5/50

分类号：G06T5/50;G06T5/60;G06T5/73;G06T5/70;G06V10/774;G06N3/0464;G06V10/44;G06N3/049;G06V10/771;G06V10/82

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.03#实质审查的生效;2024.04.16#公开

摘要：本发明公开了一种基于神经拟态信号辅助的视频去雨方法，包括：1、构建一个雨水视频的生成模型包括雨水层、背景层和移动物体层；2、引入一种新型的神经拟态相机用于辅助提取移动物体层的特征；3、引入了一种新型的脉冲神经网络模块用于神经拟态信号的提取。本发明充分利用了神经拟态信号的高时间分辨率和低延迟特性，并采用了新型的稀疏神经网络模块用于稳健的提取神经拟态信号特征，从而能实现运行高效、去除效果好的视频去雨。

主权项：1.一种基于神经拟态信号的视频去雨方法，其特征在于，是按如下步骤进行：步骤1：获取待处理的有雨图像集合O及其对应的神经拟态信号,并对神经拟态信号进行体素化处理后，得到对应的事件流序列E；步骤2：构建视频去雨网络，包括：预处理残差网络、背景层学习模块、雨纹层学习模块、脉冲交互模块和移动物体层学习模块；步骤2.1：定义当前迭代次数为i，最大迭代次数为Tmax；初始化i＝1；随机初始化第i-1次迭代时的背景层Bi-1、雨纹层Ri-1、移动物体掩码层HMi-1；步骤2.2：所述预处理残差网络分别对Bi-1和Ri-1进行处理，得到第i-1次迭代时的背景层字典模型和第i-1次迭代时的雨纹层字典模型，从而进一步得到第i-1次迭代时的移动物体层Mi-1；步骤2.3：分别构建第i次迭代时背景层字典模型、雨纹层字典模型、移动物体层和移动物体掩码层的优化函数；步骤2.4：所述雨纹层学习模块对到第i-1次迭代时的雨纹层字典模型进行处理，得到第i次迭代时的雨纹层字典模型以及第i次迭代后的雨纹层层Ri；步骤2.5：所述背景层学习模块对到第i-1次迭代时的背景层字典模型进行处理，得到第i次迭代时的背景层字典模型以及第i次迭代后的背景层Bi；步骤2.6：所述脉冲交互模块对事件流序列E进行处理，得到第i次迭代的整体掩膜层Hoi，从而进一步得到第i次迭代后的移动物体掩膜层HMi；步骤2.7：所述移动物体层学习模块对第i-1次迭代时移动物体层Mi-1进行处理后，得到第i次迭代时的移动物体层Mi；步骤2.8：判断i≥Tmax是否成立，若成立，则根据式19计算第Tmax次迭代时干净图像作为最终的无雨图像输出；否则，令i+1赋值给i后，返回步骤2.4顺序执行； 式19中，表示第Tmax次迭代时的移动物体层，表示第Tmax次迭代时的背景层；表示第Tmax次迭代时的移动物体掩膜层；步骤3：利用Adam优化器对所述视频去雨网络进行优化，并计算结构相似性损失函数以更新网络参数直到训练次数达到所设定的阈值为止，从而得到全局最优去雨网络并用于实现对任一视频片段的雨线去除。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种基于神经拟态事件信号辅助的视频去雨方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD