申请/专利权人：吉林大学

申请日：2024-02-19

公开（公告）日：2024-03-22

公开（公告）号：CN117745596A

主分类号：G06T5/77

分类号：G06T5/77;G06N3/0455;G06N3/0464;G06N3/048;G06N3/0499;G06N3/08;G06T5/50;G06T5/60

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：一种基于跨模态融合的水下去遮挡方法。本发明属于水下机器视觉的技术领域，具体而言，涉及事件和RGB两种数据模态深度融合方法，以及基于事件和RGB数据的水下场景去遮挡重建方法。本发明提供了一种基于跨模态融合的水下去遮挡方法，解决了现有技术中在水下去遮挡时都是先将事件序列与RGB图像各自的特征先进行编码后再融合，此种处理方式容易导致模型计算量和硬件要求翻倍，无法适配于资源受限的水下环境的问题。本发明所述方法将事件序列与RGB图像直接进行融合，然后再进行编码解码，在前融合阶段进行数据融合，减少了系统对计算量的要求，使网络更加轻量化。

主权项：1.一种基于跨模态融合的水下去遮挡方法，其特征在于，所述方法包括如下步骤：S1、利用事件相机采集水下场景对应的水下事件序列、遮挡RGB帧以及未遮挡RGB帧，并构建水下事件序列—遮挡RGB帧—中间视角未遮挡RGB帧为标准的基准数据集，基准数据集中包括训练集和测试集；使用训练集对步骤S2—S5进行训练；S2、对水下场景对应的水下事件序列采用体素网格方式进行分段化表征，并将表征后的结果作为目标事件张量图；S3、利用自主设计的时序多尺度编码网络对目标事件张量图和其对应的遮挡RGB帧进行融合特征编码；S4、利用基于特征金字塔的多级Transformer编解码器对步骤S3得到的多尺度融合特征进行深度特征抽取；S5、利用基于特征金字塔的多级Transformer编解码器进行解码，得到中间视角水下重建图像；S6、利用步骤S1中的测试集对步骤S2-S4中的网络进行测试，直到解码所得的中间视角水下重建图质量符合要求，否则重复步骤S1—S5；S7、将中间视角水下重建图像与其他视角遮挡RGB帧一同送入到自主改进的U型编解码网络中进行融合，最终输出所有视角的水下重建图像。

全文数据：

权利要求：

百度查询： 吉林大学 一种基于跨模态融合的水下去遮挡方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD