申请/专利权人：重庆大学;上海人工智能创新中心

申请日：2023-12-11

公开（公告）日：2024-03-22

公开（公告）号：CN117745548A

主分类号：G06T5/00

分类号：G06T5/00;G06T5/60;G06N3/0464;G06N3/0495

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明涉及一种通用的基于类脑稀疏注意力机制的雨雪天双目图像复原方法，属于计算机视觉领域。该方法包括以下步骤：S1：构建雨雪天双目图像数据集，用双目相机采集成对的双目雨雪图和对应的清晰双目图像；S2：设计基于类脑稀疏注意力机制的雨雪天双目图像复原网络；S3：利用S1构建的雨雪天双目图像数据集对S2设计的基于类脑稀疏注意力机制双目图像去雨雪网络进行训练；对复原的双目图像以及预测的雨雪图计算损失值，结合Adam优化器，对整个网络进行优化，最终训练得到基于类脑稀疏注意力机制的雨雪天双目图像复原模型。本发明减少了计算量和显存占用，突破单一视图抗遮挡能力弱的局限，提高雨雪天图像复原的质量。

主权项：1.基于类脑稀疏注意力机制的雨雪天双目图像复原方法，其特征在于：该方法包括以下步骤：S1：构建雨雪天双目图像数据集，用双目相机采集成对的双目雨雪图和对应的清晰双目图像；S2：设计基于类脑稀疏注意力机制的双目图像去雨雪网络；所述双目图像去雨雪网络分为两部分：雨雪概率图预测分支和基于类脑稀疏注意力机制的去雨雪分支；其中，所述雨雪概率图预测分支为一个轻型雨雪概率预测网络，对雨线雨滴或雪存在区域与概率进行预测，得到雨或雪的概率图；所述基于类脑稀疏注意力机制的去雨雪分支包括基础特征提取模型和类脑稀疏注意力模型；其中，基础特征提取模型是参数共享的权重共享网络，提取左视图特征和右视图特征；将提取的左右特征图和预测的雨或雪概率图输入至类脑稀疏注意力模型中，计算得到左右特征图的稀疏行相关关系矩阵；通过稀疏行相关关系矩阵与右特征图做矩阵乘法，从右特征图中提取左图被遮挡区域的特征，并与左特征图相加，得到动态补全的左特征图，最后利用动态补全的左特征图进行左图的复原预测；交换左右图像特征位置输入至类脑稀疏注意力模型，得到动态补全的右特征图，并利用其完成右图的复原；S3：利用S1构建的雨雪天双目图像数据集对S2设计的类脑双目图像去雨雪网络进行训练；使用L1loss损失函数对复原的双目图像以及预测的雨雪图计算损失值，结合Adam优化器，对整个网络进行优化，最终训练得到基于类脑稀疏注意力机制的雨雪天双目图像复原模型。

全文数据：

权利要求：

百度查询： 重庆大学;上海人工智能创新中心 基于类脑稀疏注意力机制的雨雪天双目图像复原方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD