申请/专利权人：武汉大学

申请日：2022-02-16

公开（公告）日：2024-04-12

公开（公告）号：CN114627005B

主分类号：G06T5/73

分类号：G06T5/73;G06T5/60;G06T5/50;G06N3/0464;G06N3/08;G06V10/774;G06V10/764;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2022.07.01#实质审查的生效;2022.06.14#公开

摘要：本发明提出了一种雨密度分类引导的双阶段单幅图像去雨方法；本发明引入多幅合成雨天图像和对应的真实清晰图像，进一步引入每幅合成雨天图像对应的雨线层图像、全局大气光图像、传输地图图像、雨密度分类标签真值；依次引入先验去雨网络、雨密度分类网络和优化去雨网络，结合先前所引入的数据分别构建损失函数，得到训练好的各网络模型；将真实雨天图像输入训练好的先验去雨模型和雨密度分类模型，得到对应的预测初始去雨背景和预测雨密度分类级别，再将它们输入至训练好的优化去雨模型得到对应的去雨图像；本发明能解决现有技术难以同时去除雨线和雨雾、对不同密度、不同模式的雨处理不够鲁棒的问题，能对真实雨天场景进行高效、清晰地复原。

主权项：1.一种雨密度分类引导的双阶段单幅图像去雨方法，其特征在于，包括以下步骤：步骤1：引入多幅合成雨天图像、多幅合成雨天图像对应的真实清晰图像，进一步引入每幅合成雨天图像对应的雨线层图像、每幅合成雨天图像对应的全局大气光图像、每幅合成雨天图像对应的传输地图图像，人工标记每幅合成雨天图像的雨密度分类标签真值；步骤2：引入先验去雨网络，将每幅合成雨天图像输入至先验去雨网络进行图像去雨处理得到每幅合成雨天图像对应的初始去雨背景图像，结合每幅合成雨天图像对应的雨线层图像、全局大气光图像、传输地图图像构建先验去雨网络损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的先验去雨网络模型；步骤3：引入雨密度分类网络，将每幅合成雨天图像输入至雨密度分类网络进行分级处理得到每幅合成雨天图像的雨密度分类级别，结合每幅合成雨天图像的雨密度分类标签真值构建雨密度分类网络损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的雨密度分类网络模型；步骤4：将每幅合成雨天图像输入至训练好的先验去雨网络模型进行图像去雨处理得到每幅合成雨天图像对应的预测初始去雨背景，将每幅合成雨天图像输入至训练好的雨密度分类网络模型进行分级处理得到每幅合成雨天图像对应的预测雨密度分类级别；步骤5：引入优化去雨条件生成对抗网络，将每幅合成雨天图像对应的预测初始去雨背景、每幅合成雨天图像对应的预测雨密度分类级别输入至优化去雨条件生成对抗网络进行高清还原处理，得到每幅合成雨天图像对应的恢复后清晰图像，结合每幅原始雨天图像对应的真实清晰雨天图像构建损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的优化去雨网络模型；步骤6：将真实采集雨天图像R通过步骤4得到真实雨天图像对应的预测初始去雨背景、真实雨天图像对应的预测雨密度分类级别，将真实雨天图像对应的预测初始去雨背景、真实雨天图像对应的预测雨密度分类级别输入至训练好的优化去雨网络模型预测得到真实雨天图像对应的去雨图像；步骤2所述先验去雨网络结构包括：先验去雨网络由雨雾预测网络A-Net、雨线预测网络S-Net和传输地图预测网络T-Net三个分支并联；第k幅合成雨天图像分别输入至所述的雨雾预测网络A-Net、雨线预测网络S-Net和传输地图预测网络T-Net；第k幅合成雨天图像输入至所述的雨雾预测网络A-Net预测得到第k幅合成雨天图像对应的预测雨线层图像Sk；第k幅合成雨天图像输入至所述的雨线预测网络S-Net预测得到第k幅合成雨天图像对应的预测全局大气光图像Ak；第k幅合成雨天图像输入至所述的传输地图预测网络T-Net预测得到第k幅合成雨天图像对应的预测传输地图图像Tk；A-Net采用类似分类器的网络结构，包括：雨雾预测网络第一卷积层、雨雾预测网络第二卷积层、雨雾预测网络第一池化层、雨雾预测网络第三卷积层、雨雾预测网络第二池化层、雨雾预测网络第四卷积层、雨雾预测网络第三池化层、雨雾预测网络第五卷积层、雨雾预测网络第四池化层、雨雾预测网络全连接层、雨雾预测网络Sigmoid层、雨雾预测网络上采样层；所述的雨雾预测网络第一卷积层、雨雾预测网络第二卷积层、雨雾预测网络第一池化层、雨雾预测网络第三卷积层、雨雾预测网络第二池化层、雨雾预测网络第四卷积层、雨雾预测网络第三池化层、雨雾预测网络第五卷积层、雨雾预测网络第四池化层、雨雾预测网络全连接层、雨雾预测网络Sigmoid层、雨雾预测网络上采样层依次连接；雨雾预测网络第e卷积层待寻优参数为S-Net包括：雨线预测网络第一卷积层、雨线预测网络第二空洞卷积层、雨线预测网络第三空洞卷积层、雨线预测网络第四空洞卷积层、雨线预测网络第五卷积层、雨线预测网络第六卷积层、雨线预测网络第七卷积层、雨线预测网络第八卷积层；所述的雨线预测网络第一卷积层、雨线预测网络第二空洞卷积层、雨线预测网络第三空洞卷积层、雨线预测网络第四空洞卷积层、雨线预测网络第五卷积层、雨线预测网络第六卷积层、雨线预测网络第七卷积层、雨线预测网络第八卷积层依次连接；雨线预测网络第e卷积层待寻优参数为ηe，e∈[1,8]；T-Net采用编解码器结构，包括：传输地图预测网络第一卷积层、传输地图预测网络第一池化层、传输地图预测网络第二卷积层、传输地图预测网络第二池化层、传输地图预测网络第三卷积层、传输地图预测网络第三池化层、传输地图预测网络第四卷积层、传输地图预测网络第四池化层，解码器部分包括传输地图预测网络第五卷积层、传输地图预测网络第一上采样层、传输地图预测网络第六卷积层、传输地图预测网络第二上采样层、传输地图预测网络第七卷积层、传输地图预测网络第三上采样层、传输地图预测网络第八卷积层、传输地图预测网络第四上采样层；所述的传输地图预测网络第一卷积层、传输地图预测网络第一池化层、传输地图预测网络第二卷积层、传输地图预测网络第二池化层、传输地图预测网络第三卷积层、传输地图预测网络第三池化层、传输地图预测网络第四卷积层、传输地图预测网络第四池化层，解码器部分包括传输地图预测网络第五卷积层、传输地图预测网络第一上采样层、传输地图预测网络第六卷积层、传输地图预测网络第二上采样层、传输地图预测网络第七卷积层、传输地图预测网络第三上采样层、传输地图预测网络第八卷积层、传输地图预测网络第四上采样层依次连接；传输地图预测网络第e卷积层待寻优参数为θe，e∈[1,8]；先验去雨网络的输出预测量包括第k幅合成雨天图像对应的预测雨线层图像Sk,k∈[1,K]，第k幅合成雨天图像对应的预测全局大气光图像Ak,k∈[1,K],第k幅合成雨天图像对应的预测传输地图图像Tk,k∈[1,K],K表示合成雨天图像的数量；结合第k幅合成雨天图像Ik、第k幅合成雨天图像对应的预测雨线层图像Sk、第k幅合成雨天图像对应的预测全局大气光图像Ak、第k幅合成雨天图像对应的预测传输地图图像Tk，求解初始去雨背景图像，具体如下： 其中，Ik是第k幅合成雨天图像，第k幅合成雨天图像对应的预测雨线层图像Sk、第k幅合成雨天图像对应的预测全局大气光图像Ak、第k幅合成雨天图像对应的预测传输地图图像Tk，Bk是先验去雨网络对于第k幅合成雨天图像得到的初始去雨背景图像；步骤2所述先验去雨网络损失函数，定义为：所述先验去雨网络损失函数包括：雨线层损失、雨雾层损失和传输地图损失；所述雨线层损失的定义为： 所述雨雾层损失的定义为： 所述传输地图损失的定义为： 其中，K表示合成雨天图像的数量，Sk是第k幅合成雨天图像对应的预测的雨线层图像，Ak是第k幅合成雨天图像对应的预测的全局大气光图像，Tk是第k幅合成雨天图像对应的预测的传输地图图像，是第k幅合成雨天图像对应的雨线层图像，是第k幅合成雨天图像对应的全局大气光图像，是第k幅合成雨天图像对应的传输地图图像；所述先验去雨网络损失函数为：lossstage-1＝loss_s+loss_a+loss_t步骤2所述将每幅合成雨天图像输入至先验去雨网络进行图像去雨处理得到每幅合成雨天图像对应的初始去雨背景图像为：将步骤1中所述合成雨天图像训练集作为输入数据，采用Adam优化算法对所述先验去雨网络损失函数进行寻优，得到优化后的寻优参数为步骤2所述训练好的先验去雨网络为：通过优化后参数集构建先验去雨网络，得到训练好的先验去雨模型；步骤3所述雨密度分类网络结构包括：雨密度分类网络采用VGG19深度学习网络的部分结构，包括：雨密度分类网络第一卷积层、雨密度分类网络第二卷积层、雨密度分类网络第三卷积层、雨密度分类网络第四卷积层、雨密度分类网络全连接层、雨密度分类网络Sigmoid层；所述的雨密度分类网络第一卷积层、雨密度分类网络第二卷积层、雨密度分类网络第三卷积层、雨密度分类网络第四卷积层、雨密度分类网络全连接层、雨密度分类网络Sigmoid层依次连接；以合成雨天图像Ik与初始去雨背景图像Bk之间的残差Ik-Bk作为输入，雨密度分类网络第e卷积层待寻优参数为εe，e∈[1,4]；雨密度分类网络的预测结果为第k幅合成雨天图像的雨密度分类级别：labelk,labelk∈[0,2]步骤3所述雨密度分类网络损失函数，定义为： 其中，yk_c表示符号函数，如果第k幅合成雨天图像的真实类别等于c取1，否则取0；pk_c表示由雨密度分类网络的全连接层预测的第k幅合成雨天图像Ik属于类别c的概率，最后经Sigmoid层变换为雨密度分类级别labelk，yk_c∈{0,1}，c∈{0,1,2}，k∈[1,K]，K表示合成雨天图像的数量；步骤3所述将每幅合成雨天图像输入到雨密度分类网络进行优化训练为：将步骤1中所述合成雨天图像训练集作为输入数据，采用Adam优化算法即随机梯度下降算法对所述雨密度分类网络损失函数进行寻优，得到优化后的优化参数为训练好的雨密度分类网络为：通过优化后参数集构建雨密度分类网络，得到训练好的雨密度分类模型。

全文数据：

权利要求：

百度查询： 武汉大学 一种雨密度分类引导的双阶段单幅图像去雨方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD