申请/专利权人：电子科技大学

申请日：2024-01-15

公开（公告）日：2024-04-12

公开（公告）号：CN117876249A

主分类号：G06T5/70

分类号：G06T5/70;G06T5/40;G06V10/774;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本发明公开了基于扩散模型和物理模型的低光照图像增强方法，将低光照图像分解得到照度图像和反射图像后，作为物理基先验信息输入到扩散模型中，并且在扩散过程后通过优化网络对照度图像、反射图像和输入图像同时处理，得到最终的增强结果；具体的讲，先将低光照图像输入到预训练好的基于Retinex模型的图像分解网络中，得到对应的照度图像和反射图像，然后在调整网络中减少这两部分的误差，并作为物理基先验信息和低光照图像一起输入到去噪网络中，进行逐步去噪，从随机噪声中重建出的低光照图像对应的正常光照图像。

主权项：1.一种基于扩散模型和物理模型的低光照图像增强方法，其特征在于，包括以下步骤：1、图像采集；下载N组训练图像，每组训练图像包含一张低光照情况下拍摄的图像Ilow和一张正常光情况下拍摄的图像Ihigh，且在每一组训练图像中Ilow与Ihigh的拍摄场景相同；2、搭建基于扩散模型和物理模型的图像增强网络；基于扩散模型和物理模型的图像增强网络包括分解网络FD、调整网络FA、去噪U-Net网络εθ和后处理优化网络FR；所述分解网络FD以传统的U-Net网络为基础网络，在U-Net网络的输出端新增两层卷积层，卷积核大小均为3*3，通道数分别为1和3；分解网络对输入的低光照图像进行分解，得到照度图像L和反射图像R；所述调整网络FA在分解网络FD的基础上，在最前端添加两层卷积层，每层卷积层的卷积核为3*3，通道数为32；调整网络对照度图像和反射图像先进行光照补偿处理，再进行去噪处理，得到调整后的照度图像L'和反射图像R'；所述去噪U-Net网络εθ由多层卷积层组成，卷积层的层数为偶数层，所有卷积层呈对称结构排布；低光照图像拼接随机噪声后与调整后的照度图像L'和反射图像R'一同输入至去噪U-Net网络，去噪U-Net网络先对输入的图像进行拼接，然后依次通过各卷积层进行迭代卷积处理，去除随机噪声，得到初始光照图像I0；所述后处理优化网络FR包括前置特征处理模块和基于Retinex条件的优化模块；前置特征处理模块由三层卷积层组成，每层卷积层的卷积核大小为3*3、通道数为32，使用ReLU作为激活函数；初始光照图像I0通过前置特征处理模块后得到图像特征基于Retinex条件的优化模块中，将L'、R'和I0分别通过一层通道数为32、卷积核大小为3*3的卷积层，然后将L'和I0的卷积结果先进行元素相乘，再将其结果与I0的卷积结果进行元素相加，相加后的结果记为特征将R'的卷积结果先与特征进行元素相乘，再将其结果与R'的卷积结果进行元素相加，得到的特征记为将初始光照图像I0再次通过连续的两层卷积层，两层卷积层的卷积核大小为3*3、通道数为32；然后将卷积结果与进行元素相乘，其结果再次与相加，相加的结果与相加后得到单元输出结果Iout；3、训练基于扩散模型和物理模型的图像增强网络；3.1、随机选取一组训练图像Ilow与Ihigh，将低光照图像Ilow、正常光图像Ihigh和噪声图像X一起输入至基于扩散模型和物理模型的图像增强网络，然后通过迭代循环方式训练图像增强网络；3.2、在分解网络中，分解网络将低光照图像Ilow分解成低光照的照度图像Llow和反射图像Rlow，将正常光图像Ihigh分解成正常光照的照度图像Lhigh和反射图像Rhigh；计算反射图像的一致性损失：LossR＝||Rlow-Rhigh||1其中，||·||1表示计算平均绝对误差；计算照度图像的平滑损失： 其中，表示计算梯度，w为权重参数；计算图像互重建损失： 计算分解网络的总损失：LossFD＝LossR+LossL+LossMR3.3、在调整网络中，利用调整网络对照度图像Llow和反射图像Rlow先进行光照补偿处理，再进行去噪处理，得到调整后的照度图像L'low和反射图像R′low；然后计算调整网络的总损失 其中，λR、λL为权重参数，为联合反射损失，为联合照度损失，SSIM表示两幅图像的结构相似性，Hist表示两幅图像的灰度直方图之间的一阶误差；3.4、在去噪U-Net网络中，将低光照图像Ilow与噪声图像X拼接后再与照度图像L'low和反射图像R′low一同输入至去噪U-Net网络，通过多重卷积操作后得到初始光照图像I0；计算去噪U-Net网络的损失函数值： 其中，||·||2表示计算均方误差；3.5、在后处理优化网络中对初始光照图像I0进行优化处理，从而预测出本次迭代输出结果Iout；计算后处理优化网络的损失函数值： 3.6、计算基于扩散模型和物理模型的图像增强网络的总损失； 3.7、将预测的光照图像Iout替换正常光照图像Ihigh，然后重复步骤3.2～3.6，通过重复迭代方式训练基于扩散模型和物理模型的图像增强网络，当迭代次数达到最大值时，将最大迭代次数时预测的光照图像Iout作为预测结果，然后通过反向梯度法更新网络参数，并重复训练，直至当网络模型的损失值收敛，从而停止训练，得到训练完成的基于扩散模型和物理模型的图像增强网络；4、低光照图像的实时增强处理；将低光照图像输入至训练完成后的基于扩散模型和物理模型的图像增强网络，从而输出对应增强处理后的光照图像。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于扩散模型和物理模型的低光照图像增强方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD