申请/专利权人：佛山科学技术学院

申请日：2024-01-24

公开（公告）日：2024-04-23

公开（公告）号：CN117611473B

主分类号：G06T5/50

分类号：G06T5/50;G06N3/0455;G06N3/0464;G06T5/00;G06T7/90

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2024.03.15#实质审查的生效;2024.02.27#公开

摘要：本申请属于图像处理技术领域，公开了一种同步去噪的图像融合方法及其相关设备，所述方法包括：构建训练后的融合网络模型；把待融合的可见光图像从RGB通道转换到YCrCb通道，得到待融合的Y通道、Cr通道和Cb通道图像；把待融合的Y通道图像和待融合的红外光图像输入训练后的融合网络模型，得到其输出的亮度通道图像，记为待融合的亮度通道图像；以待融合的亮度通道图像作为引导图像对待融合的Cr通道图像和待融合的Cb通道图像进行引导滤波；把待融合的亮度通道图像、滤波后的Cb通道图像和滤波后的Cr通道图像结合并从YCrCb通道转换到RGB通道，得到融合图像；从而能够在进行图像融合的同时实现去噪，并提高融合图像质量。

主权项：1.一种同步去噪的图像融合方法，用于对可见光图像和红外光图像进行融合处理，其特征在于，包括步骤：A1.构建训练后的融合网络模型；所述融合网络模型用于把有噪声的可见光图像的Y通道图像和有噪声的红外光图像融合为无噪声的亮度通道图像；A2.把待融合的可见光图像从RGB通道转换到YCrCb通道，得到待融合的Y通道图像、待融合的Cr通道图像和待融合的Cb通道图像；A3.把所述待融合的Y通道图像和待融合的红外光图像输入所述训练后的融合网络模型，得到所述训练后的融合网络模型输出的亮度通道图像，记为待融合的亮度通道图像；A4.以所述待融合的亮度通道图像作为引导图像对所述待融合的Cr通道图像和所述待融合的Cb通道图像进行引导滤波，得到滤波后的Cr通道图像和滤波后的Cb通道图像；A5.把所述待融合的亮度通道图像、所述滤波后的Cb通道图像和所述滤波后的Cr通道图像结合并从YCrCb通道转换到RGB通道，得到融合图像；步骤A1包括：A101.获取训练数据集；所述训练数据集包括多个样本，每个样本包括一组源图像和一组干净图像，所述一组源图像包括一个有噪声Y通道图像和有噪声红外光图像，所述一组干净图像包括对应于所述有噪声Y通道图像的无噪声Y通道图像和对应于所述有噪声红外光图像的无噪声红外光图像；A102.建立基于U-Net结构的融合网络模型和建立分解网络模型，把所述融合网络模型的输出作为所述分解网络模型的输入，组成训练网络模型；所述分解网络模型用于把所述融合网络模型输出的亮度通道图像分解为分解图像，所述分解图像包括Y通道分解图像和红外光分解图像；A103.基于包含所述融合网络模型的融合损失和所述分解网络模型的分解损失的总损失函数，利用所述训练数据集对所述训练网络模型进行训练，使所述分解网络模型输出的分解图像趋近于输入样本中的干净图像；A104.提取完成训练的所述训练网络模型中的所述融合网络模型，作为训练后的融合网络模型；所述总损失函数为： ； ； ；其中，为所述总损失函数，为所述融合损失，为所述分解损失，为强度损失，为融合结构性损失，为高级语义损失，为分解图像与对应的干净图像之间的分解结构性损失，为分解图像与对应的干净图像之间的纹理细节损失，为分解图像与对应的干净图像之间的语义一致性损失，α为权重；所述强度损失的计算公式为： ；其中，为范数，为所述融合网络模型输出的亮度通道图像，为无噪声红外光图像，为无噪声Y通道图像，H、W分别是源图像的高和宽；所述融合结构性损失的计算公式为： ；其中，SSIM为SSIM函数；所述高级语义损失的计算公式为： ；其中，为分割损失函数，为辅助分割损失函数，是一个权重；分割损失函数和辅助分割损失函数定义为： ； ；其中，X为被分割图像的表示符号，和分别表示图像X在预训练分割模型中得到的分割结果和辅助分割结果，表示图像X对应的分割标签，C表示通道数，h、w为像素坐标和c为通道序号，为图像X在预训练分割模型中得到的分割结果中第c通道的（h,w）位置处的特征值，为图像X在预训练分割模型中得到的辅助分割结果中第c通道的（h,w）位置处的特征值，为图像X对应的分割标签中第c通道的（h,w）位置处的特征值；所述语义一致性损失的计算公式为： ；其中，为绝对值，为红外光分解图像，为Y通道分解图像，为语义损失，定义为：；所述纹理细节损失的计算公式为： ；其中，为索贝尔算子，为L1范数；所述分解结构性损失的计算公式为： 。

全文数据：

权利要求：

百度查询： 佛山科学技术学院 一种同步去噪的图像融合方法及其相关设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD