申请/专利权人：大连理工大学

申请日：2024-01-17

公开（公告）日：2024-04-30

公开（公告）号：CN117952845A

主分类号：G06T5/50

分类号：G06T5/50;G06T7/10;G06N3/0464;G06N3/084;G06N3/0985

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.17#实质审查的生效;2024.04.30#公开

摘要：本发明属于图像信息处理技术领域，一种鲁棒的红外和可见光图像融合优化方法。本发明引入了图像分割来提供更多有用的语义信息，以指导图像融合任务的完成。在红外和可见光图像的融合任务上，本发明采用的元学习框架联合优化的方式，是在不同的源域上同时更新融合网络和分割网络的参数，然后在一个新的目标域上单独更新融合网络的参数，最终得到一个鲁棒性的融合模型，该模型能够在不同的域上适应和泛化。因此，本发明提出的融合方法相比于MetaFusion方法，在鲁棒性方面具有更大的优势，并且能在不同的域上适应和泛化。

主权项：1.一种鲁棒的红外和可见光图像融合优化方法，其特征在于，步骤如下：该红外和可见光图像融合优化方法所用模型主要由融合网络和分割网络两个网络构成；其中融合网络采用UNet结构，分割网络采用FCN结构；其中融合网络由编码器和解码器两部分所构成；编码器主要由两个分支组成，每个分支由4个VGG卷积块构成，每个卷积块包含卷积层和池化层；编码器负责对输入的红外图像和可见光图像进行下采样，提取红外图像和可见光图像的高层特征；将提取的红外高层特征和可见光高层特征进行拼接操作，形成一个融合特征图；解码器由4个VGG卷积块构成，每个卷积块包含上采样层和反卷积层；解码器负责对拼接之后的融合特征图进行上采样，最后输出融合图像；分割网络是编码器-解码器结构，编码器和解码器均各由5个VGG卷积块构成；编码器的卷积块包含卷积层和池化层，解码器的卷积块由反卷积层和上采样层组成；编码器主要对输入的图像进行特征提取，解码器对编码器的输出进行上采样，最后输出分割图像；红外和可见光图像融合方法的训练过程主要分为元训练阶段和元测试阶段；1元训练阶段在每个元训练的域上，输入同一场景下红外和可见光两个模态的图像来训练融合网络生成融合图像；然后将融合图像送入分割网络进行训练；接着采用反向传播的方式同时更新融合网络和分割网络的参数，在4个不同的域上重复以上这个过程，直到融合网络和分割网络收敛，使得它们的损失都达到最小值；元训练阶段的训练过程分内层循环和外层循环，内层循环过程如下：假设融合网络和分割网络随机初始化的参数分别是θf、θs；使用WHU-OPT-SAR数据集作为基础域，并对其进行三种数据变换，分别是亮度、饱和度和对比度变换，然后得到三个新的域，包括基础域共形成四个域；四个域各自都包括训练数据和测试数据，对四个域中的每个域i，对应通过训练数据分别计算融合网络和分割网络的损失函数和梯度，融合网络和分割网络的损失函数分别是Lfi、Lsi；然后对融合网络和分割网络的参数θfi、θsi更新分别得到具体更新的公式如下： Zis＝Xis,Yis；θfi2 其中，Xis、Yis分别表示训练数据中的红外图像和可见光图像，Zss表示融合后的图像，融合网络和分割网络的初始化参数分别为θfi＝θf、θsi＝θs，i＝1,2,3,4；αfi和αsi分别表示内层循环过程中融合网络和分割网络参数的学习率；更新完之后，在测试数据上分别计算预测损失公式如下： 其中，Xiq、Yiq分别表示测试数据中的红外图像和可见光图像，Ziq表示融合后的图像；计算出每个域上预测的损失函数之后，对4个不同域的损失函数相加得到融合网络和分割网络各自的损失Jfθf和Jsθs： 然后，融合网络和分割网络各自计算梯度，使用梯度下降法反向更新模型的初始化参数θf、θs，从而找到最优的参数设置θf′、θs′，此步是元训练阶段的外层循环；更新公式如下： 其中，βf，βs分别是外层循环过程中融合网络和分割网络参数的学习率；2元测试阶段在元测试阶段中，使用Potsdam数据集作为目标域，先更新分割网络的参数，然后固定分割网络的参数只更新融合网络的参数；具体如下：先利用目标域的训练集对元训练阶段得到的最优参数θs′进行训练得到θs"，然后固定分割网络的参数θs"，计算融合网络的损失函数Lf和损失函数对参数θf′的梯度，单独更新融合网络的参数得到θf"，最后对测试数据进行测试；公式如下：Zs＝Xs,Ys；θf′11 其中，Xs和Ys分别表示目标域提供的训练集的红外和可见光图像，Zs表示融合后的图像，θf′和θs′表示元训练阶段得到的最优参数，αs和αf表示元测试阶段分割网络和融合网络参数的学习率。

全文数据：

权利要求：

百度查询： 大连理工大学 一种鲁棒的红外和可见光图像融合优化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD