申请/专利权人：武汉大学

申请日：2022-03-29

公开（公告）日：2024-04-16

公开（公告）号：CN114862731B

主分类号：G06T5/50

分类号：G06T5/50;G06V10/58;G06V10/77;G06V10/80;G06V10/82;G06T3/4053;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.08.23#实质审查的生效;2022.08.05#公开

摘要：本发明公开了一种低秩先验与空谱信息引导的多‑高光谱影像融合方法，提出了一种全新的结合空谱引导与低秩先验的多层多分支融合网络SSLRNet，该网络首先构造多层多分支融合子网络MLMB，旨在从多个分支进行特征的提取，并进行多层特征融合，重建出初步的融合影像。之后，构造基于空谱引导的融合影像空间光谱纠正子网络，通过多光谱影像波段叠加求和影像与高光谱影像波段平均值影像对MLMB生成的初步融合影像进行空间光谱引导，缩小空间光谱扭曲。最后，构造基于低秩神经网络的融合影像低秩先验约束子网络，与深度学习网络相结合，利用网络自身特性进行低秩分解，使融合结果更符合真实应用需求。本发明提高了网络的融合精度，更符合真实应用需求。

主权项：1.低秩先验与空谱信息引导的多-高光谱影像融合方法，包括以下步骤：步骤1，对给定高光谱影像与多光谱进行高斯滤波与下采样，生成网络训练时的输入，原始高光谱影像作为目标影像，用以计算损失函数；步骤2，构造结合空谱引导与低秩先验的多层多分支网络，将下采样的高光谱影像与多光谱影像输入，然后设置网络的超参数，根据损失函数训练网络，直至训练收敛或达到最大训练轮数；其中，构造结合空谱引导与低秩先验的多层多分支网络的具体结构如下；首先，构造多层多分支融合子网络MLMB，从多个分支进行特征的提取，并进行多层特征融合，重建出初步的融合影像，其通过多分支的方式有效提取高光谱影像与多光谱影像的特征，通过多层次融合的策略使得特征之间的融合更加充分，包括特征提取部分，特征融合部分以及影像重建部分；然后，构建基于空谱引导的融合影像空间光谱纠正子网络，利用低光谱分辨率高空间分辨率影像波段叠加求得的灰度值引导融合影像的空间重建避免融合影像的空间扭曲，获得经过空间约束后的融合影像；利用低空间分辨率高光谱分辨率影像各个波段平均灰度值引导融合影像的光谱重建避免融合影像的光谱扭曲，获得经过空间光谱约束后的融合影像；步骤2中通过空间引导部分Spag避免融合影像的空间扭曲，获得经过空间约束后的融合影像；所述空间引导部分Spag以多光谱影像作为输入，空间引导值作为输出，由六个卷积层组成，左侧三个卷积层主要通过卷积的方式对多光谱影像进行编码，右侧通过三个卷积层对其进行解码，中途采用跳跃连接的方式将第二个卷积层的输出与第三卷积层的输出进行叠加作为第四卷积层的输入，并将第四卷积层的输出与第一卷积层的输出叠加作为第五卷积层的输入，后将第五卷积层的输出输入第六卷积层，得到最终的空间约束值，其中前五个卷积层使用ReLU激活函数，而在第六卷积层则使用Sigmoid激活函数，该激活函数可以将输入的值从归一化到0-1之间，其具体如下公式所示： 在这里，x代表函数的输入值，因为在第六卷积块中使用的是Sigmoid激活函数，故空间约束值值在0-1之间，后将该值应用在MLMB模块初步融合的影响上对其进行空间上的引导与纠正，得到具有较少空间扭曲的融合影像整个过程的具体做法如下公式所示： 在这里ZMLMB代表经过MLMB模块得到的初步的融合影像，Spag代表Spag模块训练得到的空间约束值，代表逐像素相乘，i代表对应波段，ZSpag代表经过空间约束后的融合影像；步骤2中通过光谱引导部分Speg避免融合影像的光谱扭曲，获得经过空间光谱约束后的融合影像；所述光谱引导部分Speg以高光谱影像作为输入，光谱引导值作为输出，最开始使用全局池化的方式直接获得各个波段的平均灰度值，之后使用两个全连接层进行训练，其中第一个全连接层之后使用ReLU激活函数进行激活，第二个全连接层之后使用Sigmoid激活函数激活，其后得到光谱约束值；在网络的最后使用的是Sigmoid激活函数，故其值在0-1之间，后将该值应用在通过Spag模块进行了空间约束的融合影像ZSpag上，得到具有较少光谱扭曲的融合影像整个过程的具体做法如下公式所示： 在这里ZSpag代表经过空间约束后的融合影像，Speg代表Speg模块训练得到的光谱约束值，i代表对应波段，ZSpeg代表经过空间光谱约束后的融合影像；步骤3，网络训练完成之后，将原始的高光谱影像与多光谱影像输入网络，实现影像间的融合，得到高分辨率的高光谱影像。

全文数据：

权利要求：

百度查询： 武汉大学 低秩先验与空谱信息引导的多-高光谱影像融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD