买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明公开了一种基于光谱超分辨率重建的遥感图像小样本语义分割方法，其中光谱超分辨率重建可以学习三通道图像到高光谱图像的映射函数。本发明方法通过借助高光谱图像丰富的可辨光谱信息，实现在不增加样本的情况下显著提升小样本遥感图像语义分割的性能。该方法在构建过程中充分利用了VisionTransformer的高效特征提取能力，并通过引入CrossTransformer的交叉注意力机制，实现了高光谱重建任务与小样本遥感图像语义分割任务之间信息的深度交互。同时所提方法还进一步增加了基于SimpleLinearIterativeClustering的聚类半监督学习模块，以更全面地挖掘小样本图像中隐含的信息，致力于满足实际遥感图像语义分割任务的需求。本发明显著提升了遥感图像的语义分割性能，而无需增加额外的样本数据。

主权项：1.一种基于光谱超分辨率重建的遥感图像小样本语义分割方法，其特征在于，包括如下步骤：步骤1：对于RGB图像其中，h和w分别表示图像的高度和宽度，其对应高光谱图像标注为hsi表示图像img对应的高光谱图像；将图像img输入到编码层，图像img的通道数从3映射到31，实现初步的光谱重建与对齐；e＝embeddingimg其中，embedding*表示嵌入层，嵌入层由卷积核尺寸为3，卷积步长为1的卷积层实例化，e表示嵌入之后的隐藏层特征；步骤2：将步骤1得到的隐藏层特征e输入Function-MixtureNetwork-FMNet动态卷积多列网络实现光谱超分辨率重建，得到光谱超分辨率重建特征M；FMNet通过堆叠多个Function-MixtureBlock-FMB模块实现；步骤3：对步骤2重建得到的光谱超分辨率重建特征M，分别进行图像空间交叉注意力再提取以及光谱间交叉注意力再提取进行细化，表述为：s1＝SCBAMs2＝SCBEM其中，SCBA*表示空间CrossTransformer模块，s1表示通过空间CrossTransformer模块获得的隐层特征；SCBE*表示光谱间CrossTransformer模块，s2表示通过光谱间CrossTransformer模块获得的隐层特征；在光谱间交叉注意力机制模块以及图像空间交叉注意力机制模块中分别堆叠了多个光谱间CrossTransformer模块和空间CrossTransformer模块，前一个模块的输出为后一个模块的输入；空间CrossTransformer模块简称SECA，光谱CrossTransformer模块简称SACA；SCBA*由SECA、VIT以及LayerNorm组成：SCBAx＝VITLayerNormx+t其中t＝x+SECAVITLayerNormx，LayerNorm*表示层归一化操作，VIT为VisionTransformer图像特征提取器，x代表一个输入的张量；AttentionQ,K,V＝SoftmaxσiQKTVSECAx＝AttentionxWQ,xWK,xWV其中σi是可学习的缩放因子，WQ,WK,WV是可学习的投影矩阵，是输入的张量，通过将输入图像的特征张量进行重新排列形状得到的；同理，SCBE*由SACA和VIT以及LayerNorm组成，组成方式同上，将SECA换成SACA即可；训练中，分别采用特征M的不同维度输入进行交叉注意力机制，分别输入多个不同光谱图像；步骤4：将图像空间交叉注意力机制模块以及光谱间交叉注意力机制模块的输出特征进行拼接Concat得到Transformer后提取特征s：s＝Concats1，s2将特征s作为后续解码器的输入，且作为特征提取模块的最终特征；步骤5：将特征s输入小样本遥感图像语义分割解码器以及光谱超分辨率重建解码器；两个解码器架构均采用Resnet架构，实现特征到结果的映射；hsi′＝Resnets其中hsi′表示重建的高光谱图像；Class＝MLPResnets其中Class代表逐像素特征类别，MLP为多层感知机，用于将Resnet解码器获得的中间特征映射到图像分类指标上，最终输出一个类别概率，概率最大的即为该像素的预测分类值；小样本遥感图像语义分割解码器和光谱超分辨率重建解码器不共享参数，为互相独立的解码器；步骤6：首先，通过应用SLIC算法，将输入图像划分为多个连续的区域或子块；然后，针对每个生成的子块，如果子块内存在标记的像素，并且这些标记像素属于同一类别，则算法将整个子块标记为该类别；如果子块内的标记像素属于不同的类别，算法将采用投票策略进行决定，即将子块标记为内部出现次数最多的类别；对于那些内部没有标记像素的子块，算法采用对比学习的方法，确保其在特征空间中与已标记的像素不相关。

全文数据：

权利要求：

百度查询： 西北工业大学 基于光谱超分辨率重建的遥感图像小样本语义分割方法