申请/专利权人：西安电子科技大学

申请日：2021-05-31

公开（公告）日：2022-12-02

公开（公告）号：CN113435253B

主分类号：G06V20/40

分类号：G06V20/40;G06V20/10;G06V10/80;G06V10/764;G06V10/774

优先权：

专利状态码：有效-授权

法律状态：2022.12.02#授权;2021.10.15#实质审查的生效;2021.09.24#公开

摘要：本发明属于图像处理技术领域，公开了一种多源影像联合城区地表覆盖分类方法，所述多源影像联合城区地表覆盖分类方法包括：输入同一区域的具有丰富的空间‑光谱信息的高光谱影像以及具有丰富的高程信息的LiDAR影像，对输入的图像数据进行预处理；生成样本集，选取一定数量的样本点作为训练集，其余样本点作为测试集；构建多支路特征提取网络，引入交叉注意力和多级特征融合机制；图像分类器由全连接层构成；训练搭建好的网络模型，得到该模型最优参数；将所有样本点输入训练好的网络进行判别，得到最终的城区地表覆盖分类结果图。本发明利用多支路特征提取，交叉注意力和多级融合技术，有利于提升基于高光谱和LiDAR影像联合分类方法的精度。

主权项：1.一种多源影像联合城区地表覆盖分类方法，其特征在于，所述多源影像联合城区地表覆盖分类方法包括以下步骤：步骤一，输入同一区域的具有丰富的空间信息和光谱信息的高光谱图像以及具有丰富的高程信息的LiDAR图像，并对图像进行预处理；步骤二，生成样本集：选取具有标签的样本点，并将其划分为训练样本集和测试样本集；步骤三，构建多支路特征提取网络，并引入交叉注意力和多级特征融合机制，获取每个样本点所对应的局部空间-光谱特征；步骤四，构建图像分类器，将分别融合了各支路的多层细节和语义的特征再次进行融合后，送入由全连接网络构建的图像分类器进行分类，获得分类结果；步骤五，对搭建的多支路特征提取网络和分类网络进行有监督的训练，得到适合该网络模型的最佳网络参数；步骤六，将所有的样本点输入训练好的网络进行融合分类，得到最终的城区地表覆盖分类结果图；步骤三中，所述构建多支路特征提取网络，并引入交叉注意力和多级特征融合机制，获取每个样本点所对应的局部空间-光谱特征，包括：1构建的多支路特征提取主要包含三条特征提取支路，并引入交叉注意力和多级特征融合机制；其中，所述三条特征提取支路分别为LiDAR影像高程特征提取支路，高光谱影像空间特征提取支路和高光谱影像光谱特征提取支路；LiDAR影像高程特征提取支路是将LiDAR影像作为输入，该支路是由浅层特征提取、多级特征融合、交叉注意力、深层特征提取组成；其中，所述浅层特征提取和深层特征提取由卷积层、正则化层、激活层和池化层组成；其中卷积操作的卷积核大小为3×3，输出的通道数为64；激活函数是ReLU，池化层采用的是自适应最大池化操作；经过浅层特征和深层特征提取后得到的特征图像尺寸大小分别为5×5×64和2×2×64；多级特征融合机制是将各个交叉注意力模块的输出与浅层特征进行融合；由于高光谱影像存在大量的波段冗余信息，故高光谱影像空间特征提取支路是将高光谱影像进行主成分分析方法PCA操作后得到的只保留丰富的空间信息的高维图像作为输入；该支路与LiDAR特征提取支路组成相同；高光谱影像光谱特征提取支路是将样本点的光谱矢量作为输入；该支路是由浅层特征提取、多级特征融合和深层特征提取组成；浅层特征提取和深层特征提取由全连接层和激活层组成；激活函数是ReLU；该支路经过浅层特征和深层特征提取后得到的特征大小为256和128；该支路的多级特征融合机制是将不同全连接层的输出融合；其中，三支路特征提取可用如下公式表示： 其中，分别表示三支路的输入，表示各层交叉注意力的输出，各层卷积层提取的光谱特征，fL，fSpa和fSpe分别LiDAR特征提取支路，高光谱空间特征提取支路和高光谱光谱特征提取支路的深层特征提取网络，[]表示级联操作，FL，FSpa，FSpe分别表示各支路深层特征的输出；2在LiDAR高程特征提取支路和高光谱空间特征提取支路引入交叉注意力机制；LiDAR支路和高光谱空间特征提取支路的多级特征融合机制由两个交叉注意力模块构成；多级特征融合机制是分别将浅层特征和每个交叉注意力的模块的输出进行融合；其中，交叉注意力模块是由空间注意力和残差构成，空间注意力是由卷积层、正则化层和激活层构成；所述网络结构为卷积层-正则化层-激活层-卷积层-激活层；卷积层中卷积核的大小为3×3，正则化层采用的是BatchNorm，第一层激活函数为ReLU，第二层的激活函数为Sigmoid；高光谱影像光谱特征提取支路的多级特征融合机制由卷积层和激活层组成；其中，所述交叉注意力机制和多级融合机制可表示为如下公式： 其中，fS表示空间注意力操作，分别表示第i层的交叉注意力的输出，表示分别表示LiDAR图像和高光谱图像浅层特征的输出。

全文数据：

权利要求：

百度查询： 西安电子科技大学 一种多源影像联合城区地表覆盖分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD