申请/专利权人：中国地震局地震预测研究所

申请日：2024-01-23

公开（公告）日：2024-04-26

公开（公告）号：CN117934864A

主分类号：G06V10/44

分类号：G06V10/44;G06V20/10;G06V10/80;G06V10/82;G06N3/0455;G06N3/0464

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明涉及地震灾体评估技术领域，具体地说是一种融合局部与全局特征的高分影像建筑物提取方法,采用具有相同拓扑结构的分组卷积即ResNeXt替换TransUnet编码层中的骨干网络ResNet的标准卷积，在不增加参数量的情况下提高快速获取建筑物特征的能力。采用深度可分离卷积替换TransUnet中的相对位置编码方式以隐式地构建建筑物特征的位置信息，使Transformer同时获得建筑物全局特征信息和局部特征信息；采用通道注意力机制改进跳层，级联多尺度的建筑物特征，通过增强通道维上的显著特征表示，提高关键通道中建筑物特征的权重。最终在GF2影像数据集上开展广泛实验，以验证模型的有效性和实用性。

主权项：1.一种融合局部与全局特征的高分影像建筑物提取方法，其特征在于，包括以下步骤：S1，在TransUnet模型的基础上，对编码器CNN部分、编码器Transformer部分以及跳层连接解码器部分三个方面进行了改进，具体包括以下三个模块：S1-1，具有分组卷积的多尺度特征提取模块：对TransUnet编码器的CNN部分进行改进，利用分组卷积替换原本的标准卷积，使相同参数下的网络分割为更多的子网络来生成更加精确的建筑物局部特征，同时减少过拟合现象；S1-2，结合卷积与Transformer结构的局部与全局特征融合模块：对编码器的Transformer部分进行改进，将Transformer部分的位置编码方式替换为卷积隐式生成位置信息，获取建筑物全局特征信息的同时增强局部特征信息；S1-3，通道注意力增强的级联上采样模块：对解码器的特征融合处进行改进，加入通道注意力增强模块，从通道方向上增强建筑物特征的表征能力；所述S1-1具有分组卷积的多尺度特征提取模块的处理步骤为：S1-1-1，首先对输入建筑影像x∈R512×512×3进行卷积后经过最大池化后下采样得到建筑特征Z1∈R256×256×64，如下式1-1所示：式1-1：Z1＝ReLUMaxpool3×3conv7×7x；其中conv7×7x为7×7的卷积，Maxpool3×3为最大池化；S1-1-2，将特征Z1输入到多尺度特征提取模块中，利用由分组卷积构成的卷积模块计算多尺度特征，三个尺度的卷积模块个数分别为3、3、9，每个尺度的第一个卷积模块中，将3×3的卷积的步长设为2来缩小特征尺度，通过含有分组卷积的卷积模块分别得到三个尺度的浅层建筑特征：Z2∈R128×128×256；Z3∈R64×64×512；Z4∈R32×32×1024；其中分组卷积的计算公式为下式1-2～1-5所示：式1-2：式1-3：式1-4：式1-5：其中式1-2中表示将d个分组卷积得到的特征与建筑特征Z1进行拼接，经过ReLU非线性激活得到卷积模块的输出Z；式1-3、式1-4、式1-5表示对特征x’进行具有三层分组卷积的卷积模块计算，其中式1-3中的式1-4中的以及式1-5中的分别表示卷积大小为1×1、3×3、1×1的分组卷积，i表示第i个分组卷积，通过d个平行的相同卷积来提高建筑特征的通道局部相关性；所述S1-2结合卷积与Transformer结构的局部与全局特征融合模块的具体处理步骤为：S1-2-1，将深层次特征输入X∈R224×224×3经过含有zero-padding的卷积计算降低特征大小得到X′∈R56×56×48，同时构建隐式的位置关系，将其进行不重叠分块后得到图像块序列X″∈RN×C作为Transformer输入，经过注意力计算后将多头注意力计算的特征与X″进行拼接得到的图像块序列X″′∈RN×C；S1-2-2，进入MLP模块进行非线性变换得到Y；其次进入PEG模块，将Y大小重塑为H×W×D的建筑特征，考虑到深度可分离卷积在遥感语义分割任务表现出的良好提取效果，通过深度可分离卷积对建筑特征进行局部语义信息交互，获取位置编码信息，利用图像边界效应以及卷积的zero-padding操作获取绝对编码位置信息，达到强化建筑物局部语义信息的目的；S1-2-3，与重塑建筑特征reshape2Y相加得到具体位置编码信息的特征Y″∈RH×W×D；S1-2-4，将具有位置编码信息的建筑特征Y″还原为图像块序列大小后与Transformer输出特征相加，得到具有位置编码信息的Z∈RN×C，并输入到下一模块当中，其具体计算过程为；式1-6：Z＝reshape2Y″+Y；式1-7：Y″＝reshape1Y+GNDSWreshape1Y；式1-8：Y＝concateW2GeLUW1LNX″′+b1+b2；式1-9：X‘’‘＝concateMSALNX‘’X‘’；式1-10：X″＝split4×4X′；式1-11：X′＝conv1×1conv8×8X；其中，式1-6中的reshape2表示将建筑特征还原为图像块序列，其大小为N×C；式1-7中的reshape1表示对图像块序列Y∈RN×C进行重塑，DSW表示通过卷积核大小为7×7，padding为3的深度可分离卷积；式1-8中W1、b1和W2、b2表示MLP中两层全连接层的权重，GeLU表示非线性激活函数；式1-9中LNLayerNormal层归一化表示对X‘’在C维度上进行归一化，MSA表示多头注意力的计算，concate表示将X‘’与多头注意力计算的特征进行拼接；式1-10中split4×4表示窗口大小为4×4的图像块窗口；式1-11中conv8×8表示卷积核K＝8×8、步长S＝8的深度卷积，conv1×1表示输出通道数D＝48的1×1逐点卷积；所述S1-3通道注意力的增强模块的处理步骤为：对建筑特征X∈RH×W×C在通道维度上分别进行全局最大池化和全局平均池化操作，得到两个1×1×C建筑特征ymax、yavg，随后输入到具有共享权重的多层感知器进行语义交互，再将感知器输出的特征y′max与y′avg相加经过非线性激活后得到具有通道注意力的建筑特征zchannel；其具体计算步骤为：式1-12：Zchannel＝X×Sigmoidy′avg+y′max；式1-13：y′max＝MLPCReLUMLPcrymax；式1-14：y′avg＝MLPCReLUMLPcryavg；式1-15：yavg＝GAPX；式1-16：ymax＝GMPX；其中，式1-12中Sigmoid表示非线性激活函数；式1-13中MLPcr表示感知器的第一层，其神经元个数为cr，r为减少率，ReLU为激活函数；式1-14中MLPC表示感知器的第二层，其神经元个数为C；式1-15中GAP表示全局平均池化操作；式1-16中GMP表示全局最大池化操作；S2，经过三层上采样后经过一个3×3的卷积进行语义分割，得到预测的建筑提取图；S3，选取交叉熵损失函数与Dice损失函数结合的方式Ltotal对训练过程中的预测值进行优化，使网络模型在训练过程中求解出损失函数对应损失值最小时网络中权重参数ω的取值，每个损失函数的权重设为0.5，公式为：式3-1，argminLtotal|ω＝argmin0.5×Lce+0.5×LD|ω；其中Lce为交叉熵损失函数，LD为Dice损失函数；交叉熵损失函数Lce的公式为：式3-2：其中，C表示类别数，yi表示是否为该类别，如果是，yi为1，否则yi为0；pi表示样本i属于类别C的概率值，在中类别数C为1；Lce用于评估图像在分割过程中对像素点分类时所产生的损失，其能够衡量同一随机变量中的两个不同概率分布的差异程度，函数值越小，表明两个概率分布越相似，模型的预测效果越好；Dice损失函数LD的公式为：式3-3：其中，|x∩y|表示真实样本与预测样本的交集，|x|+|y|表示真实样本与预测样本的并集；|x|与|y|分别表示样本的元素个数，LD是用于评估预测图像与真实图像之间集合相似度的一种度量损失；S4，精度评价指标与评价策略：评价指标用于评估模型的在语义分割任务中的性能优劣，选择准确率、召回率、精确率、F1分数和交并比用来检验该网络模型预测的准确度，其公式如下：公式4-1：公式4-2：公式4-3：公式4-4：公式4-5：其中，TP表示标签为建筑像元预测为建筑像元的个数，FN表示标签为背景像元并预测为背景像元的个数，FP表示标签为背景像元预测为建筑像元的个数，TN表示标签为建筑像元预测为背景像元的个数；准确度Accuracy表示预测结果中被预测正确的建筑像元和背景像元占预测像元和样本像元的比例；精确度Precision表示预测结果中建筑像元被正确预测的个数占预测建筑像元的比例；召回率Recall表示预测结果中建筑像元被正确预测的个数占样本建筑像元的比例；交并比IOU表示预测建筑像元与样本建筑像元交集与并集的比例；综合精度得分F1用来综合评估提取效果。

全文数据：

权利要求：

百度查询： 中国地震局地震预测研究所 一种融合局部与全局特征的高分影像建筑物提取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD