申请/专利权人：湖南大学

申请日：2022-12-13

公开（公告）日：2024-03-22

公开（公告）号：CN116188774B

主分类号：G06V10/26

分类号：G06V10/26;G06V20/10;G06V10/82;G06N3/0464;G06N3/08;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2023.06.16#实质审查的生效;2023.05.30#公开

摘要：本发明公开了一种高光谱图像实例分割方法，包括获取实例标注后的高光谱图像数据集并处理得到训练数据集；构建高光谱图像实例分割初始模型并采用训练数据集进行训练得到高光谱图像实例分割模型；采用高光谱图像实例分割模型对实际获取的高光谱图像进行实例分割。本发明还公开了一种包括所述高光谱图像实例分割方法的建筑实例分割方法。本发明通过卷积注意力模块和光谱‑空间特征金字塔网络实现多尺度的空谱特征融合，使得网络模型具有同时利用光谱特征和空间特征的优势，提高模型的分割结果；而且本发明方法的计算过程不会占用过多的计算资源，可靠性高、准确性好且适用范围广。

主权项：1.一种高光谱图像实例分割方法，包括如下步骤：S1.获取已经进行了实例标注的高光谱图像数据集；S2.对步骤S1获取的数据集进行处理，得到训练数据集；S3.基于CascadeMaskR-CNN网络模型、卷积注意力模块和光谱-空间特征金字塔网络，构建高光谱图像实例分割初始模型；具体包括如下步骤：A.选取Resnet50网络作为主干网络；Resnet50网络包括四个依次串联的残差模块；B.在每个残差模块后，增加一个串接的卷积注意力模块，进行光谱信息和空间信息的特征融合；四个卷积注意力模块输出的特征图依次为C2、C3、C4和C5；所述的卷积注意力模块，具体包括如下内容：卷积注意力模块包括通道注意力网络和空间注意力网络；通道注意力网络包括最大池化层、平均池化层和共享全连接层；通道注意力网络的计算公式为其中F为通道注意力网络的输入特征；F'为通道注意力网络的输出特征；AvgPool为平均池化层处理函数；MaxPool为最大池化层处理函数；MLP为共享全连接层处理函数；σ为sigmoid函数；为逐元素相乘；空间注意力网络包括最大池化层、平均池化层和卷积层；空间注意力网络的计算公式为其中F”为空间注意力网络的输出特征，AvgPool为平均池化层处理函数；MaxPool为最大池化层处理函数；f7*7为7*7的卷积处理函数；C.构建空间特征金字塔网络：将特征图C5经过1*1的卷积处理后得到特征图P5；将特征图C4通过1×1的卷积处理，将特征图P5通过上采样，然后将卷积处理结果与上采样结果进行对应元素的相加，得到特征图P4；将特征图C3通过1×1的卷积处理，将特征图P4通过上采样，然后将卷积处理结果与上采样结果进行对应元素的相加，得到特征图P3；将特征图C2通过1×1的卷积处理，将特征图P3通过上采样，然后将卷积处理结果与上采样结果进行对应元素的相加，得到特征图P2；所述的上采样为采用最近邻插值法的上采样；将特征图P2通过复制后得到特征图N2；将特征图N2通过下采样后，与特征图P3进行对应元素的相加，再采用一个3*3的卷积进行处理，得到特征图N3；将特征图N3通过下采样后，与特征图P4进行对应元素的相加，再采用一个3*3的卷积进行处理，得到特征图N4；将特征图N4通过下采样后，与特征图P5进行对应元素的相加，再采用一个3*3的卷积进行处理，得到特征图N5；将特征图N5进行最大池化处理后得到特征图N6；所述的下采样为采用步长为2的3*3的卷积进行下采样；D.将步骤C得到的特征图N2～N6，输入到RPN网络，对特征图N2～N6，分别生成5种不同面积的锚点框，并设定每种锚点框的尺寸；提取可能存在的目标区域；将提取的区域经过非极大值抑制处理，滤除不符合设定预制的区域，然后再将结果输入到RCNN级联网络进行正负样本筛选，得到建议框；所述的将结果输入到RCNN级联网络进行正负样本筛选，得到建议框，具体包括如下步骤：采用如下算式计算交并比IoU： 式中Intersection为真实框与建议框重叠的交集部分的面积；Union为真实框与建议框重叠的并集部分的面积；当交并比大于设定阈值时，样本视为正样本；当交并比小于或等于设定阈值时，样本视为负样本；采用三层RCNN级联网络，基于不同的阈值进行级联，优化建议框的正负样本筛选过程；设定阈值时，三层RCNN级联网络的阈值依次增大；E.将步骤C得到的特征图N2～N6和步骤D得到的建议框，一同输入到ROIAlign网络，在特征图的不同点采样，并通过双线性插值法获得坐标为浮点数的像素点上的图像数值，从而得到ROI特征；F.将步骤E得到的ROI特征输入到预测网络进行预测：预测网络包括ClassHead网络和MaskHead网络；将大小为7*7的ROI特征输入到ClassHead网络，采用一次通道数为1024的7*7的卷积和一次通道数为1024的1*1的卷积进行类别预测和框的回归；将大小为14*14的ROI特征输入到MaskHead网络，采用通道数为256的3*3的卷积进行四次卷积操作，然后进行一次反卷积操作，最后采用1*1的卷积进行掩膜预测；对于每一个ROI特征，采用如下算式计算损失函数L：L＝Lcls+Lbox+Lmask式中Lcls为分类损失，Lbox为回归框损失，Lmask为掩膜损失；S4.采用步骤S2得到的训练数据集，对步骤S3构建的高光谱图像实例分割初始模型进行训练，得到高光谱图像实例分割模型；S5.采用步骤S4得到的高光谱图像实例分割模型，对实际获取的高光谱图像进行实例分割。

全文数据：

权利要求：

百度查询： 湖南大学 高光谱图像实例分割方法及建筑实例分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD