申请/专利权人：西北工业大学

申请日：2023-09-27

公开（公告）日：2023-12-19

公开（公告）号：CN117253040A

主分类号：G06V10/26

分类号：G06V10/26;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/0895

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.01.05#实质审查的生效;2023.12.19#公开

摘要：本发明提供了一种基于像素上下文信息挖掘的半监督红外云层分割方法。首先，构建训练数据集；然后，利用训练数据集对半监督语义分割网络进行训练，其中，半监督语义分割网络主要包括主干网络、分类分支和分割分支，分类分支和分割分支的设计充分挖掘上下文信息和纹理信息，以提高分割结果准确率；最后，利用训练好的网络对待处理红外图像进行处理，得到分割结果。本发明能够获得较好的红外图像分割结果。

主权项：1.一种基于像素上下文信息挖掘的半监督红外云层分割方法，其特征在于步骤如下：步骤1，构建训练数据集：将红外图像数据按照9：1的比例划分为训练数据集和测试数据集，其中，训练数据集包括类别标注数据集和未标注数据集，类别标注数据集由标注图像及其类别标签组成，类别标注数据集与未标注数据集中包含的图像数量比为1:4；步骤2，网络训练：利用步骤1获得的训练数据集对半监督语义分割网络进行训练，得到训练好的网络；所述的半监督语义分割网络主要包括特征提取主干网络Resnet38、分类分支和分割分支，其中，网络Resnet38经过ImageNet预训练；半监督语义分割网络的具体处理过程为：将训练数据集中的图像输入到网络Resnet38后得到图像特征F，图像特征F输入到分类分支，输出全局语义特征的分类激活图和类别得分pc，图像特征F输入到分割分支，输出多分辨率激活图对分类分支输出的激活图和分割分支输出的激活图相加取平均，得到最终的多分辨率语义激活图图中的每个像素值为该位置像素对应的激活值，利用L1范数对激活图进行归一化处理，使每个像素的激活值处于0-1之间，再利用Argmax函数找出归一化后的激活图中每一个像素对应最大的激活值，构成粗糙的语义分割伪标签ICAM，使用条件随机场对粗糙语义分割伪标签进行分割精细化处理，得到精细伪标签ICRF；其中，F3表示全局语义特征，c表示类别序号；所述的分类分支包括混合池化模块、Softmax函数和一个最大值池化层，图像特征F输入到混合池化模块，输出全局语义特征F3，全局语义特征F3经过Softmax函数得到分类激活图全局语义特征F3经过最大值池化层得到类别得分pc；所述的混合池化模块包括局部混合池化模块、1×1卷积层和全局混合池化模块，局部混合池化模块包含并行的均值池化层APp1和最大池化层MPp1，全局混合池化模块包含并行的全局平均池化层GAPp2和全局最大池化层GMPp2，混合池化模块的处理过程表达式如下： F2＝fconvF12 其中，F1表示局部混合池化模块输出的特征，F2表示1×1卷积层输出的特征，F3表示全局混合池化模块输出的全局语义特征，APp1·表示均值池化层操作，MPp1·表示最大池化层操作，fconv·表示1×1卷积操作，GAPp2·表示全局平均池化层操作，GMPp2·表示全局最大池化层操作；所述的分割分支主要包括多尺度采样模块、4邻域膨胀式差分卷积模块、膨胀式对角差分卷积模块、二维卷积层，具体处理过程为：多尺度采样模块对输入的图像特征F进行四个尺度s∈[0.5,1,1.5,2]的采样处理，采样后各个尺度的特征经过膨胀式4邻域差分卷积模块，以各像素为中心，将中心点特征和其二阶4邻域中的点的特征进行差分卷积，得到对应尺度特征的上下文信息采样后各个尺度的特征经过膨胀式对角差分卷积模块，以各像素为中心，将中心点特征与其二阶对角邻域的点的特征做差分卷积，得到对应尺度特征的上下文信息采样后各个尺度的特征经过二维卷积层，得到对应尺度特征的低维信息对每个尺度特征的信息进行相加取平均，得到各个尺度的最终的上下文特征将各个尺度的上下文特征经过Softmax函数得到各个尺度对应的类别激活图将所有类别激活图进行相加取平均，得到最终的多分辨率激活图所述的半监督语义分割网络的损失函数表示如下：Ltotal＝Lcls+Lseg4 其中，Ltotal表示网络总损失，Lcls表示分类分支损失，Lseg表示分割分支损失，yc表示第c类的分类标签；步骤3，数据分割：将待处理的红外图像输入到步骤2得到的训练好的半监督语义分割网络，输出得到其云层分割结果。

全文数据：

权利要求：

百度查询： 西北工业大学 基于像素上下文信息挖掘的半监督红外云层分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD