申请/专利权人：中国科学院自动化研究所

申请日：2023-07-19

公开（公告）日：2024-04-16

公开（公告）号：CN116977635B

主分类号：G06V10/26

分类号：G06V10/26;G06V10/764;G06V10/82;G06N3/096;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2023.11.17#实质审查的生效;2023.10.31#公开

摘要：本发明涉及计算机视觉技术领域，提供一种类别增量语义分割学习方法及语义分割方法，通过将当前阶段的图像样本输入至当前阶段的主网络模型，得到第一结果，通过图像样本中的类别标签与对第一结果进行划分得到的第三结果，采用二分类约束方法计算增量学习损失，通过将当前阶段的图像样本输入至前一阶段的语义分割模型，得到第二结果，并通过第二结果与对第一结果进行划分得到的第四结果计算知识蒸馏损失。通过采用二分类约束方法，可以对增量学习过程中保持前阶段所学习旧知识和学习现阶段新知识两个目标进行解耦，从而使第三结果的有监督学习以及对第四结果的知识蒸馏这两个过程的独立进行，加强语义分割模型最终对所有已知类别的语义分割效果。

主权项：1.一种类别增量语义分割学习方法，其特征在于，包括：将当前阶段的图像样本分别输入至当前阶段的主网络模型以及所述当前阶段的前一阶段的语义分割模型，得到所述主网络模型输出的第一结果以及所述前一阶段的语义分割模型输出的第二结果；所述主网络模型用于学习当前阶段的图像样本中的类别，即所述主网络模型用于学习Ct；所述前一阶段的语义分割模型是已经学习了所述当前阶段之前的已知类别的语义分割模型；将所述第一结果划分为与所述主网络模型学习的类别对应的第三结果以及与所述当前阶段之前的已知类别对应的第四结果；基于所述当前阶段的图像样本中的类别标签以及所述第三结果，采用二分类约束方法计算所述主网络模型的增量学习损失，基于所述第二结果以及所述第四结果，计算所述主网络模型的知识蒸馏损失；确定所述主网络模型对应的分支解码器模块，所述分支解码器模块与所述主网络模型中的第一特征提取模块连接；将所述当前阶段的图像样本输入至所述主网络模型，得到所述主网络模型中的第一解码器模块输出的所述第一结果以及所述分支解码器模块输出的第五结果；所述第五结果中的蒙版数量与所述当前阶段所述主网络模型学习的类别数量相同；基于所述当前阶段的图像样本中的类别标签以及所述第五结果，计算所述分支解码器模块对应的BCE损失；所述BCE损失的计算公式为： 其中，Sbranch为所述BCE损失，为第五结果Otbranch中第i类取值；将所述增量学习损失、所述知识蒸馏损失以及所述BCE损失进行加权求和，确定目标损失；基于所述目标损失，对所述主网络模型的结构参数进行迭代优化，得到所述当前阶段的语义分割模型；基于所述当前阶段的图像样本中的类别标签以及所述第三结果，采用二分类约束方法计算所述主网络模型的增量学习损失，包括：基于所述当前阶段的图像样本中的类别标签以及所述第三结果，采用FocalLoss损失函数，计算第一增量学习损失；基于所述当前阶段的图像样本中的类别标签以及所述第三结果，采用DiceLoss损失函数，计算第二增量学习损失；第一增量学习损失Sfocal通过如下公式计算： 其中，i∈Ct；表示第三结果Otnew中的第i类取值，yi为GTt中的第i类取值，为真值，GTt为所述当前阶段的图像样本中的类别标签，GTt是指通过标注方式确定的图像样本中各目标对象的类别，所述标注方式包括人工标注和软件标注；第二增量学习损失Sdice通过如下公式计算： 其中，|·|表示对应类别的像素数量；所述知识蒸馏损失的计算公式为： 其中，Sold为所述知识蒸馏损失，是第四结果Otold中的第j类取值，是第二结果Ot-1中的第j类取值，C0:t-1是所述当前阶段之前的已知类别。

全文数据：

权利要求：

百度查询： 中国科学院自动化研究所 类别增量语义分割学习方法及语义分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD