申请/专利权人：中国科学院空天信息创新研究院

申请日：2023-07-25

公开（公告）日：2024-03-22

公开（公告）号：CN117036790B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/26;G06V10/82;G06N3/042;G06N3/096

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2023.11.28#实质审查的生效;2023.11.10#公开

摘要：本发明提供一种小样本条件下的实例分割多分类方法，首先利用大规模图像分割模型结构，如openAI的segmentAnything，在庞大的无标注数据集上进行预测，对对应的实验场景进行知识蒸馏；随后，迁移到指定的分割数据集中进行微调，实现不含语义的分割结构；最后，利用少量多类型的样本进行度量匹配，以实现最终的矢量斑块语义赋予。本发明从大模型背景出发，利用知识蒸馏、模型迁移、度量学习等思路，构建了一种少样本多任务实例分割任务方法。

主权项：1.一种小样本条件下的实例分割多分类方法，其特征在于，包括如下步骤：步骤1、利用大规模图像分割模型结构，在庞大的无标注数据集上进行预测，对对应的实验场景进行知识蒸馏，得到蒸馏后的目标网络结构；步骤2、大模型蒸馏后的网络模型迁移到指定的分割数据集中进行微调，实现不含语义的分割结构，包括：第一步：根据目标任务的类型，设计相应的辅助代理任务，在步骤1中的从大模型教师网络中学习得到的学生网络的基础上进一步对特征网络进行引导，对特征网络进行进一步训练，使特征网络参数更适合在目标任务中应用；第二步：基于少量实例分割标注样本，进行预训练网络迁移学习，将第一步得到的特征网络参数固定，在少量样本训练下拟合网络；第三步：将拟合完成的网络进行测试，保留多次训练中效果最好的网络；步骤3、利用少量多类型的样本在蒸馏的网络模型上进行度量匹配，以实现最终的矢量斑块语义赋予，包括：第一步：构建支撑数据集，利用实例网络将样本投影到一个空间，形成特征向量；第二步：根据语义实例样本计算每个类别的中心，以聚集度以及与其他类别中心的聚类来判断目标是否为样本中心，其中样本中心的的特征是比它们的邻居密度更高，并且与密度更高的点相距相对较大，计算方法如下列公式所示，其中dc为根据场景设计选择的距离，dij为考察点与其他点的空间距离，δi是通过计算点i与具有更高密度的任何其它点之间的最小距离来测量的，最终选择ρi与δi均较大的点作为类别中心，其中，ρi统计了目标点与周边点距离小于某一定值的数目，用以反映点的密度；δi表示目标点距离比其密度更大的点的空间距离，并取这部分的最小值；类别中心的密度较高，并且与其他类别中心的距离较远： 其中，n表示某一类别中样本的个数，dij表示第i个样本与第j个样本的空间距离，表示第i个点与空间中密度大于其的样本的最小距离，是一个截断函数，在公式1中用来计算点的密度；第三步：在分类的时候，通过对比其中实例目标到样本中心的距离，从而分析出目标的类别。

全文数据：

权利要求：

百度查询： 中国科学院空天信息创新研究院 一种小样本条件下的实例分割多分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD