申请/专利权人：中国空间技术研究院

申请日：2020-10-21

公开（公告）日：2024-04-30

公开（公告）号：CN112200262B

主分类号：G06V10/774

分类号：G06V10/774;G06V10/764;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2021.01.26#实质审查的生效;2021.01.08#公开

摘要：本申请公开了一种支持多任务和跨任务的小样本分类训练方法及装置，所述方法包括：形式化类比，将小样本分类问题中的分类任务形式化成标准分类问题中的样本,并将小样本分类的目标形式化成给定大量任务样本的情况下学习一种任务解决器能够估计任务是否完成；2模拟标准分类问题中的批训练技术每次迭代处理每个类别中的一些样本，提出一种多任务multi‑episode的小样本分类训练算法每次迭代处理多个任务类别中的一些任务样本；3模拟标准分类问题中的预训练技术在大规模数据上为类似小规模数据任务预先训练一个基本模型，提出一种跨任务cross‑way的小样本分类训练算法在多类别高way问题上为小类别低way问题预先训练一个基本模型。

主权项：1.一种支持多任务和跨任务的小样本分类训练方法，其特征在于，应用于图像分类过程，所述方法包括：将小样本图像分类问题中的图像分类任务转换为标准分类问题中的图像样本，并将小样本图像分类的目标形式转换为给定大量任务样本的情况下学习的图像分类任务解决器；模拟标准分类问题中的批训练处理方式，每次迭代处理每个类别中的多个图像样本，采用多任务的小样本图像分类训练算法，每次迭代处理多个图像任务类别中的多个图像任务样本；模拟标准分类问题中的预训练处理方式，在大规模数据上为类似小规模数据任务预先训练基本模型，采用跨任务的小样本图像分类训练算法，在多类别图像分类问题上为小类别图像分类问题预先训练基本模型，并利用预先训练基本模型对小类别图像分类问题进行微调；每次迭代处理的多个图像任务类别中的多个图像任务样本通过如下采样方法获取：每次迭代采样多个episode，其中每个episode包括一对支撑集SV和查询集QV，每个episode通过从随机采样的一个图像任务类别V中采样多个具有相同支撑集SV的图像任务样本确定；所述将小样本图像分类的目标形式转换为给定大量任务样本的情况下学习的图像分类任务解决器，包括：对于标记训练数据集上的监督学习问题，该问题具有如下的目标函数： 其中，fθ是具有参数集θ的特定网络，l是给定的损失函数；对于定义在具有M个类别、每个类别具有H个图像样本的训练集上的标准分类问题，其中是D*维的输入向量，yi∈{1，2，…，M}是类别标号，Dj代表训练集D中所有yi＝j的图像样本xi,yi集合，fθ是需要学习的分类器，通用的损失函数lfθ；xi,yi是交叉熵，如下式2所示： 其中fθxij代表fθxi的第j个输出；考虑在所述训练集D上的K-wayS-shot学习问题，定义任务类别为包含M个类别中的K个索引的类别子空间V∈T，将每个任务类别V中的图像任务样本GV:＝{τi,yi}定义为支撑集SV和对应的查询集QV中查询样本xi,yi的组合；假定RANDOMSAMPLEC,N表示从集合C中无放回地随机均匀采样N个图像样本，则V＝RANDOMSAMPLE{1,…,M},K，每个图像任务样本τi,yi被表示成τi＝{SV,xi},yi，其中xi,yi＝RANDOMSAMPLEQV,1，所述采用多任务的小样本图像分类训练算法，每次迭代处理多个图像任务类别中的多个图像任务样本，包括：为解决式1中表示的监督学习问题，批训练随机梯度下降minibatchSGD运算执行以下的更新策略： 其中α是学习速率，t是迭代步数，Bt是从整个数据集D'中随机采样的一个minibatch；对于定义在上述训练集D上的标准分类问题，在每个式6表示的训练步骤中，将从D中随机均匀采样一些图像样本作为Bt；对于具有个图像任务类别，每个图像任务类别V∈T具有个图像任务样本的K-wayS-shot学习问题，其数据集能够定义为其中τi＝{SV,xi}；这里，对于式6表示的每个训练步骤，对应小样本分类的批训练应该是从Df中随机采样多个图像任务样本作为Bt；定义E-episode训练为使用E个episode的训练策略，则其中是随机采样的episode，Ve,e＝1,…,E是从T中随机采样的E个图像任务类别；所述采用跨任务的小样本图像分类训练算法，在多类别图像分类问题上为小类别图像分类问题预先训练基本模型，包括：假设有另外一个数据分布Dpre，则能够将求解式6的初始值θ0设置为： 在标准分类问题中，通常将集合Dpre设置成具有大规模数据的集合，也就是|D||Dpre|；在小样本图像分类问题中，采用S-shot学习问题对K-way-Sshot学习问题进行预训练，其中图像任务类别数目图像任务样本总数

全文数据：

权利要求：

百度查询： 中国空间技术研究院 支持多任务和跨任务的小样本分类训练方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD