申请/专利权人：西北工业大学

申请日：2023-11-08

公开（公告）日：2024-02-20

公开（公告）号：CN117576448A

主分类号：G06V10/764

分类号：G06V10/764;G06V10/774;G06V10/74;G06T7/194

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.08#实质审查的生效;2024.02.20#公开

摘要：本发明提供了一种基于图像前景背景片段分离的小样本图像分类方法，本发明利用前景背景片段分离模块将图像中的前景片段与背景片段拆分至不同的数据集，并通过双分支网络结构实现前景片段与背景片段的独立训练，避免了骨干网络将前景语义和背景语义映射至特征空间中相近区域，从而提升骨干网络的可迁移性；本发明通过分离图像前景与背景片段的数据增强方法，实现骨干网络更好的表征学习，取得模型在小样本前景下的优秀表现。

主权项：1.一种基于图像前景背景片段分离的小样本图像分类方法，其特征在于：包括如下步骤：步骤一：对比学习预训练骨干网络；1-1、将数据集按类别划分为训练集{Img}train，验证集和测试集；其中测试集进一步细分为支持集和查询集；1-2、搭建骨干网络，初始化骨干网络参数；搭建骨干网络的模板为ResNet-12；1-3、采用对比学习方式，在训练集上预训练骨干网络fθ.；保留预训练后的骨干网络的参数θ；步骤二：利用预训练好的骨干网络分离训练集图像中的前景背景片段；2-1、采用随机裁剪的方式，从每幅训练集图像中获取M个片段{patchm，i}，其中M为片段的个数，其中m表示训练集图像中片段的索引，i为训练集图像索引；通过线性插值法将所有训练集图像的片段转化为相同分辨率的图像；2-2、将所有训练集{Img}train的图像输入骨干网络，输出在特征空间中的特征向量将图像片段{patchm，i}输入骨干网络，输出在特征空间中的特征向量按照标签将各训练集图像{Img}train的特征向量划分为c类，即按照训练集的图像所属类别将训练集图像片段的特征向量划分为c类，即2-3、计算每个类别的初始原型特征；按类别计算特征向量的均值，即： 其中表示c类序号为img的特征向量；2-4、计算训练集图像片段的特征向量与其所属类别的训练集初始原型图像的余弦相似度 2-5、每类余弦保留相似度最高的前k个片段作为前景片段 其中m表示训练集图像中片段的索引，i为训练集图像的索引；2-6、每类保留相似度最低的前k个片段作为背景片段 其中m表示训练集图像中片段的索引，i为训练集图像的索引；2-7、根据步骤2-5的前景片段，更新每类的原型特征； 表示前k个特征向量；2-8、重复j次步骤2-4至步骤2-7更新前景片段与背景片段，j的取值为3；最终得到前景片段和背景片段步骤三：训练阶段，采用双分支结构，构建平行表征学习器，实现骨干网络对前景和背景片段的独立学习；3-1、初始化学习器参数，包括骨干网络fθ·的参数θ及原型分类器fcls.的参数proto，其中原型分类器分为前景原型分类器与背景原型分类器；前景分类器为每类一个分类原型特征proto，背景分类器为每类L个分类原型特征proto，其中L表示背景分类器的原型特征的索引个数；初始化学习器载入预训练好的骨干网络参数θ；fcls.＝Cosineproto，.；其中proto为一组可训练的参数；3-2学习器中输入前景片段，根据前景原型分类器输出的预测分数和标签计算交叉熵作为前景损失Lfore；Lfore＝CrossEntropyfclsfθpatchfore，label3-3学习器输入背景片段，骨干网络输出特征向量；计算其与每类背景原型的余弦相似度，并选择余弦相似度最高的为该类的分类分数；计算交叉熵为背景损失Lback； c表示proto的类别；表示第c类的背景的第l个原型特征； 3_4、将前景损失与背景损失相加作为总损失函数Ltotal，并更新模型参数；Ltotal＝Lfore+Lback步骤四：输入训练集数据，利用训练集对网络进行训练；4-1、采用随机裁剪的方式，从每幅支持集图像中获取N个片段；通过线性插值法将所有图像片段转化为相同分辨率；4-2、将所有支持集图像输入骨干网络，使用步骤2-2的方法，输出其在c类图像中第s个原始图像的特征向量表示支持集原始图像org，s表示图像在支持集中的索引，c表示原始图像的类别；将所有支持集图像按照步骤2-1的方法，得到支持集图像片段，将支持集图像片段输入骨干网络，输出第c类第s个支持集原始图像的第n个片段的特征向量基于支持集样本计算类别原型： 4-3、计算支持集片段与类别原型间的余弦相似度；保留余弦相似度最高的前k个片段作为前景片段； 步骤五：构建基于前景背景语义分离的分类器，计算前景类别原型；5-1、依据支持集前景片段计算类别原型； 步骤六：输入待分类样本为查询集至分类器，输出分类分数；6-1、采用随机裁剪的方式，从每幅查询集图像中获取N个片段；通过线性插值法将查询集图像所有图像片段转化为相同分辨率；6-2、将所有查询集图像片段输入骨干网络，输出其在特征空间中的特征向量表示查询集中第c类第n个特征向量；6-3、计算查询集片段与各类别原型的余弦相似度； 6-4、每张查询集图像选取余弦相似度最高的前k个片段的均值作为该图像在该类上的预测分数；输出选取预测分数最大的类别为该图像分类； 步骤七：输入带标签的样本为支持集至分类器，输入待分类样本为查询集至分类器，输出分类分数。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于图像前景背景片段分离的小样本图像分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD