申请/专利权人：哈尔滨工业大学

申请日：2023-12-21

公开（公告）日：2024-03-22

公开（公告）号：CN117746140A

主分类号：G06V10/764

分类号：G06V10/764;G06N3/084;G06F18/22;G06V10/82;G06N3/045

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：一种基于提示词微调和特征重放的小样本类增量图像分类方法，属于计算机视觉领域中的小样本类增量图像分类领域。本发明针对现有基于纯视觉模型的小样本类增量图像分类方法分类能力差的问题。包括使用可学习提示词和类别名的拼接作为文本编码器的输入，利用图像特征和文本特征的匹配结果，以及真实标签计算交叉熵损失函数来优化可学习提示词；利用上一阶段训练好的提示词来初始化当前阶段的提示词，根据每个类别训练图片的特征，以及VAE输出的合成特征，来估计每个类别特征层面上的高斯分布；在当前阶段使用旧类别的特征高斯分布做虚拟特征采样，计算交叉熵损失函数，并综合新旧类别的交叉熵损失来约束提示词的优化方向。本发明用于增量图像分类。

主权项：1.一种基于提示词微调和特征重放的小样本类增量图像分类方法，其特征在于包括，建立CLIP分类模型，采用基类样本对CLIP分类模型进行基阶段训练后得到基类训练后CLIP分类模型，再依次采用不同小样本增量样本库中的增量样本对基类训练后CLIP分类模型进行增量阶段训练，得到增量阶段训练后CLIP分类模型，用于增量后图像分类；由CLIP分类模型得到基类训练后CLIP分类模型的训练过程包括：随机初始化获得可学习提示词前缀向量，与基类样本的N个类别向量分别进行拼接，获得N个完整提示文本，经文本编码器得到基阶段N个类别文本特征；每个基类样本经图像编码器得到基类样本图像编码特征，分别计算每个基类样本图像编码特征与基阶段N个类别文本特征的余弦相似度分数，并结合每个基类样本的标签计算得到当前训练阶段交叉熵损失函数；在基阶段训练过程中，最小化交叉熵损失，利用反向传播算法对可学习提示词前缀向量进行优化，得到基阶段优化后提示词前缀向量；得到基类训练后CLIP分类模型；由所有基类样本图像编码特征得到N个类别的基类样本特征级高斯分布及对应的基类高斯分布参数；存储N个基类高斯分布参数作为基类类别知识；再由基类训练后CLIP分类模型得到增量阶段训练后CLIP分类模型的训练过程包括：将基阶段优化后提示词前缀向量作为当前增量阶段的初始化提示词向量，与当前增量样本与基类样本组成的N1个类别向量分别进行拼接，再经文本编码器得到N1个类别的文本特征；基于每个增量样本、N1个类别的文本特征和每个增量样本的标签计算得到当前训练阶段交叉熵损失函数；由基类类别知识的N个基类高斯分布参数中随机采样B个基类高斯分布参数，从中采样基类样本图像编码特征，与对应的基类样本标签计算基类阶段交叉熵损失函数；由当前训练阶段交叉熵损失函数和基类阶段交叉熵损失函数得到当前阶段最终交叉熵损失函数；在增量阶段练过程中，最小化当前阶段最终交叉熵损失函数，利用反向传播算法对当前阶段初始化提示词向量进行优化，得到当前增量阶段优化后提示词前缀向量；并得到当前增量阶段训练后CLIP分类模型；再由增量样本图像编码特征得到N2个类别的增量样本类别特征；同时采用预训练的VAE解码器基于增量样本由均值为0，方差为1的M个高斯分布随机采样噪声向量得到M个重建后合成图像特征；再由每个类别的增量样本类别特征中每个增量样本图像编码特征和M个合成图像特征估计每个类别的增量样本特征级高斯分布，并得到N2个增量样本高斯分布参数；在基类类别知识中继续存储N2个增量样本高斯分布参数得到当前增量类别知识；N2+N＝N1；在继续进行下一个小样本增量样本库中增量样本的训练中，由当前增量阶段训练后CLIP分类模型得到下一增量阶段训练后CLIP分类模型的过程与由基类训练后CLIP分类模型得到增量阶段训练后CLIP分类模型的训练过程对应相同。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 基于提示词微调和特征重放的小样本类增量图像分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD