申请/专利权人：之江实验室

申请日：2023-12-19

公开（公告）日：2024-03-19

公开（公告）号：CN117726870A

主分类号：G06V10/764

分类号：G06V10/764;G06V10/56;G06V10/774;G06V10/82;G06N3/092;G06V10/30

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.05#实质审查的生效;2024.03.19#公开

摘要：本发明公开了基于扩散模型的小样本目标检测模型增强学习方法和装置，属于深度学习和计算机视觉领域，包括：采集基类数据和新类数据对小样本目标检测模型进行预训练；构建描述新类数据中物体的提示词并转换为文本向量，输入稳定扩散模型中引导高斯噪声降噪得到新类支持集；将基类数据原图中的物体进行像素置零，同文本向量一起输入稳定扩散模型中，得到提示词相关的生成图像并还原到原图中，作为新类训练集；基于新类支持集和新类训练集实现对小样本目标检测模型的增强学习。本发明提出的基于稳定扩散模型的数据增广方式和模型微调策略，能够有效提升训练数据不足时小样本目标检测模型的检测性能，具有较高的泛化能力。

主权项：1.一种基于扩散模型的小样本目标检测模型增强学习方法，其特征在于，包括以下步骤：步骤1：通过视觉传感器采集特定场景下，包含常见物体的基类数据和包含不常见物体的新类数据，所述不常见物体作为目标物体；步骤2：使用基类数据和新类数据分别对小样本目标检测模型进行预训练和微调，得到训练好的小样本目标检测模型；步骤3：基于预构建的提示词模板，对目标物体随机生成新类提示词并编码成新类文本向量，将新类文本向量和随机生成的高斯噪声输入预训练的稳定扩散模型中降噪得到目标物体生成图像，所述目标物体生成图像作为新类支持集；步骤4：标注基类数据得到标注框，提取标注框所在区域进行二值掩膜，得到基类掩膜图，将新类文本向量和基类掩膜图输入稳定扩散模型，得到生成图像，将生成图像还原到基类数据中，作为新类训练集；步骤5：使用新类支持集和新类训练集对训练好的小样本目标检测模型进行增强学习，用于提升对新类目标物体的检测识别能力。

全文数据：

权利要求：

百度查询： 之江实验室 基于扩散模型的小样本目标检测模型增强学习方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD