申请/专利权人：淮阴工学院

申请日：2023-11-28

公开（公告）日：2024-03-26

公开（公告）号：CN117765299A

主分类号：G06V10/764

分类号：G06V10/764;G06V10/774;G06F40/30

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.12#实质审查的生效;2024.03.26#公开

摘要：本发明涉及多模态领域，公开了一种基于微调CLIP的违规户外广告识别方法，获取违规户外广告图像数据，制作数据集并分为训练集A、B和验证集；搭建微调后的CLIP网络模型；读取训练集A至搭建的网络模型中，学习每个广告类别的文本特征，训练结束时保存模型的状态字典并命名为prompt.pth；读取训练集B至搭建的网络模型中，利学习到的文本特征和训练集B中的图像特征做相似度对比，以此来微调CLIP模型的图像编码器，保存训练过程中准确率最高的模型参数，将其文件命名best.pth；读取户外广告的待检测图像至微调后的CLIP网络模型中，加载2个权重文件至模型中进行推理检测，判定是否违规。与现有技术相比，本发明有效提高了模型对违规户外广告的图像分类能力。

主权项：1.一种基于微调CLIP的违规户外广告识别方法，其特征在于，具体包含如下步骤：步骤1：通过Webspider获取违规户外广告图像数据，人工清洗图像数据，并制作数据集，将所述数据集分为训练集和验证集，同时使用不同的数据增强方法对训练集增强并生成训练集A和训练集B，以供训练阶段使用；步骤2：搭建微调后的CLIP网络模型，所述微调后的CLIP网络模型使用ViT-B16作为骨干网络，增加一个提示学习器，同时进行两个阶段的训练；步骤3：第一训练阶段：读取违规户外广告数据集中的训练集A至步骤2搭建的网络模型中，在模型训练过程中，学习每个广告类别的文本特征，训练结束时保存模型的状态字典并命名为prompt.pth，供重新加载模型时使用；步骤4：第二训练阶段：读取违规户外广告数据集中的训练集B至步骤2搭建的网络模型中，利用步骤3中学习到的文本特征和训练集B中的图像特征做相似度对比，以此来微调CLIP模型的图像编码器，保存训练过程中准确率最高的模型参数，将其文件命名best.pth；步骤5：读取户外广告的待检测图像至微调后的CLIP网络模型中，加载步骤3、步骤4中的权重文件prompt.pth和best.pth至模型中进行推理检测，判定是否违规。

全文数据：

权利要求：

百度查询： 淮阴工学院 一种基于微调CLIP的违规户外广告识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD