申请/专利权人：中国科学技术大学

申请日：2021-09-16

公开（公告）日：2024-03-29

公开（公告）号：CN113792803B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/82;G06V10/766;G06V10/774;G06T7/194

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2021.12.31#实质审查的生效;2021.12.14#公开

摘要：本发明公开了一种前景信息引导的弱监督目标检测方法与系统，将前景‑背景二分类任务引入了弱监督目标检测任务，从而能从图片中定位出更准确的物体，本发明中，前景‑背景二分类网络能够很好地引导检测器区分前景特征和背景特征的区别，从而很好地缓解现有技术存在的两项技术问题。前景引导的自训练模块很好地利用了额外的前景信息来获取可靠的种子，并采用多种子训练的策略来消除噪声种子带来的影响，从而有效地训练多分类网络，提升检测器的检测性能；除此之外，还在推理阶段利用了前景‑背景二分类网络所提供的前景信息。综上，本发明提供的上述方案，大幅提升了弱监督目标检测的准确率。

主权项：1.一种前景信息引导的弱监督目标检测方法，其特征在于，包括：构建包含多实例学习模块、前景-背景二分类网络、前景引导的自训练模块及回归网络的弱监督目标检测器；训练阶段，将从图像中提取的所有的候选框特征输入至所述弱监督目标检测器；所述多实例学习模块，根据候选框特征对候选框进行分类和检测，获得每一候选框的第一分类分数，对于每个类别，计算所有候选框在相应类别的分类分数总和，得到图像层级的分类分数，并与给定的图像层的标签计算第一部分损失；所述前景-背景二分类网络，根据候选框特征计算出每一候选框的前景分数，并结合相应候选框的第一分类分数将每一候选框标注为前景类或者背景类，利用相应候选框标注与候选框的前景分数共同计算第二部分损失；所述前景引导的自训练模块，利用候选框的前景分数对候选框进行筛选，并结合筛选后的候选框的前景分数和第一分类分数挑选出满足类别限制和重叠度限制的候选框，作为图像的第一组种子，并计算所有候选框的第二分类分数，再利用第一组种子对所有候选框进行标注，得到第一组标签，同时，使用最高分策略从所有候选框中挑选图像的第二组种子，再利用第二组种子对所有候选框进行标注，得到第二组标签，综合两组标签以及相应候选框的第二分类分数计算第三部分损失；所述回归网络，对所有候选框进行处理，得到各候选框的第三分类分数与回归参数，利用所述前景引导的自训练模块挑选出的第一组种子生成所有候选框的伪标签，并对所有候选框进行标注，结合相应候选框的标注与第三分类分数与回归参数计算第四部分损失；综合四部分损失进行网络训练；推理阶段，对于待检测图像中的每一候选框，综合训练后弱监督目标检测器计算的候选框第一分类分数、前景分数、第二分类分数以及第三分类分数得到候选框的分类结果，并利用回归网络来修正候选框；所述前景引导的自训练模块的数目为多个，每一前景引导的自训练模块均包含前景引导的种子挖掘模块和一个自训练多分类网络；所述前景引导的种子挖掘模块，利用前景分数筛选出一系列候选框，再通过前景引导的种子挖掘算法，利用迭代的方法从筛选后的候选框中挑选出第一组种子；所述自训练多分类网络，用于计算候选框的第二分类分数，再利用第一组种子对所有的候选框进行标注；其中，前景引导的种子挖掘算法执行时需要使用候选框的多分类分数；对于第一个前景引导的自训练模块，候选框的多分类分数为第一分类分数；对于非第一个前景引导的自训练模块，候选框的多分类分数为上一个前景引导的自训练模块中自训练多分类网络计算的第二分类分数；所述利用前景分数筛选出一系列候选框，再通过前景引导的种子挖掘算法，利用迭代的方法从筛选后的候选框中挑选出第一组种子的方式包括：设定阈值，根据候选框的前景分数xfg，筛选出前景分数大于阈值的候选框；将筛选出的候选框的前景分数、多分类分数，以及给定的图像层的标注作为前景引导的种子挖掘算法的输入；对于每个类别，如果类别对应的标签为1，则表示相应类别存在于图像中，则选取出多分类分数最高的候选框，加入第一种子集；根据选出的候选框的前景分数，对候选框进行降序排序；在排序中从前往后依次选取候选框：提取当前候选框的多分类分数，选取分数最高的类别，作为当前候选框的类别，若类别对应的标签为1，则计算当前候选框与第一种子集中当前所有种子的交并比，否则选取下一个候选框，如果最大交并比小于第一设定值K1，则将当前候选框其加入种子集，否则结束选取，如果当前候选框为最后一个候选框，则结束选取，将第一种子集中的当前所有种子作为第一组种子；所述回归网络包括分类和回归两个分支；将所有候选框的特征输入回归网络，得到各候选框的第三分类分数与回归参数后，对于每一个候选框，分别计算与第一组种子的交并比，得到其中最大的交并比，若最大的交并比大于等于第一设定值K1，则把相应候选框标注为种子对应的类别；若最大的交并比位于区间[K2,K1内，则把该候选框标注为背景类，其余的候选框将在之后的第四部分损失计算中被忽略，利用相应候选的标注以及第三分类分数共同计算分类损失；对于前景类别的候选框，结合候选框与其对应的种子计算出回归量，将回归参数和回归量共同计算回归损失，将分类损失和回归损失结合作为第四部分损失。

全文数据：

权利要求：

百度查询： 中国科学技术大学 前景信息引导的弱监督目标检测方法与系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD