申请/专利权人：大连理工大学;大连理工大学宁波研究院;大连维视科技有限公司

申请日：2023-12-12

公开（公告）日：2024-03-08

公开（公告）号：CN117671246A

主分类号：G06V10/25

分类号：G06V10/25;G06V10/26;G06N3/045;G06V10/82;G06V10/40;G06V10/764

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.26#实质审查的生效;2024.03.08#公开

摘要：本发明属于机器学习、目标检测、开放词表目标分割领域，公开了一种基于交叉验证识别机制的开放词表目标检测算法。为提高模型在大规模词表情景下的识别准确性，本发明设计了一个交叉验证识别模块，主要由两个交叉验证识别分支和一个多分支投票组件组成。两个交叉验证识别分支通过结合图像级和区域级的分类器与标签预测器进行有潜在互补性的初步预测，再经由多分支投票组件，依据两分支对不同类别预测的确定性和互补性得到最终预测的混合置信度，提高了检测精度，既在传统的开放词表目标检测任务设置下达到了最先进的性能，又在较复杂的大规模开放词表目标检测任务取得了最优的结果。

主权项：1.一种基于交叉验证识别机制的开放词表目标检测算法，其特征在于，该开放词表目标检测算法称为LOV-DETR模型；其特征在于，LOV-DETR模型是一个DETR型的框架，包含一个图像特征提取器、一个文本特征提取器和一个检测器；其中，图像特征提取器由CLIP图像编码器和Transformer编码器共同组成，用来提取与文本特征对齐的图像特征；文本特征提取器由CLIP文本编码器构成；检测器由一个前后共使用两次的交叉验证识别模块和一个锚框精炼模块组成；LOV-DETR模型的框架表达为：其中，x代表输入图像，VL表示较大的词表，VB表示较小的已知词表，y代表检测结果，是在VB上训练的模型；此外，VL和VB没有相同类别，且VL＞＞VB；给定一张图像作为输入，通过图像特征提取器和文本特征提取器来分别提取图像特征和文本特征，再将图像特征和文本特征传递到检测器，由检测器的交叉验证识别模块和锚框精炼模块共享；锚框精炼模块的输入为锚框和每个锚框对应的预匹配类别文本，输出为更精确的边界框和每个边界框对应的置信度；交叉验证识别模块共被使用两次，第一次在精炼锚框前，通过区域分类进行预匹配，为每个锚框分配对应的类别文本；第二次在精炼锚框后，通过区域分类进行重识别，检验边界框匹配的类别在图像中是否存在；LOV-DETR模型输出结果为边界框和每个边界框对应的置信度；其中，交叉验证识别模块由两个交叉验证识别分支和一个多分支投票组件组成，由表达式来表示；其中，表示对于区域r和类别c的匹配置信度，和表示两分支的预测结果，数α表示两分支预测的权重系数；两个交叉验证识别分支通过结合不同层级的分类器和标签预测器来构建，具体为：一分支为基于CLIP的图像级分类器和区域级标签预测器；另一分支为图像级标签预测器和基于CLIP的区域级分类器；具体算法过程如下：交叉验证识别分支由图像级的分类器或标签预测器在词表中筛选，得到筛选出的子集VS；由区域级的分类器或标签预测器得到词表中所有类别的区域分类置信度Cnfc,r；当类别c∈VS时，最终的预测置信度结果Pc,r为Υ+×Confc,r，当类别时，Pc,r为Υ-×Confc,r；Υ+和Υ-是超参数，分别名为奖励因子和惩罚因子，反映图像级筛选对最终预测结果影响的程度；分类器基于CLIP，依据余弦相似度大小输出预测类别，标签预测器由标签预测头输出类别存在与否的置信度进行预测，标签预测头是去除自注意力机制仅保留交叉注意力机制的两层BertTransformer层；多分支投票组件依据两个交叉验证识别分支对不同类别预测的确定性得到混合置信度来减少假性样本数量；具体为：若两个交叉验证识别分支都预测某个类别的存在，则直接将它们的置信度相乘以获得最终预测的混合置信度；如果两个交叉验证识别分支都预测某个类别的不存在，则直接过滤掉；如果一个交叉验证识别分支过滤掉某个类别而另一个交叉验证识别分支没有过滤掉，则首先依据该类别对应区域的原始大小来动态调整两分支的投票权值，再将每个分支的投票权值乘以预测置信度得到每分支带有投票权值的置信度，将有投票权值的置信度相乘得到该类别最终的混合置信度，若该类别的混合置信度在所有输入类别的混合置信度中最高则保留该类别为区域的分类结果，否则过滤掉；在上述过程后，投票策略选择最高的混合置信度作为最终的区域分类结果。

全文数据：

权利要求：

百度查询： 大连理工大学;大连理工大学宁波研究院;大连维视科技有限公司 一种基于交叉验证识别机制的开放词表目标检测算法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD