申请/专利权人：天津大学

申请日：2021-09-15

公开（公告）日：2023-01-24

公开（公告）号：CN113887580B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/774;G06V10/762;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2023.01.24#授权;2022.01.21#实质审查的生效;2022.01.04#公开

摘要：本发明公开了一种考虑多粒度类相关性的对比式开放集识别方法及装置，方法包括：构架一由特征提取、多粒度类相关性损失、及分类器组成的对比式开放集识别模型；基于所述多粒度层级结构的训练集对所述对比式开放集识别模型进行训练，计算多粒度类相关性损失函数，通过构建并度量不同类别在分层结构上的相关性，约束模型学习，实现类别层次上的表示学习增强，更新所述模型的权重，获取优化后的模型；基于所述优化后的模型对已知类测试集和未知类测试集进行识别，获取识别结果。装置包括：处理器和存储器。本发明通过在标签语义空间构建分层结构并度量多粒度类相关性的方式，约束模型学习不同已知类间的相关关系，进一步提高其表示学习能力。

主权项：1.一种考虑多粒度类相关性的对比式开放集图像识别方法，其特征在于，所述方法包括：将数据集划分为训练集、已知类测试集和未知类测试集，并对训练集数据构建多粒度层级结构；构架一由特征提取、多粒度类相关性损失、及分类器组成的对比式开放集识别模型；基于所述多粒度层级结构的训练集对所述对比式开放集识别模型进行训练，计算多粒度类相关性损失函数，通过构建并度量不同类别在分层结构上的相关性，约束模型学习，实现类别层次上的表示学习增强，更新所述模型的权重，获取优化后的模型；基于所述优化后的模型对已知类测试集和未知类测试集进行识别，获取自然场景物体的识别结果；其中，所述多粒度类相关性损失为：对于训练集样本{xk,yk}k＝1...N，利用标签的语义信息构建Xα,α＝0...α层的层级结构，其中α为层级数，Xα＝0为数据原始标签yk作为叶子结点所在的层级；利用Word2Vec·模块对原始标签进行语义特征的提取，获得词向量vec，利用K-Means方法对词向量vec进行粗粒度层级上的聚类，得到粗粒度标签进而得到实例-粗粒度标签对样本通过提取Xα＝1层的粗粒度标签信息，获得Xα层的粗粒度标签信息；其中，t为粗粒度类别数；其中，所述数据集为：对标准数据集CIFAR10、CIFAR100、ImageNet-crop、ImageNet-resize、LSUN-crop、LSUN-resize、TinyImageNet进行随机划分获得训练集、已知类测试集和未知类测试集，具体划分如下：数据集中包含了诸多类别的自然场景物体，青蛙、飞机、船、鸟；1CIFAR10数据集共有大小为60000张32*32像素的彩色图像，分为10个类，每类6000张图，其中50000张用于训练，构成了5个训练批，每一批10000张图，每一类都有5000张图作为训练集；另外10000张用于测试，单独构成一批，作为验证集；验证集的数据取自10类中的每一类，每一类随机取1000张，与训练集数据无重叠，划分时随机选取6类作为已知类样本，其余4类作为未知类样本；2CIFAR100数据集共有60000张32*32像素的彩色图像，共100个类，每类包含600张图像，其中50000张用于训练，构成了5个训练批，每一批10000张图，每一类都有500张图作为训练集；另外10000张用于测试，单独构成一批，作为验证集；验证集的数据取自10类中的每一类，每一类随机取100张，与训练集数据无重叠，划分时随机选取CIFAR10数据集中的4类作为已知类样本，在CIFAR100数据集中分别随机选取10类和50类作为未知类样本；3TinyImageNet数据集，划分时随机选取其中20类作为已知类样本，其余180类作为未知类样本；4ImageNet-crop、ImageNet-resize、LSUN-crop、LSUN-resize数据集分别通过对图像数据库ImageNet数据集和场景图像LSUN数据集进行裁剪或调整原始图像的大小获得的；以CIFAR10数据集作为训练集和已知类测试样本，分别以上述4种数据集作为未知类测试集；其中，所述多粒度类相关性损失函数为：L＝Lsup+λLcr其中，λ0为平衡权重； 其中，“·”代表内积，T∈R+为温标参数，设置为T＝0.1.Ai≡I\{i}，即训练集样本中除锚点i外，与锚点i拥有相同标签的全部实例均作为监督对比式学习的正例，为正例样本标签，为锚点样本标签，为模型学习到的锚点样本的特征，为模型学习到的正例样本的特征，为模型学习到的样本特征，为监督对比损失函数；另， 其中，为实例xk在粗粒度标签上的期望分布，ps为预测概率，为预测标签。

全文数据：

权利要求：

百度查询： 天津大学 一种考虑多粒度类相关性的对比式开放集图像识别方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD