申请/专利权人：厦门大学

申请日：2023-12-25

公开（公告）日：2024-04-09

公开（公告）号：CN117453944B

主分类号：G06F16/583

分类号：G06F16/583;G06F16/53;G06N3/088;G06V10/44;G06V10/26;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2024.02.13#实质审查的生效;2024.01.26#公开

摘要：本发明涉及一种多层级显著区域分解的无监督实例检索方法及系统，其基于图结构归一化切割方法，提出显著区域分解的实例定位方法和基于掩码的感兴趣区域特征提取方法，实现了图像中的显著实例发现和显著实例的多层级分解。本发明解决了先前方法提取图像级特征或者区域级实例特征的问题；提高了实例级及其子区域定位的准确性与完整性；提高实例特征的特征区分度同时减少背景噪声对实例定位结果的干扰。

主权项：1.一种自顶向下的多层级显著区域分解的无监督实例检索方法，所述检索方法为：将输入查询图片进行特征提取得到查询特征，将所述查询特征与参考特征数据库中的实例特征进行特征匹配，获取与查询特征最为相似的前K个实例特征；其特征在于，所述参考特征数据库中的实例特征由参考图片库中的参考图片经多层级实例特征提取后得到，每一参考图片的多层级实例特征提取包括以下步骤：步骤1、使用特征编码器将参考图片切割为多个图像块，并对图像块进行特征编码；然后根据图像块特征两两之间的相似度构建带权重的无向图，其中，V为图像块特征，其为无向图的结点；E表示图像块特征之间的相似度，其为无向图的边；特征编码器对参考图片进行处理时，保存其在特征编码器中前向传播时产生的梯度参数，该梯度参数包括输入层梯度、输出层梯度和中间各层梯度；步骤2、对无向图进行归一化切割，将无向图进行二分得到两个子图，将每个子图中包含的图像块映射映回参考图片，寻找相同图像块在参考图片中的联通区域，得到一个或多个新的子图；根据设置的迭代轮数对上述得到的新的子图继续进行归一化切割处理，将每轮迭代得到的子图均进行保存，得到多个子图，每一个子图均对应于参考图片中的一个实例，那么经过步骤2处理也得到了多个实例；步骤3、获取每一个实例的定位结果；首先，计算每一个实例的输出贡献概率；将步骤2得到的实例与步骤1保存的输出层梯度在每个通道上进行矩阵逐元素乘法，得到每一个实例的输出贡献概率；然后，计算每一个实例的输入贡献概率；对于每一个实例，根据步骤1保存的输入层梯度、输出层梯度和中间各层梯度进行反向传播，逐层反向计算下一层中每个向量对上一层中每个向量的贡献概率，最终得到输入层中的每一个向量对该实例贡献概率，即输入层对每一个实例的贡献概率；最后，根据输入层对每一个实例的贡献概率，使用预先设置的阈值，大于该阈值的像素认为是对实例定位贡献突出的像素置为1，反之置为0，最终得到使用0或1标记的二值掩码，即得到每个实例的二值掩码，并将其作为每一个实例的定位结果；步骤4、将参考图片输入基于卷积神经网络架构的特征提取器中，得到特征图；对于每一个实例的二值掩码进行下采样，得到与特征图尺寸相同的掩码，作为该实例的感兴趣区域；将下采样得到的掩码感兴趣区域与特征图相乘，然后在每一个通道上使用一般化平均池化，从而得到每一个实例的特征表达，即得到实例特征。

全文数据：

权利要求：

百度查询： 厦门大学 一种多层级显著区域分解的无监督实例检索方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD