申请/专利权人：山东建筑大学;山东积成智通新能源有限公司;积成能源有限公司

申请日：2024-01-16

公开（公告）日：2024-04-26

公开（公告）号：CN117573915B

主分类号：G06F16/583

分类号：G06F16/583;G06F16/55;G06V10/44;G06V10/764;G06V10/82;G06V10/74;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2024.03.08#实质审查的生效;2024.02.20#公开

摘要：本发明涉及图像检索技术领域，特别是涉及基于对比学习的二值码图像检索方法及系统，其中方法包括：构建训练集，所述训练集包括若干个正样本图像对和若干个负样本图像对；将训练集，输入到图像分类模型中，对模型进行训练，当模型的总损失函数值不再下降时，停止训练，得到训练后的图像分类模型；获取待检索图像和图像数据库，对待检索图像进行预处理，将待检索图像和图像数据库的图像，均输入到训练后的图像分类模型中，从图像数据库中找到与待检索图像最相似的图像。通过对比学习方法不仅学习全局的语义信息，还可以捕捉细粒度的语义信息，对每个图像之间构建成对相似度矩阵，提升模型挖掘数据点之间相似性的能力。

主权项：1.基于对比学习的二值码图像检索方法，其特征是，包括：构建训练集，所述训练集包括若干个正样本图像对和若干个负样本图像对；将训练集，输入到图像分类模型中，对模型进行训练，当模型的总损失函数值不再下降时，停止训练，得到训练后的图像分类模型；具体的，所述训练后的图像分类模型，其网络机构包括：并列的第一分支和第二分支；所述第一分支，包括：依次连接的第一检测模型和第一哈希层；所述第二分支，包括：依次连接的第二检测模型和第二哈希层；所述第一检测模型与第二检测模型的内部结构是一样的，所述第一检测模型，包括：依次连接的分块层、线性层、位置编码层、Transformer编码器、多层感知机和输出层；所述分块层，用于实现输入图像，并对输入图像按照设定尺寸分割为若干个图像块；所述线性层，用于将每个图像块进行线性投影，得到图像向量；所述位置编码层，用于对每个图像向量添加位置编码，得到优化的图像向量；所述Transformer编码器，对优化的图像向量进行特征提取，得到图像特征；所述多层感知机，对图像特征进行缩放处理，得到缩放的图像特征；所述第一哈希层，用于对缩放的图像特征进行哈希处理，得到第一图像哈希码；所述第二哈希层，用于对缩放的图像特征进行哈希处理，得到第二图像哈希码；其中，总损失函数，是均方误差损失函数和泰勒损失函数的求和结果；泰勒损失函数，包括：权重学习损失函数；所述均方误差损失函数，用于保证哈希码与特征之间的平衡；所述泰勒损失函数，用于通过对比学习方式学习图像的全局特征和局部特征；基于图像的全局特征和局部特征，在每个图像对之间构建成对相似性矩阵，并对成对相似性矩阵进行更新；所述均方误差损失函数，其表达式为：给定原样本集合为,N为样本数量，从数据集随机选择一批增强后的图像，增强后的样本集合为和，然后把这两组图像分成不重叠的样本块，集合为和，样本由第一检测模型生成的特征为，哈希码由哈希函数生成： ； ； ；其中，表示二值码，是哈希层，哈希层通过全连接层来实现，表示增强数据集训练后的二值码表示；表示符号函数；表示增强数据集训练后的二值码表示；表示中图像分成的样本块集合；表示中图像分成的样本块集合；n分成的样本块个数；引入均方误差损失函数，保证哈希码与特征之间的平衡： ；所述泰勒损失函数，其表达式为：输入的两组样本块经过ViT网络，输出为每个样本块的特征，因此每个样本块的相似度为： ；其中，表示样本块通过第一检测模型之后生成的特征；表示样本块通过第二检测模型之后生成的特征；然后，构造一个基于样本块相似性矩阵： ；其中，表示行归一化指数函数；表示列归一化指数函数；表示生成的新行相似度矩阵；表示生成的新列相似度矩阵；最后的通过样本块和样本块相似矩阵来聚集样本的局部和全局特征信息并输出： ；其中，代表所有样本块通过互注意力生成的特征集合；重新制定计算样本之间相似性的规则，并使用获得的相似性来重新加权对比损失，以挖掘正负样本之间重叠的语义信息： ；其中，是第个图像之间所有样本块的相似度集合； ；其中，代表第个图像之间的相似度，；表示第个图像之间所有样本块的相似度的最大值；表示第个图像之间所有样本块的相似度的平均值；对于任意两个样本都会有四个增强样本的相似度，样本集的相似度用矩阵表示： ；其中，为温度系数，温度参数越大，曲线越平滑；表示行归一化后的；此外，为了保证增强图像与锚图像等效，取对角线元素与结合： ； ； ；其中，每次训练的批次用表示，哈希码长度用表示，表示权重学习损失函数；表示相似度矩阵；表示二值码长度；表示温度系数；表示二值码；表示每次训练的批次；表示泰勒损失函数；获取待检索图像和图像数据库，对待检索图像进行预处理，将待检索图像和图像数据库的图像，均输入到训练后的图像分类模型中，从图像数据库中找到与待检索图像最相似的图像。

全文数据：

权利要求：

百度查询： 山东建筑大学;山东积成智通新能源有限公司;积成能源有限公司 基于对比学习的二值码图像检索方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD