申请/专利权人：清华大学

申请日：2018-02-02

公开（公告）日：2020-11-24

公开（公告）号：CN108399211B

主分类号：G06F16/583(20190101)

分类号：G06F16/583(20190101);G06K9/62(20060101)

优先权：

专利状态码：有效-授权

法律状态：2020.11.24#授权;2018.09.07#实质审查的生效;2018.08.14#公开

摘要：本发明公开了一种基于二值特征的大规模图像检索算法，方法包括以下步骤：步骤S1：初始化神经网络参数，并根据训练图片集初始化实值输出特征；步骤S2：根据训练图片集构建图片相似度矩阵，并构建拉普拉斯矩阵；步骤S3：通过加权相似度度量构建损失函数；步骤S4：通过损失函数对实值输出特征求导，固定差异量更新实值输出特征，同时更新网络参数；步骤S5：通过损失函数对差异量求导，固定实值输出特征更新差异量；步骤S6：增大高阶展开权重，并依照步骤S3与步骤S4且结合损失函数持续更新实值输出特征与网络参数，直到训练结束。该方法可以有效补偿输入数据对中的正负训练样本不平衡带来的问题，有效提高检索精度。

主权项：1.一种基于二值特征的大规模图像检索方法，其特征在于，包括以下步骤：步骤S1：初始化神经网络参数，并根据训练图片集初始化实值输出特征；步骤S2：根据所述训练图片集构建图片相似度矩阵，并构建拉普拉斯矩阵；步骤S3：通过加权相似度度量构建损失函数；步骤S4：通过所述损失函数对实值输出特征求导，固定差异量更新所述实值输出特征，同时更新网络参数；步骤S5：通过所述损失函数对差异量求导，固定所述实值输出特征更新所述差异量；以及步骤S6：增大高阶展开权重，并依照所述步骤S4与所述步骤S5，结合所述损失函数持续更新所述实值输出特征与所述网络参数，直到训练结束；其中，所述步骤S1进一步包括：步骤S101：初始化神经网络参数；步骤S102：使用所述初始化的神经网络获取训练图片集中图片的实值输出特征，并将所述实值输出特征作为初始实值输出特征H与离散输出特征B＝sgnH，并以所述离散输出特征B作为图片哈希码；所述步骤S2包括以下步骤：步骤S201：通过二值相似度函数，计算所述训练图片集中任意两个图片的相似度，记第i个图片和第j个图片的相似度为sij，其构成的图片相似度矩阵记为S；步骤S202：求取所述图片相似度矩阵S的拉普拉斯矩阵，记为Lsym；所述步骤S3包括以下步骤：步骤S301：使用加权相似度度量方法补偿正负训练样本的不平衡，通过所述相似度计算所述训练图片集中任意两个图片的加权相似度，记第i个图片和第j个图片的加权相似度为其构成的加权相似度矩阵记为步骤S302：对于所述训练图片集任意图片i与j，根据所述离散输出特征bi与bj，构建损失函数： 步骤S303：对所述训练图片集中所有样本对求和，构建损失函数： 所述损失函数矩阵形式为： 其中，D为对角阵，且对角元素步骤S304：定义差异量Δ＝B-H，根据泰勒级数，所述损失函数在实值输出特征H处展开如下： 其中，若实值输出特征H与差异量Δ按列方式连接各元素，则是实值输出特征H的第i列向量，是差异量Δ的第i列向量；步骤S305：根据所述步骤S304的展开形式，所述步骤S303中所述损失函数即为： 步骤S306：结合所述步骤S303与所述步骤S305，关于所述实值输出特征H与差异量Δ构建所述损失函数： 其中，H+Δ∈{-1,1}n×l，其中λ1与λ2为高阶展开权重。

全文数据：基于二值特征的大规模图像检索算法技术领域[0001]本发明涉及计算机视觉、多媒体技术领域，特别涉及一种基于二值特征的大规模图像检索算法。背景技术[0002]图像检索是一种用来寻找图片的数据搜索方法。系统根据用户输入的关键字、图片等检索信息，从数据库中寻找一些与输入相似的图片并反馈给用户。相似度的衡量可以基于图片辅助信息如关键字或者图片纹理、颜色、形状等图片内容特征。[0003]基于内容的图像检索是计算视觉在图像检索领域的应用。此类算法旨在避免使用文本信息检索图像，而是通过图片自身的纹理、颜色、形状等特征来进行检索。这类算法需要计算检索图像和数据库图像在特征空间中的欧氏距离。在大规模数据集中，使用实值特征的存储开销和检索时计算欧氏距离的时间开销都是难以接受的。[0004]基于哈希的图像检索可以解决上述时间、存储开销过大的问题。基于哈希的图像检索算法使用二值特征而非实值特征存储和检索图像。二值特征之间的距离计算可以利用异或操作快速实现，同时由于二值特征中的每一位只需要1比特的存储空间，因此可以明显减少数据库图片特征的存储开销。二值特征被称为哈希特征，从原始空间映射到汉明空间的函数称为哈希函数，学习得到哈希特征的过程被称作哈希学习。[0005]哈希学习中最大的难点在于求解最优哈希特征的优化问题是NP难问题。这是由哈希特征的值只能取〇，1或者±1的属性决定的。这个整数优化问题无法通过传统的数值优化方法求解最优解，因此需要对约束条件进行放松。放松方法主要有三类:直接丢弃二值约束，引入量化误差优化项，将阶跃函数放松为sigmoid函数。第一种方法由于直接忽略的了约束条件，因此学到的哈希函数必然存在巨大的量化误差。第二种方法需要引入实值的隐含层特征以及其他辅助变量，将原始的整数优化问题分解成多个可解的子问题，通过分步迭代优化的方法寻求局部最优解。有时关于哈希特征的子优化问题仍然是没有闭式解的NP难问题，需要通过协调下降法，收敛到这个子问题的一个局部最优解。第三种方法由于引入非线性函数，训练模型收敛速度明显减慢。无论采用上述哪种方法，训练得到的哈希函数Φ与实际使用的哈希函数W=SgnO之间总会有差异。这会导致在采样集外的数据上检索效果下降。[0006]此外，当训练数据以pairwise数据对的形式给出时，先前方法都是将相似图片对的监督标记定义为1，不相似的图片对的监督标记定义为〇或-1。由于绝大多数训练集上构造出来的pairwise数据对中相似的数量总会远远小于不相似的数量，因此会产生正负训练样本不均衡的问题。发明内容[0007]本发明旨在至少在一定程度上解决相关技术中的技术问题之一。[0008]为此，本发明的目的在于提出一种基于二值特征的大规模图像检索算法，该方法可以有效提尚检索精度。[0009]为达到上述目的，本发明实施例提出了一种基于二值特征的大规模图像检索算法，包括以下步骤:步骤SI:初始化神经网络参数，并根据训练图片集初始化实值输出特征；步骤S2:根据所述训练图片集构建图片相似度矩阵，并构建拉普拉斯矩阵;步骤S3:通过加权相似度度量构建损失函数;步骤S4:通过所述损失函数对实值输出特征求导，固定差异量更新所述实值输出特征，同时更新网络参数;步骤S5:通过所述损失函数对差异量求导，固定所述实值输出特征更新所述差异量;步骤S6:增大高阶展开权重，并依照所述步骤S3与所述步骤S4且结合所述损失函数持续更新所述实值输出特征与所述网络参数，直到训练结束。[0010]本发明实施例的基于二值特征的大规模图像检索算法，通过将哈希学习中原始的二值优化问题转变为对哈希函数可导的优化问题，解耦了哈希学习中的二值约束和相似度保持目标，使得转换后的问题可以通过简单的交互迭代框架进行优化求解，并且通过加权相似度度量方法，有效补偿输入数据对中的正负训练样本不平衡带来的问题，有效解决训练得到的哈希函数和实际使用的哈希函数之间存在不一致的问题，提高检索精度。[0011]进一步地，在本发明的一个实施例中，所述步骤Sl进一步包括:步骤SlOl:初始化神经网络参数;步骤S102:使用所述初始化的神经网络获取训练图片集中图片的实值输出特征，并将所述实值输出特征作为所述初始实值输出特征H与离散输出特征B=SgnH，并以所述离散输出特征B作为图片哈希码。[0012]进一步地，在本发明的一个实施例中，所述步骤S2包括以下步骤:步骤S201:通过二值相似度函数，计算所述训练图片集中任意两个图片的相似度，记第i个图片和第j个图片的相似度为其构成的图片相似度矩阵记为S;步骤S202:求取所述图片相似度矩阵S的拉普拉斯矩阵，记为Lsym。[0013]进一步地，在本发明的一个实施例中，所述步骤S202具体为：[0014]计算，D=diagdi，d2,......,In，L=D-S;[0015]所述图片相似度矩阵S的拉普拉斯矩阵[0016]进一步地，在本发明的一个实施例中，所述步骤S3包括以下步骤：[0017]步骤S301:使用加权相似度度量方法补偿正负训练样本的不平衡，通过所述相似度计算所述训练图片集中任意两个图片的加权相似度，记第i个图片和第j个图片的加权相似度为，其构成的加权相似度矩阵记为[0018]步骤S302:对于所述训练图片集任意图片i与j，根据所述离散输出特征构建损失函数：[0020]步骤S303:对所述训练图片集中所有样本对求和，构建损失函数：[0022]所述损失函数矩阵形式为：[0024]其中，，〇为对角阵，且对角元素.[0025]步骤S304:定义差异量Λ=B-H，根据泰勒级数，所述损失函数在实值输出特征H处展开如下：[0027]其中，若实值输出特征H与差异量Δ按列方式连接各元素，则是实值输出特征H的第i列向量，是差异量A的第i列向量；[0028]步骤S305:根据所述步骤S304的展开形式，所述步骤S303中所述损失函数即为：[0030]步骤S306:结合所述步骤S303与所述步骤S305,关于所述实值输出特征H与差异量△构建所述损失函数：[0032]其中，（Η+Λe{-1，1}ηΧ1，其中λ^λ2为高阶展开权重。[0033]进一步地，在本发明的一个实施例中，所述步骤S301具体为：[0034]对于所述训练图片集任意图片i与j，根据所述相似度Slj计算加权相似度：[0036]为确保相似度量中，所述相似图片对所述相似度为正值，非相似图片对所述相似度为负值，令〇〈β〈1，若β=〇.5，则通过0.5倍放缩得到原相似度，未使用加权相似度度量方法。[0037]进一步地，在本发明的一个实施例中，所述步骤S4包括以下步骤：[0038]步骤S401:固定差异量，关于所述实值输出特征构建所述损失函数：[0040]步骤S402:固定差异量，计算所述损失函数对所述实值输出特征求导：[0042]步骤S403:根据随机梯度下降法更新实值输出特征与网络参数。[0043]进一步地，在本发明的一个实施例中，所述步骤S5包括以下步骤：[0044]步骤S501:固定所述实值输出特征，关于差异量构建损失函数：[0045]，满足[0046]步骤S502:固定实值输出特征，计算所述损失函数对差异量求导：[0048]步骤S503:更新差异量Δ。[0049]进一步地，在本发明的一个实施例中，所述步骤S503具体为：[0050]根据迭代更新差异量。[0051]进一步地，在本发明的一个实施例中，所述步骤S6包括以下步骤:步骤S601:增大高阶展开权重心与、;步骤S602:依照所述步骤S4与所述步骤S5，结合所述损失函数持续更新实值输出特征与网络参数，直到训练结束。[0052]本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明[0053]本发明上述的和或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：[0054]图1为根据本发明实施例的基于二值特征的大规模图像检索算法的流程图；[0055]图2为根据本发明一个具体实施例的基于二值特征的大规模图像检索算法的流程图。具体实施方式[0056]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。[0057]下面参照附图描述根据本发明实施例提出的基于二值特征的大规模图像检索算法。[0058]图1是本发明实施例的基于二值特征的大规模图像检索算法的流程图。[0059]结合图1和图2所示，该基于二值特征的大规模图像检索算法包括以下步骤：[0060]步骤SI:初始化神经网络参数，并根据训练图片集初始化实值输出特征。[0061]进一步地，在本发明的一个实施例中，步骤Sl进一步包括:步骤SlOl:初始化神经网络参数;步骤S102:使用初始化的神经网络获取训练图片集中图片的实值输出特征，并将实值输出特征作为初始实值输出特征H与离散输出特征B=sgnH，并以离散输出特征B作为图片哈希码。[0062]步骤S2:根据训练图片集构建图片相似度矩阵，并构建拉普拉斯矩阵。[0063]进一步地，在本发明的一个实施例中，步骤S2包括以下步骤:步骤S201:通过二值相似度函数，计算训练图片集中任意两个图片的相似度，记第i个图片和第j个图片的相似度为su，其构成的图片相似度矩阵记为S;步骤S202:求取图片相似度矩阵S的拉普拉斯矩阵，记为Lsym。[0064]进一步地，在本发明的一个实施例中，步骤S202具体为：[0065]计算[0066]图片相似度矩阵S的拉普拉斯矩阵[0067]步骤S3:通过加权相似度度量构建损失函数。[0068]进一步地，在本发明的一个实施例中，步骤S3包括以下步骤：[0069]步骤S301:使用加权相似度度量方法补偿正负训练样本的不平衡，通过相似度计算训练图片集中任意两个图片的加权相似度，记第i个图片和第j个图片的加权相似度为美，其构成的加权相似度矩阵记为[0070]步骤S302:对于训练图片集任意图片i与j，根据离散输出特征bi与bj，构建损失函数：[0072]步骤S303:对训练图片集中所有样本对求和，构建损失函数：[0074]损失函数矩阵形式为：[0076]其中，，D为对角阵，且对角元素[0077]步骤S304:定义差异量Λ=B-H，根据泰勒级数，损失函数在实值输出特征H处展开如下：[0079]其中，若实值输出特征H与差异量Δ按列方式连接各元素，则及是实值输出特征H的第i列向量，表是差异量A的第i列向量；[0080]步骤S305:根据步骤S304的展开形式，步骤S303中损失函数即为：[0082]步骤S306:结合步骤S303与步骤S305,关于实值输出特征H与差异量Δ构建损失函数：[0084]其中，（Η+Λe{-1，1}ηΧ1，其中λ^λ2为高阶展开权重。[0085]进一步地，在本发明的一个实施例中，步骤S301具体为：[0086]对于训练图片集任意图片i与j，根据相似度Slj计算加权相似度：[0088]为确保相似度量中，相似图片对相似度为正值，非相似图片对相似度为负值，令0〈β〈1，若β=0.5，则通过0.5倍放缩得到原相似度，未使用加权相似度度量方法。[0089]步骤S4:通过损失函数对实值输出特征求导，固定差异量更新实值输出特征，同时更新网络参数。[0090]进一步地，在本发明的一个实施例中，步骤S4包括以下步骤：[0091]步骤S401:固定差异量，关于实值输出特征构建损失函数：[0093]步骤S402:固定差异量，计算损失函数对实值输出特征求导：[0095]步骤S403:根据随机梯度下降法更新实值输出特征与网络参数。[0096]步骤S5:通过损失函数对差异量求导，固定实值输出特征更新差异量。[0097]进一步地，在本发明的一个实施例中，步骤S5包括以下步骤：[0098]步骤S501:固定实值输出特征，关于差异量构建损失函数：[0099]，满足[0100]步骤S502:固定实值输出特征，计算损失函数对差异量求导：[0102]步骤S503:更新差异量Δ。[0103]进一步地，在本发明的一个实施例中，步骤S503具体为：[0104]根据.迭代更新差异量。[0105]步骤S6:增大高阶展开权重，并依照步骤S3与步骤S4且结合损失函数持续更新实值输出特征与网络参数，直到训练结束。[0106]进一步地，在本发明的一个实施例中，步骤S6包括以下步骤:步骤S601:增大高阶展开权重11与12;步骤S602:依照步骤S4与步骤S5，结合损失函数持续更新实值输出特征与网络参数，直到训练结束。[0107]根据本发明实施例提出的基于二值特征的大规模图像检索算法，通过将哈希学习中原始的二值优化问题转变为对哈希函数可导的优化问题，解耦了哈希学习中的二值约束和相似度保持目标，使得转换后的问题可以通过简单的交互迭代框架进行优化求解，并且通过加权相似度度量方法，有效补偿输入数据对中的正负训练样本不平衡带来的问题，有效解决训练得到的哈希函数和实际使用的哈希函数之间存在不一致的问题，提高检索精度。[0108]在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。[0109]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。[0110]在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体;可以是机械连接，也可以是电连接;可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。[0111]在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。[0112]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。[0113]尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

权利要求：1.一种基于二值特征的大规模图像检索算法，其特征在于，包括以下步骤：步骤SI:初始化神经网络参数，并根据训练图片集初始化实值输出特征；步骤S2:根据所述训练图片集构建图片相似度矩阵，并构建拉普拉斯矩阵；步骤S3:通过加权相似度度量构建损失函数；步骤S4:通过所述损失函数对实值输出特征求导，固定差异量更新所述实值输出特征，同时更新网络参数；步骤S5:通过所述损失函数对差异量求导，固定所述实值输出特征更新所述差异量；以及步骤S6:增大高阶展开权重，并依照所述步骤S3与所述步骤S4且结合所述损失函数持续更新所述实值输出特征与所述网络参数，直到训练结束。2.根据权利要求1所述的基于二值特征的大规模图像检索算法，其特征在于，所述步骤Sl进一步包括：步骤SlOl:初始化神经网络参数；步骤S102:使用所述初始化的神经网络获取训练图片集中图片的实值输出特征，并将所述实值输出特征作为所述初始实值输出特征H与离散输出特征B=sgnH，并以所述离散输出特征B作为图片哈希码。3.根据权利要求1所述的基于二值特征的大规模图像检索算法，其特征在于，所述步骤S2包括以下步骤：步骤S201:通过二值相似度函数，计算所述训练图片集中任意两个图片的相似度，记第i个图片和第j个图片的相似度为其构成的图片相似度矩阵记为S;步骤S202:求取所述图片相似度矩阵S的拉普拉斯矩阵，记为Lsym。4.根据权利要求3所述的基于二值特征的大规模图像检索算法，其特征在于，所述步骤S202具体为：计算，L=D-S;所述图片相似度矩阵S的拉普拉斯矩阵..5.根据权利要求2或3所述的基于二值特征的大规模图像检索算法，其特征在于，所述步骤S3包括以下步骤：步骤S301:使用加权相似度度量方法补偿正负训练样本的不平衡，通过所述相似度计算所述训练图片集中任意两个图片的加权相似度，记第i个图片和第j个图片的加权相似度为％，其构成的加权相似度矩阵记为犮:;步骤S302:对于所述训练图片集任意图片i与j，根据所述离散输出特征匕与匕，构建损失函数：步骤S303:对所述训练图片集中所有样本对求和，构建损失函数：所述损失函数矩阵形式为：其中，，D为对角阵，且对角元素；步骤S304:定义差异量Δ=Β-Η，根据泰勒级数，所述损失函数在实值输出特征H处展开如下：其中，若实值输出特征H与差异量△按列方式连接各元素，则I是实值输出特征H的第i列向量，^是差异量Δ的第i列向量；步骤S305:根据所述步骤S304的展开形式，所述步骤S303中所述损失函数即为：步骤S306:结合所述步骤S303与所述步骤S305,关于所述实值输出特征H与差异量Δ构建所述损失函数：其中，（Η+Δe{-1，1ΓΧ1，其中λ^λ2为高阶展开权重。6.根据权利要求5所述的基于二值特征的大规模图像检索算法，其特征在于，所述步骤S301具体为：对于所述训练图片集任意图片i与j，根据所述相似度Slj计算加权相似度：为确保相似度量中，所述相似图片对所述相似度为正值，非相似图片对所述相似度为负值，令〇〈β〈1，若β=〇.5，则通过0.5倍放缩得到原相似度，未使用加权相似度度量方法。7.根据权利要求5或6所述的基于二值特征的大规模图像检索算法，其特征在于，所述步骤S4包括以下步骤：步骤S401:固定差异量，关于所述实值输出特征构建所述损失函数：步骤S402:固定差异量，计算所述损失函数对所述实值输出特征求导：步骤S403:根据随机梯度下降法更新实值输出特征与网络参数。8.根据权利要求7所述的基于二值特征的大规模图像检索算法，其特征在于，所述步骤S5包括以下步骤：步骤S501:固定所述实值输出特征，关于差异量构建损失函数：.，满足Η+Δe{-l，l}nX1;步骤S502:固定实值输出特征，计算所述损失函数对差异量求导：步骤S503:更新差异量Δ。9.根据权利要求8所述的基于二值特征的大规模图像检索算法，其特征在于，所述步骤S503具体为：根据'迭代更新差异量。10.根据权利要求8所述的基于二值特征的大规模图像检索算法，其特征在于，所述步骤S6包括以下步骤：步骤S601:增大高阶展开权重11与入2;步骤S602:依照所述步骤S4与所述步骤S5,结合所述损失函数持续更新实值输出特征与网络参数，直到训练结束。

百度查询： 清华大学 基于二值特征的大规模图像检索算法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD