申请/专利权人：华中科技大学

申请日：2020-09-10

公开（公告）日：2024-03-22

公开（公告）号：CN112163114B

主分类号：G06F16/583

分类号：G06F16/583;G06F16/55;G06F16/538;G06V10/28;G06V10/46;G06V10/77;G06V10/80;G06V10/82;G06N3/0464;G06N3/08;G06T9/00

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2021.01.19#实质审查的生效;2021.01.01#公开

摘要：本发明公开了一种基于特征融合的图像检索方法，属于图像检索领域，包括：训练特征提取网络；提取训练图像集中各图像的多层语义浮点描述符，并进行哈希学习生成旋转矩阵R；提取图像库中各图像的多层语义浮点描述符，利用R进行旋转之后进行二值化；利用分类网络对图像库中各图像进行分类；对应存储各图像的二值描述符和类概率向量；提取多层语义浮点描述符包括：提取图像的高层语义特征和底层图像特征，并进行融合；高层语义特征包括全局描述符，其提取方式为：将图像缩放至多个不同尺度，利用特征提取网络提取特征并融合；底层图像特征包括SIFT描述符，其提取方式为：提取图像的多个SIFT特征并聚合为VALD。本发明能够构建区分力强且占空间小的描述符。

主权项：1.一种基于特征融合的图像检索方法，其特征在于，包括：模型训练步骤：建立用于提取图像特征的卷积神经网络，并利用训练图像集对其进行训练，得到特征提取网络；多层语义浮点描述符构建步骤：提取图像的至少一种高层语义特征和至少一种底层图像特征，并将所提取的高层语义特征和底层图像特征进行融合，得到图像的多层语义浮点描述符；所述高层语义特征包括全局描述符，所述全局描述符的提取方式为：将所述图像缩放至多个不同尺度，利用所述特征提取网络分别提取缩放后各尺度图像的特征，并融合为所述图像的全局描述符；所述底层图像特征包括SIFT描述符，所述SIFT描述符的提取方式为：提取所述图像的多个SIFT特征，并聚合为局部聚合描述符向量，作为所述图像的SIFT描述符；哈希学习步骤：根据所述多层语义浮点描述符构建步骤提取所述训练图像集中每一幅图像的多层语义浮点描述符，得到浮点描述符集合F，并利用所述浮点描述符集合F进行哈希学习生成旋转矩阵R；描述符库构建步骤：根据所述多层语义浮点描述符构建步骤提取图像库中每一幅图像的多层语义浮点描述符，并利用所述旋转矩阵R进行旋转，将旋转后的多层语义浮点描述符进行二值化，得到图像的二值描述符；利用已训练好的分类网络对所述图像库中的每一幅图像进行分类，得到各图像的类概率向量；对应存储各图像的二值描述符和类概率向量，以构建用于图像检索的描述符库；其中，利用所述浮点描述符集合F进行哈希学习生成旋转矩阵R，包括：S1将所述浮点描述符集合F表示为矩阵形式，并对该矩阵进行正交旋转，得到矩阵X，基于矩阵X设置哈希学习的目标函数如下： 所述哈希学习步骤中，f表示所述目标函数；B表示学到的哈希编码，R表示旋转矩阵，I表示单位矩阵；bi表示B的第i列，对应所述训练图像集中第i幅图像的哈希码，|bi|表示哈希码bi中1的个数；k表示稠密度；||.||1表示L1-范数，||.||2表示L2-范数；为预设的系数；S2初始化旋转矩阵R和哈希编码B；S3根据稠密度k逐列对所述哈希编码B中的列向量进行稀疏化，以保证在的值不增加的情况下，使得所述哈希编码B中的任意一个列向量bi满足|bi|≤k；S4固定所述哈希编码B，令矩阵变量C＝BRT，对所述矩阵变量C进行奇异值分解，分解结果为USVT＝SVDC，按照R＝UVT对所述旋转矩阵R进行更新；其中，SVD表示奇异值分解，U和V表示奇异值分解得到的酉矩阵，S表示奇异值分解得到的半正定的对角矩阵；S5固定所述旋转矩阵R，按照B＝signRX对所述哈希编码B进行更新；其中，sign.表示符号函数；S6迭代执行步骤S3～S5，直至达到预设的最大迭代次数。

全文数据：

权利要求：

百度查询： 华中科技大学 一种基于特征融合的图像检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD