申请/专利权人：武汉大学

申请日：2022-05-05

公开（公告）日：2024-04-30

公开（公告）号：CN114972506B

主分类号：G06T7/73

分类号：G06T7/73;G06V10/762;G06V10/774;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2022.09.16#实质审查的生效;2022.08.30#公开

摘要：本发明提出了一种基于深度学习和街景图像的图像定位方法，为了提取图像中具有地理位置信息的图像特征，构建了基于深度学习的特征提取网络，利用地标数据集来提高网络对含有位置信息的特征的权重；然后通过特征聚合方法提取街景图像的聚合特征来提高特征进行匹配时的速度，同时利用特征相似度计算方法来降低重复纹理特征的影响；最后通过核密度估计方法的局部峰值确定待定位图像的地理位置坐标，并可以提高结果中正确位置的坐标排名，从而进一步提高整体定位的准确率，为图像中反映的事件的空间分布和发展趋势分析提供支持。

主权项：1.一种基于深度学习和街景图像的图像定位方法，其特征在于，包括以下步骤：步骤1，街景与待定位图像数据获取与处理；步骤2，生成训练数据集；步骤3，构建特征提取网络：建立一个端到端的深度卷积神经网络来提取街景和待定位图像的特征，网络前一部分由全卷积神经网络组成，负责提取图像的密集特征，在全卷积网络之后加入特征筛选网络模块，所述特征筛选网络模块由平滑层、注意力层和白化层组成，用来对前一部分输出的密集特征进行筛选；步骤4，训练特征提取网络并提取街景的局部图像特征：使用训练数据集对步骤3中的特征提取网络进行训练，在训练数据输入特征提取网络前，根据图像标签随机生成一系列二元组对，每个元组由一个基准图像、一个正样本和若干个负样本组成，训练时，使用损失函数对网络进行迭代优化，直到网络收敛得到特征提取网络模型，通过该模型提取街景图像的局部图像特征；步骤4中，在网络训练时，通过池化方法提取网络的全局池化特征，该特征为1×1×D维，计算方法如下： 其中，v表示网络输出的卷积特征图，wv为注意力层函数计算输出的权重，fv′为网络输出的卷积特征v经过平滑层和白化层后得到的局部特征，H为特征图长度，W为特征图宽度；使用全局池化特征计算网络的损失，其中使用的损失函数表示如下： 其中，d为元组内样本的特征间的欧式距离，y为元组内的样本是否属于同一类，若是则取值为1，反之为0，N为样本个数，margin为设定的阈值；网络每次迭代优化前，根据训练数据的图像标签随机生成一系列二元组对，每个元组由一个基准图像、一个正样本和若干个负样本组成，正样本在同类标签中随机选取，负样本在每次迭代前，先随机选取若干图像提取池化聚合特征作为负样本池，然后与基准图像进行匹配并排序，每个元组在生成时从池中选取前n张与基准图像不同类的图像作为负样本；在提取特征阶段，通过图像缩放提取图像的多尺度特征，直接提取网络的输出，并根据权重值从大到小排序，取前n个局部特征；局部特征权重为注意力层输出的权重值，图像缩放尺度为图像在输入网络时缩放的比例大小，特征描述位置根据全卷积神经网络的感受野大小取特征感受野中心的坐标位置作为特征描述位置；步骤5，生成特征码本并计算聚合特征：随机选取部分街景图像的局部图像特征，设置需要生成的聚类中心数然后进行特征聚类，生成特征码本，根据特征码本，计算待定位图像和所有参考数据集中街景图的聚合特征向量，每张图像对应一个聚合特征；步骤5中，每一张图像生成一个聚合特征，聚合方法将一张图像的n×d维的局部特征聚合为k×d维的聚合特征，其中k为聚类中心数；具体实现方法如下：步骤5.1，随机选取一部分提取的图像特征，设置聚类参数，使用K均值聚类法生成k个聚类中心并构建聚类码本，记为C＝{c1,…,ck}；步骤5.2，在聚合过程中，将一张图像的n个局部特征分别分配到k个聚类中心，对于每张图像的任意一个局部特征，使其分配到与其距离最近的聚类中心，并计算局部特征与聚类中心的残差，表示为：rx＝vi-qx其中，rx表示局部特征与聚类中心的残差，vi表示第i个局部特征，qx表示与局部特征对应的聚类中心；步骤5.3，若一个聚类中心中有多个局部特征，计算该聚类中心的残差并求和，得到1×d维特征，其中计算聚类中心的残差和表示为： 其中，VXc为聚合特征，Xc表示图像X的局部特征在经过特征码本量化后的表达；步骤5.4，将k个聚类中心的特征合并组成k×d维的聚合特征；步骤6，建立倒排索引并进行街景匹配：根据聚合特征和街景图像的一一对应关系，建立用于通过特征来查询街景图像的倒排索引表，将待定位图像的特征向量与街景图像的特征向量进行相似度计算，返回相似度高的街景特征并排序，并根据倒排索引表查询检索得到的街景特征以获得对应的街景图像；步骤6中，建立用于通过特征来查询街景图像的倒排索引表的方法为生成“特征”＝“街景图像”的键值对字典来完成，待定位图像的特征向量与街景图像的特征向量进行相似度计算方法表示为： 其中，SimilarityXc,Yc为图像X和图像Y的相似度取值，VXc为图像X的聚合特征，而σαu为相似度计算函数，u是两个图像在某个聚类中心内特征的点积，sign为符号函数，当u大于零时取1，反之取-1，|u|为u的模，∝和τ均为常数；对于某个待定位图像，计算与所有参考数据集的特征相似度并排序，然后根据倒排索引表根据图像特征查询对应的街景图像，从而获取街景检索结果；步骤7，根据检索结果返回位置坐标：通过核密度估计方法，同时考虑检索结果的经纬度信息和相似度排名来估计空间中相似度分布的峰值，将其作为定位的候选结果，根据峰值大小返回待定位图像的坐标位置；步骤7中，核密度估计方法考虑步骤6中的前N个检索结果，提取分析结果的局部峰值作为定位结果，核密度估计方法表示为： 其中Sxi,yi为步骤6结果中的第i个街景在坐标xi,yi处与查询图像的相似度值，r为查询半径，n指以x,y为圆心，查询半径r范围内的样本数量，通过提取核密度分析的局部峰值并排序，作为位置定位结果。

全文数据：

权利要求：

百度查询： 武汉大学 一种基于深度学习和街景图像的图像定位方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD