申请/专利权人：北京工业大学

申请日：2021-01-08

公开（公告）日：2024-04-16

公开（公告）号：CN112699954B

主分类号：G06V10/74

分类号：G06V10/74;G06V10/762;G06V10/44;G06V10/46;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.05.11#实质审查的生效;2021.04.23#公开

摘要：本发明公开了一种基于深度学习和词袋模型的闭环检测方法，将VGG16网络提取的多个含有语义信息的特征图作为多个语义描述子代替ORB描述子传给词袋模型，使提取的特征更适用于闭环检测；构建词袋模型的单词表，用K‑means对前面提取的语义特征描述子进行聚类运算，获得聚类的中心从而当做词袋模型的单词表；提取该算法下的特征向量，利用VGG网络，从每幅图像中提取很多个语义描述子，这些语义描述子都用单词表中的单词近似代替，通过统计单词表中每个单词在图像中出现的次数；最后利用特征向量计算相似度矩阵。本发明在数据集上实验表明,相较于传统的视觉词袋模型方法,该算法具有更强的泛化性,可以在闭环检测中达到更高的准确率。

主权项：1.一种基于深度学习和词袋模型的闭环检测方法，其特征在于包括以下步骤：步骤1，语义特征描述子的提取；基于预训练的VGG16卷积神经网来提取特征，将conv5_3后的512个含有语义信息的特征图当做512个语义特征描述子；CNN模型由3层类型组成：5个卷积层、5个最大池化层和3个完全连接的层最大池化层为相关特征提供平移不变性并同时减小其尺寸；步骤2，构建词袋模型的单词表，利用K-Means算法构造单词表；聚类中心有K个，码本的长度也就为k，计算每一幅图像的每一个语义特征描述子到这K个视觉词的距离，并将其映射到距离最近的视觉词中即将该视觉词的对应词频+1；完成这一步后，每一幅图像就变成了一个与视觉词序列相对应的词频矢量；步骤3，提取该算法下的特征向量，利用单词表的中词汇表示图像；利用VGG网络，从每幅图像中提取很多个语义特征描述子，这些语义特征描述子用单词表中的单词近似代替，通过统计单词表中每个单词在图像中出现的次数，将图像表示成为一个d＝800维数值向量，用如下表示： 上述公式中等式右边是有d个维度实数的向量这个向量是用来表示图像的，类似人脸识别，将人脸抽象成一个特征下向量，用以下一步量化误差；归一化为： 上述公式右边进行单位化操作，将每一个元素除以自身的二范数对特征向量进行单位化，为后面的相似性计算做预处理；将这些特征映射到为码本矢量、码本矢量归一化，最后计算其与训练码本的距离，对应最近距离的训练图像认为与测试图像匹配；步骤4，构建时间约束；在检测当前图像所代表的地理位置曾经是否到达过时，需要将当前图像与数据库中的所有历史图像进行相似度比较，采取将时间间隔转换成图像数量的方式减少闭环检测误判断；步骤5，利用特征向量计算相似度矩阵，视觉SLAM闭合检测问题的关键部分是估计帧图像之间的相似性；将最终特征向量表示，用向量的余弦距离来测量图像之间的相似度；为测量使用归一化距离来获得得分值位于[0，1]中；通过收集相似度矩阵中成对图像的相似度得分，相似度矩阵中第i行第j列的值代表图像i与图像j的相似性得分；差异性计算公式如下： 上面的Di,j表示第i张图片与j张图片的差异，这个值越大，表明这俩个图片对应的俩个场景的差异越大；表示第i张图片的特征向量，表示第j张图片的特征向量，除以自己的二范数是前面提到的单位化，单位化的俩个向量相减求模得到的标量表示俩张图片的差异，Di,j这个值越大差异性越大；因为相似性指的是俩张图片的越相似其值越大，与差异性成反比，所有相似性公式如下： 步骤6，判断是否闭环；如果相似性分数大于特定阈值，将其视为检测到闭环；如果相似性分数低于特定的阈值时则认为还没有闭环，物理意义就是还没有达到之前来过的地方。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于深度学习和词袋模型的闭环检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD