申请/专利权人：全球能源互联网研究院有限公司;东南大学;国家电网公司;国网江苏省电力有限公司电力科学研究院

申请日：2017-11-27

公开（公告）日：2024-03-19

公开（公告）号：CN107967457B

主分类号：G06V20/56

分类号：G06V20/56;G06V10/82;G06V10/764;G06V10/75;G06T7/73

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2020.08.18#实质审查的生效;2018.04.27#公开

摘要：一种适应视觉特征变化的地点识别与相对定位方法及系统，包括：采集室外场景图像；基于所述室外场景图像和预先构建的场景库和场景分类器得到场景识别结果；基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果。本发明采用机器学习技术提高了地点识别的准确性，借助开放大型标注图像数据集上训练的深度卷积神经网络模型来提取图像特征，而非人为地选取某一种固定的特征提取算子，因此特征提取更能适应视觉特征变化的情况。

主权项：1.一种适应视觉特征变化的地点识别与相对定位方法，其特征在于，所述地点识别与相对定位方法包括：采集室外场景图像；基于所述室外场景图像和预先构建的场景库和场景分类器得到场景识别结果；基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果；所述预先构建的环境概要地图、场景库、场景分类器，包括：采集室外场景图像样本；基于所述室外场景图像样本构建环境概要地图和场景库；基于所述场景库训练得到的至少一种不同结构的深度卷积神经网络模型；基于所述深度卷积神经网络模型构造场景分类器；所述采集室外场景图像样本，包括：针对运行现场环境，基于作业环境采集至少一个场景图像样本；所述作业环境包括：时段、天气情况、光照条件和季节；所述环境概要地图包括：米制路径信息和环境拓扑信息；所述米制路径信息包括视觉里程计恢复出来的人的行走轨迹信息；所述环境拓扑信息包括：拓扑节点和边；所述拓扑节点包括：所述室外场景图像样本中的场景点、所述场景点的位置、所述场景点对应的一组场景图像和一组深度图像；所述边包括场景点之间的距离；所述场景库包括：环境概要地图中的全部场景点对应的图像。

全文数据：一种适应视觉特征变化的地点识别与相对定位方法及系统技术领域[0001]本发明涉及视觉自定位技术，具体涉及一种适应视觉特征变化的地点识别与相对定位方法及系统。背景技术[0002]移动机器人或者配有穿戴式辅助系统的操作人员需要在自主运动过程确定自身在环境中的位置。在视觉技术得以迅速发展之前，采用激光雷达和惯性测量单元是移动机器人自定位的常用方法。激光雷达在测量环境深度信息时具有很高的可靠性与准确性，同时激光在复杂的电磁干扰环境下依然能保持良好的抗干扰能力，然而激光雷达价格高昂，并且激光雷达提供不了丰富的场景特征信息，不能支持场景识别功能。利用惯性测量单元InertialMeasurementUnit，IMU进行定位也是常见的方法之一，然而这种方法随着系统长时间运行，积分带来的累计误差将会越来越大，因此在大尺度的室外环境下或长时间运行的条件下，IMU难以提供精准的定位结果。[0003]随着计算机视觉以及图像处理等技术的飞速发展，以及视觉传感器制作工艺和性价比的不断提升，视觉传感器凭借其信息量丰富、成本较低、稳定可靠等优势，因而受到广泛的关注与研究。视觉自定位技术在移动机器人、穿戴式系统等领域中逐渐得到广泛应用。双目视觉既能获取环境的特征信息又能利用视差关系恢复出3D场景的深度信息，相较于单目视觉和全景视觉既兼顾了处理速度又包含丰富的场景信息。因此基于双目视觉的定位技术具有成本低廉、配置简单、不依赖人工标签、部署灵活方便以及获取场景信息丰富等特点，也已经初步用于穿戴式辅助引导等典型应用中。已在室内定位和导航中取得成功应用的深度视觉传感器由于在室外强光环境下存在成像失效性，并不适合用于室外定位应用。[0004]在未知环境中，由于先验知识的匮乏和环境的不确定性，使得配有视觉传感器的自主体在行走过程中需要同时定位和创建地图，其关键是需要判断当前位置是否处于已经访问过的环境区域，并以此作为判断是否需要环境更新的依据。而在已建立环境地图的情况下，配有视觉传感器的自主体在行走过程中需要与既有的地图进行比对，判断是否访问了地图里记载的地点，即地点识别PlaceRecognition问题。地点识别技术可以用来进行拓扑定位，判断当前工人所处的场景点位置。[0005]理想情况下，当自主体当前位置与以前访问过的环境区域含有的特征完全相同时，就可以假设它已回到了同一地点。然而实际现场创建的地图与在线使用该地图进行定位，可能相隔很长时间。室外场景在不同光照、天气甚至是跨季节情况下，即便同一地点同一位姿下采集的图像，也可能存在很大的差异。例如植物的外观在夏季和冬季可能呈现出完全不同的表观，道路在冬天可能被积雪覆盖。这成为制约视觉技术用于自定位的瓶颈问题。[0006]以往的视觉定位技术很少考虑这种跨天气季节的地点识别问题。其原因在于，以往方法大多建立在基于特征Feature-based的场景匹配基础上，而所采用的特征又往往是靠经验选取的某一种固定算子来计算像素级线索，例如SIFT特征、SURF特征、0RB特征等，对视觉特征变化并不具备任何适应性。另一种策略是采用基于机器学习Learning_based的场景匹配，例如深度卷积神经网络己经初步用于场景分类、物体识别等领域。发明内容[0007]为了解决现有技术中所存在的上述不足，本发明提供一种适应视觉特征变化的地点识别与相对定位方法及系统。[0008]本发明提供的技术方案是：一种适应视觉特征变化的地点识别与相对定位方法，包括：[0009]采集室外场景图像；[0010]基于所述室外场景图像和预先构建的场景库和场景分类器得到场景识别结果；[0011]基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果。[0012]优选的，所述预先构建的环境概要地图、场景库、场景分类器，包括：[0013]采集室外场景图像样本；[0014]基于所述室外场景图像样本构建环境概要地图和场景库；[0015]基于所述场景库训练得到的至少一种不同结构的深度卷积神经网络模型；[0016]基于所述深度卷积神经网络模型构造场景分类器。[0017]优选的，所述采集室外场景图像样本，包括：[0018]针对运行现场环境，基于作业环境采集至少一个场景图像样本；[0019]所述作业环境包括:时段、天气情况、光照条件和季节。[0020]优选的，所述环境概要地图包括:米制路径信息和环境拓扑信息；[0021]所述米制路径信息包括视觉里程计恢复出来的人的行走轨迹信息；[0022]所述环境拓扑信息包括:拓扑节点和边；[0023]所述拓扑节点包括:所述室外场景图像样本中的场景点、所述场景点的位置、所述场景点对应的一组场景图像和一组深度图像；[0024]所述边包括场景点之间的距离。[0025]优选的，所述基于所述室外场景图像样本构建环境概要地图还包括:对所述环境拓扑信息进行存储管理；_[0026]所述对所述环境拓扑信息进行存储管理，包括:采用邻接表与容器对所述环境拓扑信息进行储存管理。_[0027]优选的，所述采用邻接表与容器对所述环境拓扑信息进行储存管理包括：[0028]所述邻接表中存储所述场景点的编号，并利用权重表示所述场景点到邻接场景点的距离；i[0029]所述容器中存储所述场景点的场景名称、所述场景点的位置、所述场景点对应的一组场景图像和一组深度图像。[0030]优选的，所述场景库包括:环境概要地图中的全部场景点对应的图像。[0031]优选的，所述深度卷积神经网络模型，包括:alexnet模型、模型和g〇〇glenet模型。、、[0032]优选的，所述基于所述深度卷积神经网络模型构造场景分类器，包括：[0033]所述场景分类器由至少一个场景单分类器构成；[0034]所述每个场景单分类器对应一个深度卷积神经网络模型。[0035]优选的，所述预先构建的环境概要地图、场景库、场景分类器，还包括：[0036]基于场景单分类器对所述场景库中的所有图像进行分类，并绘制准确度相似度阈值的关系曲线，所述曲线中的最高点为所述场景单分类器的最佳判断阈值。[0037]优选的，所述基于所述场景图像和预先构建的场景库、场景分类器得到场景识别结果，包括：[0038]采用集成学习法将所述场景单分类器集成，基于最佳判断阈值将所述场景图像与所述场景库中的图像进行匹配；[0039]基于场景单分类器分别计算所述场景图像与场景库中图像的场景匹配结果和相对相似度;对所述场景匹配结果和相对相似度进行比较，得到场景识别结果；[0040]当有至少2个场景单分类器得到的所述场景匹配结果一致时，则场景识别成功；[0041]当场景单分类器得到的所述场景匹配结果都不一致时，若存在场景单分类器的相对相似度最大且大于预设阈值，则场景识别成功;否则场景识别失败；[0042]当场景识别成功时，所述场景库中对应的图像为最终识别结果；[0043]所述相对相似度包括:每个场景单分类器获得的相似度与所述最佳判断阈值的差。[0044]优选的，所述相对定位结果，包括：[0045]当场景识别成功时，从所述预先构建的环境概要地图中获取所述场景库中图像的位置，采用图像特征配准技术对所述场景图像的位置和所述场景库中图像的位置进行相对位姿推算，恢复出匹配结果与场景图像之间的旋转平移矩阵R和平移关系向量T，输出场景所在的位置。[0046]基于同一发明构思，本发明还提供了一种适应视觉特征变化的地点识别与相对定位系统，包括：[0047]采集模块:用于采集室外场景图像；[0048]识别模块:用于基于所述室外场景图像和预先构建场景库和场景分类器得到场景识别结果；[0049]定位模块:用于基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果。[0050]优选的，所述识别模块包括：[0051]采集样本子模块:用于采集室外场景图像样本；[0052]环境概要地图子模块:用于基于所述室外场景图像样本构建环境概要地图和场景库；[0053]训练子模块:用于基于所述场景库训练得到的至少一种不同结构的深度卷积神经网络模型；[0054]构造场景分类器子模块:用于基于所述深度卷积神经网络模型构造场景分类器。[0055]与最接近的现有技术相比，本发明提供的技术方案具有以下有益效果：[0056]1.本发明提供的技术方案，实时采集场景图像和预先构建的环境概要地图、场景库、场景分类器进行匹配，得到场景识别与相对定位结果，提高了地点识别的准确性，提高了对同一场景在不同环境下的识别准确度和定位结果的准确性。[0057]2.本发明提供的技术方案，采用机器学习技术，借助开放大型标注图像数据集上训练的深度卷积神经网络模型来提取图像特征，而非人为地选取某一种固定的特征提取算子，因此特征提取更能适应视觉特征变化的情况。[0058]3•本发明提供的技术方案，在实际运行现场环境中的训练过程中，训练样本涵盖了在不同时段、天气情况、光照条件、甚至季节变换的情况下探索遍历整个作业环境所采集到的场景图像样本，训练得到的场景分类器能够自动计算出最佳判断阈值，从而确保了虽然采用通用模型但是能够最佳地适应实际环境。[0059]4•本发明提供的技术方案，采用集成学习法将训练好的三个场景单分类器集成起来判断场景地点匹配结果，相比仅采用单分类器显著提高了场景地点识别的准确性。附图说明[0060]图1为本发明的整体结构示意图；[0061]图2为本发明的环境概要地图结构示例图；[0062]图3为本发明的环境概要地图中拓扑结构的邻接表存储示意图；[0063]图4为本实施例中的a环境概要地图、（b-d不同天气及光照条件下同一地点对应的不同场景图像。[0064]图5为本发明的三个深度卷积神经网络模型在场景库中的准确度相似度阈值关系曲线图；[0065]图6为本发明的对三个场景单分类器进行集成学习的机制；[0066]图7为本实施例的VPRiCE-dataset数据集上a春季和⑹冬季同一地点场景图像正确匹配结果。具体实施方式[0067]为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的说明。[0068]如图1所示，为本发明的整体结构示意图，本发明包括：[0069]采集场景图像；[0070]基于所述场景图像和预先构建的环境概要地图、场景库、场景分类器得到场景识别与相对定位结果。[0071]本发明的实施，需要利用手持式或穿戴式双目摄像机，但无需利用GPS、激光测距仪等其它传感器。具体实施实例中采用了ZEDCamera双目摄像机一个、笔记本电脑一台。[0072]本实施例具体包括以下步骤：[0073]步骤1:构建环境概要地图和场景库；[0074]针对特定运行现场环境，操作者事先采用手持或穿戴式双目摄像机，在不同时段、天气情况、光照条件和季节变换的情况下探索遍历整个作业环境，采集室外场景图像样本。在遍历作业环境之后，建立环境概要地图。[0075]如图2所示，环境概要地图是包含米制路径信息和环境拓扑信息的混合地图，其中，拓扑节点用于描述环境中的地点，存储了地点的位置以及多次探索访问该地点获取的一组场景图像和一组相应的深度图像;米制路径是由视觉里程计恢复出来的人的行走轨迹。[0076]这种环境概要地图将环境抽象成为一系列节点和边构成的图，其中节点代表室外环境中的场景点，边代表场景点之间的距离。该环境概要地图与一般拓扑地图的最大区别在于，某个节点存储的不仅仅是一次探索所获取某个地点的场景图像，而是不同天气、光照、季节条件下多次探索访问同一地点获取的一组场景图像和一组相应的深度图像。[0077]所创建的环境地图，是采用邻接表与容器两种技术对环境概要地图中的环境拓扑信息进行存储管理。邻接表中只存储节点的场景编号并利用权重表示该节点到邻接节点的距离;容器中存储该节点对应的场景名称、场景所在位置、相应的一组场景图像以及一深度图像。[0078]具体地，考虑到在实际创建环境地图时，环境概要地图中节点间的关联较少，绝大多数的节点只和两侧的节点相连接，即环境概要地图是一张稀疏图，因此采用邻接表的方式可以有效避免对存储空间的浪费。如图3所示，环境概要地图邻接表的示意图，邻接表采用将数组和链表相结合的存储方法，邻接表将拓扑地图中的所有顶点利用数组的形式存储下来，数组指向与它相邻接的点，而每一个顶点及其所有相邻接的点构成一个链表。[0079]由于拓扑地图中的节点信息较多，直接对节点进行邻接表的插入删除等等操作会带来效率上的损失，而在某些应用中通常只需要存储节点与节点之间的距离关系。考虑到这些因素，本发明通过将邻接表与容器相结合的方式对拓扑地图进行存储管理。定义存储在邻接表中只存储节点的场景编号Id并利用权重表示该节点到邻接节点的距离Distance，而将场景编号为Id的节点的更多彳目息场景的名称、场景所在的位置、场景图像以及其深度图像信息存储在容器中。这种方式可以实现多层次的拓扑地图存储管理，提高环境概要地图的使用效率。[0080]进一步，所述的地点位置信息是由双目摄像机视觉里程计获取的。所建立的整个环境中所有地点的所有场景图像构成了场景库。[0081]如图4为某环境下建立环境概要地图和场景库的具体实施实例，其中图4a为某一次探索中操作者的轨迹，图4⑹（cd为不同天气、时段多次访问相同地点采集到的图像。该实例对应的场景库包括query图像1087张，database图像1096张。[0082]步骤2:在场景库中训练得到场景分类器；[0083]在开放大型标注数据集上训练得到三种不同结构的深度卷积神经网络模型。这三种模型包括:使用在imagenet数据集上训练的alexnet模型和在place数据集上训练的vgg、8〇〇8161161：模型，分别将这三种模型记作1111386加1：_31611161：4106_¥88和口13。6_googlenet〇[0084]采用的ImageNet是全球最大的图像识别数据库，其包含了分成了数千个类型、数百万张有标注的图像，可用于训练图像检测和分类等深度神经网络DCNNsoPlaces数据集包括1000万张图像，属于400多不同场景类别，包含各种天气条件和季节变化等情况下同样地点的不同场景图像，反映了不同季节条件下植物、地面等呈现出来的不同视觉特征。[0085]然后用深度卷积神经网络模型提取图像特征，采用余弦相似度作为相似度判断依据构造场景分类器。因此每一种深度卷积神经网络模型对应得到一个场景单分类器。所述的场景分类器就是由这三个场景单分类器组成。使用这三个场景单分类器对所述的场景库中所有图像进行分类，如图5所示，在AccuracyThreshold曲线上找到各个场景单分类器的最佳判断阈值。[0086]步骤3:实时采集当前场景图像。_[0087]在实现训练过的环境中利用与训练时相同的摄像机配置，实时采集当前场景图像，用于地点识别和相对定位。[0088]步骤4:基于当前采景图像、环境概要地图、场景库和场景分类器得到场景识别与相对定位结果。[0089]首先，采用集成学习法将所述的己训练好的三个场景单分类器集成起来，将所述当前采景图像与场景库中的图像进行匹配，得到场景匹配结果。[0090]具体地，如图6所示，将当前采景图像分别送入所述的三个场景单分类器，每个场景单分类器对应得到一个匹配结果及其相对相似度;对三个场景单分类器分别得到的匹配结果和相对相似度进行比较：[0091]设第一个场景单分类器得到匹配结果fl及其相对相似度si，设第二个场景单分类器得到匹配结果f2及其相对相似度s2，设第三个场景单分类器得到匹配结果f3及其相对相似度S3。假设这三个场景单分类器中有n个得到的匹配结果相同，其所得结果是与场景库中的第f帧匹配。当有2或3个结果一致时，所得结果f即判断为最终匹配结果。当3个结果两两不同时，若某个场景单分类器获得的相对相似度最大，且大于一定阈值threshi，则其对应的结果farg_{Sl,S2,s3}为最终匹配结果，否则认为匹配结果不正确。[0092]其中所述的相对相似度，是每个场景单分类器获得的相对相似度与其最佳判断阈值的差。所述相对相似度，是为了解决一张query图像和3张database图像都很相似时，找到其中最为相似的一张。图7为采用该方法在开放VPRiCE-dataset数据集上对春季和冬季同一地点场景图像正确匹配结果。采用集成学习法，相比采用场景单分类器显著提高了场景地点识别的准确性。[0093]然后，当场景匹配结果为正确时，采用图像特征配准技术对所述当前采景图像的位置和所述场景库中图像的位置进行相对位姿推算，恢复出两者之间的旋转平移矩阵R和平移关系向量T，输出当前场景所在的位置。[0094]在实际环境中，当前场景点和与之匹配的地图中某个场景点大致位于同一位置，但是视觉传感器在两次采集的过程中不可能完全保持相同的位姿。为了得到更加精确的定位结果，需要对当前相机采集图像的位置和创建地图时场景库中图像的位置进行相对位姿推算，即通过利用图像特征匹配及配准，恢复出两帧场景图像之间的旋转关系矩阵R和平移向量T。[0095]本实施例采用的配准算法包括粗配准和精配准两步。[0096]假设Ii是当前场景图像，12是与之匹配的场景点图像，实际获取的场景图像与地图库中保存的场景图像具有一定位姿偏差。设以为全局坐标系，XK为相机坐标系。经过由粗到细的配准过程，从两帧匹配的图像重叠区域中找出对应的特征，根据特征点对的成像位置与对应的在世界中的位置来求解相机的位姿变换，即旋转平移矩阵。[0097]粗配准步骤针对SURF特征匹配对采用RANSACRandomSampleConsensus，随机抽样一致算法来剔除外点保留内点，降低数据中异常数据对匹配结果造成的影响，计算两帧图像的位姿变换关系，使得两帧图像的公共区域能够大致重合。[0098]由于从不同角度获得的场景图像，彼此之间仅仅是部分重叠，重叠区域占总体图像特征的比率一般较低，RANSAC算法获得的结果不一定是全局最优，因此细配准步骤采用ICPIterativeClosestPoint，迭代最近点）算法来进行两张图像间的精确配准，通过不断迭代两帧图像的点云图来实现精确地拼合，并得到对应的旋转与平移矩阵R和T。[0099]基于同一发明构思，本实施例还提供了一种适应视觉特征变化的地点识别与相对定位系统，包括：[0100]采集模块:用于采集室外场景图像；[0101]识别模块:用于基于所述室外场景图像和预先构建的场景库和场景分类器得到场景识别结果；[0102]定位模块:用于基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果。[0103]实施例中，所述识别模块包括：[0104]采集样本子模块:用于采集室外场景图像样本；[0105]环境概要地图子模块:用于基于所述室外场景图像样本构建环境概要地图和场景库；[0106]训练子模块:用于基于所述场景库训练得到的至少一种不同结构的深度卷积神经网络模型；[0107]构造场景分类器子模块:用于基于所述深度卷积神经网络模型构造场景分类器。[0108]实施例中，所述采集样本子模块包括：[0109]采集样本单元：用于针对运行现场环境，基于作业环境采集至少一个场景图像样本;所述作业环境包括:时段、天气情况、光照条件和季节。[0110]实施例中，所述环境概要地图子模块包括：[0111]米制路径信息单元:用于由视觉里程计恢复出来的人的行走轨迹信息；[0112]拓扑节点单元:用于所述室外场景图像样本中的场景点、所述场景点的位置、所述场景点对应的一组场景图像和一组深度图像；[0113]边单元:用于记录场景点之间的距离；_[0114]管理单元:用于采用邻接表与容器对所述环境拓扑信息进行储存管理。[0115]所述训练子模块包括：[0116]训练单元:用于训练alexnet模型、vgg模型和googlenet模型。[0117]实施例中，所述场景分类器子模块包括：[0118]场景单分类器单元:用于由至少一个场景单分类器构成所述场景分类器;所述每个场景单分类器对应一个深度卷积神经网络模型。[0119]实施例中，所述识别模块还包括：[0120]分类子模块：用于基于场景单分类器对所述场景库中的所有图像进行分类，并绘制准确度相似度阈值的关系曲线，所述曲线中的最高点为所述场景单分类器的最佳判断阈值。[0121]实施例中，所述分类子模块包括：[0122]匹配单元：用于采用集成学习法将所述场景单分类器集成，基于最佳判断阈值将所述场景图像与所述场景库中的图像进行匹配；[0123]比较单元:用于基于场景单分类器分别计算所述场景图像与场景库中图像的场景匹配结果和相对相似度;对所述场景匹配结果和相对相似度进行比较，得到场景识别结果；当有至少2个场景单分类器得到的所述场景匹配结果一致时，则场景识别成功；当场景单分类器得到的所述场景匹配结果都不一致时，若存在场景单分类器的相对相似度最大且大于预设阈值，则场景识别成功;否则场景识别失败；当场景识别成功时，所述场景库中对应的图像为最终识别结果；[0124]计算单元：用于计算相对相似度，所述相对相似度为每个场景单分类器获得的相似度与所述最佳判断阈值的差；[0125]相对定位单元：用于当场景识别成功时，从所述预先构建的环境概要地图中获取所述场景库中图像的位置，采用图像特征配准技术对所述场景图像的位置和所述场景库中图像的位置进行相对位姿推算，恢复出匹配结果与场景图像之间的旋转平移矩阵R和平移关系向量T，输出场景所在的位置。[Q126]本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式D[0127]本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和或方框图来描述的。应理解可由计算机程序指令实现流程图和或方框图中的每一流程和或方框、以及流程图和或方框图中的流程和或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能的装置。[0128]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能。~[0129]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能的步骤。[0130]以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

权利要求：1.一种适应视觉特征变化的地点识别与相对定位方法，其特征在于，所述地点识别与相对定位方法包括：采集室外场景图像；基于所述室外场景图像和预先构建的场景库和场景分类器得到场景识别结果；基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果。2.如权利要求1所述的地点识别与相对定位方法，其特征在于，所述预先构建的环境概要地图、场景库、场景分类器，包括：采集室外场景图像样本；基于所述室外场景图像样本构建环境概要地图和场景库；基于所述场景库训练得到的至少一种不同结构的深度卷积神经网络模型；基于所述深度卷积神经网络模型构造场景分类器。3.如权利要求2所述的地点识别与相对定位方法，其特征在于，所述采集室外场景图像样本，包括：针对运行现场环境，基于作业环境采集至少一个场景图像样本；所述作业环境包括:时段、天气情况、光照条件和季节。4.如权利要求2所述的地点识别与相对定位方法，其特征在于，所述环境概要地图包括:米制路径信息和环境拓扑信息；所述米制路径信息包括视觉里程计恢复出来的人的行走轨迹信息；所述环境拓扑信息包括:拓扑节点和边；所述拓扑节点包括:所述室外场景图像样本中的场景点、所述场景点的位置、所述场景点对应的一组场景图像和一组深度图像；所述边包括场景点之间的距离。5.如权利要求4所述的地点识别与相对定位方法，其特征在于，所述基于所述室外场景图像样本构建环境概要地图还包括:对所述环境拓扑信息进行存储管理；所述对所述环境拓扑信息进行存储管理，包括:采用邻接表与容器对所述环境拓扑信息进行储存管理。6.如权利要求5所述的地点识别与相对定位方法，其特征在于，所述采用邻接表与容器对所述环境拓扑信息进行储存管理包括：所述邻接表中存储所述场景点的编号，并利用权重表示所述场景点到邻接场景点的距离；所述容器中存储所述场景点的场景名称、所述场景点的位置、所述场景点对应的一组场景图像和一组深度图像。7.如权利要求4所述的地点识别与相对定位方法，其特征在于，所述场景库包括:环境概要地图中的全部场景点对应的图像。8.如权利要求2所述的地点识别与相对定位方法，其特征在于，所述深度卷积神经网络模型，包括:alexnet模型、vgg模型和googlenet模型。9.如权利要求8所述的地点识别与相对定位方法，其特征在于，所述基于所述深度卷积神经网络模型构造场景分类器，包括：所述场景分类器由至少一个场景单分类器构成；所述每个场景单分类器对应一个深度卷积神经网络模型。10.如权利要求2所述的地点识别与相对定位方法，其特征在于，所述预先构建的环境概要地图、场景库、场景分类器，还包括：基于场景单分类器对所述场景库中的所有图像进行分类，并绘制准确度相似度阈值的关系曲线，所述曲线中的最高点为所述场景单分类器的最佳判断阈值。11.如权利要求1〇所述的地点识别与相对定位方法，其特征在于，所述基于所述场景图像和预先构建的场景库和场景分类器得到场景识别结果，包括：采用集成学习法将所述场景单分类器集成，基于最佳判断阈值将所述场景图像与所述场景库中的图像进行匹配；基于场景单分类器分别计算所述场景图像与场景库中图像的场景匹配结果和相对相似度;对所述场景匹配结果和相对相似度进行比较，得到场景识别结果；当有至少2个场景单分类器得到的所述场景匹配结果一致时，则场景识别成功；当场景单分类器得到的所述场景匹配结果都不一致时，若存在场景单分类器的相对相似度最大且大于预设阈值，则场景识别成功;否则场景识别失败；当场景识别成功时，所述场景库中对应的图像为最终识别结果；所述相对相似度包括:每个场景单分类器获得的相似度与所述最佳判断阈值的差。12.如权利要求11所述的地点识别与相对定位方法，其特征在于，所述基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果，包括：当场景识别成功时，从所述预先构建的环境概要地图中获取所述场景库中图像的位置，采用图像特征配准技术对所述场景图像的位置和所述场景库中图像的位置进行相对位姿推算，恢复出匹配结果与场景图像之间的旋转平移矩阵R和平移关系向量T，输出场景所在的位置。13.—种适应视觉特征变化的地点识别与相对定位系统，其特征在于，所述地点识别与相对定位系统包括：米集検块:用于米集室外场景图像；识别模块:用于基于所述室外场景图像和预先构建场景库和场景分类器得到场景识别结果；定位模块：用于基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果。14.如权利要求13所述的地点识别与相对定位系统，其特征在于，所述识别模块包括：采集样本子模块:用于采集室外场景图像样本；环境概要地图子模块:用于基于所述室外场景图像样本构建环境概要地图和场景库；训练子模块:用于基于所述场景库训练得到的至少一种不同结构的深度卷积神经网络模型；构造场景分类器子模块:用于基于所述深度卷积神经网络模型构造场景分类器。

百度查询： 全球能源互联网研究院有限公司;东南大学;国家电网公司;国网江苏省电力有限公司电力科学研究院 一种适应视觉特征变化的地点识别与相对定位方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD