申请/专利权人：联想(北京)有限公司

申请日：2017-03-24

公开（公告）日：2020-07-24

公开（公告）号：CN106959691B

主分类号：G05D1/02(20200101)

分类号：G05D1/02(20200101)

优先权：

专利状态码：有效-授权

法律状态：2020.07.24#授权;2017.08.11#实质审查的生效;2017.07.18#公开

摘要：公开了可移动电子设备和即时定位与地图构建方法。可移动电子设备包括：图像采集单元，用于采集图像；点云获取单元，基于所采集的图像，获取点云数据；即时定位与地图构建单元，用于基于所述点云数据在未知环境下进行即时定位与地图构建；以及标识提取单元，分析所述图像采集单元采集的图像，并判断所述图像中是否包含标识空间中的一物体的标识信息，当所述图像中包含所述标识信息时，提取所述标识信息中包含的空间位置信息，并将提取出的空间位置信息提供给所述即时定位与地图构建单元，其中所述即时定位与地图构建单元在所述空间位置信息的基础上执行即时定位与地图构建处理的运算量小于直接基于点云数据执行即时定位与地图构建处理的运算量。

主权项：1.一种可移动电子设备，包括：图像采集单元，用于采集图像；点云获取单元，用于基于所采集的图像，获取点云数据；即时定位与地图构建单元，用于基于所述点云数据在未知环境下进行即时定位与地图构建；以及标识提取单元，用于分析所述图像采集单元采集的图像，并判断所述图像中是否包含标识空间中的一物体的标识信息，当所述图像中包含所述标识信息时，提取所述标识信息中包含的空间位置信息，并将提取出的空间位置信息提供给所述即时定位与地图构建单元，其中所述即时定位与地图构建单元在所述空间位置信息的基础上执行即时定位与地图构建处理的运算量小于直接基于点云数据执行即时定位与地图构建处理的运算量，其中所述空间位置信息包含所述物体的空间体积信息。

全文数据：可移动电子设备和即时定位与地图构建方法技术领域[0001]本发明涉及即时定位与地图构建领域，更具体地，涉及能够降低即时定位与地图构建中的运算量的可移动电子设备和即时定位与地图构建方法。背景技术[0002]即时定位与地图构建（SimultaneousLocalizationandMapping，SLAM是目前在机器人定位方面的热门研究课题。所谓SLAM就是将移动机器人定位与环境地图创建融为一体，即机器人在运动过程中根据自身位姿估计和传感器对环境的感知构建增量式环境地图，同时利用该地图实现自身的定位。[0003]另外，由于计算机图像处理技术的飞速发展，机器人视觉的研宄也取得了长足进步。视觉传感器由于其价格低廉、信息丰富等优点很快在机器人领域得到了广泛的运用，于是基于视觉的即时定位与地图构建V-SLAM技术应运而生。[0004]V-SLAM视觉SLAM指在室内环境下，用摄像机、Kinect等深度相机来做导航和探索。其工作原理简单来说就是对机器人周边的环境进行光学处理，先用3D摄像头进行图像信息采集，对采集的信息深度信息和图像信息进行预处理，获取3D点云数据，然后将当前获得的3D点云数据与之前的数据进行匹配和融合，完成地图的增量式构建以及机器人的自主导航定位功能。[0005]视觉处理技术是机器人基于视觉进行导航的前提。视觉是最接近于人类的感知方式，能够提供丰富的环境信息和特征，为应用现代数字技术解决机器人定位问题提供了良好的信息来源。但是丰富的信息也给视觉定位带来了很多的问题。比如图像处理的计算量非常大，而且很多应用往往都有实时性的要求，即使计算机运算速度很快，但是在处理图像数据上仍然往往是不够的。[0006]一种可能的解决方案是对地图和采集数据进行稀疏化，以降低V-SLAM中识别匹配地图的运算量。但是稀疏化之后，识别率和反应速度都大大降低。发明内容[0007]鉴于以上情形，期望提供能够降低SLAM中识别匹配地图的运算量的可移动电子设备和即时定位与地图构建方法。[0008]根据本发明的一个方面，提供了一种可移动电子设备，包括：图像采集单元，用于采集图像;点云获取单元，用于基于所采集的图像，获取点云数据；即时定位与地图构建单元，用于基于所述点云数据在未知环境下进行即时定位与地图构建；以及标识提取单元，用于分析所述图像采集单元采集的图像，并判断所述图像中是否包含标识空间中的一物体的标识信息，当所述图像中包含所述标识信息时，提取所述标识信息中包含的空间位置信息，并将提取出的空间位置信息提供给所述即时定位与地图构建单元，其中所述即时定位与地图构建单元在所述空间位置信息的基础上执行即时定位与地图构建处理的运算量小于直接基于点云数据执行即时定位与地图构建处理的运算量。[0009]优选地，在根据本发明实施例的可移动电子设备中，所述标识信息可以为二维码。[0010]优选地，在根据本发明实施例的可移动电子设备中，所述标识信息可以被放置在所述物体的特征点位置上。[0011]优选地，在根据本发明实施例的可移动电子设备中，所述空间位置信息可以包含所述物体的空间体积信息以及关于所述特征点的位置信息。[0012]根据本发明的另一方面，提供了一种即时定位与地图构建方法，应用于一可移动电子设备，包括:采集图像;基于所采集的图像，获取点云数据;分析所采集的图像，并判断所述图像中是否包含标识空间中的一物体的标识信息，当所述图像中包含所述标识信息时，提取所述标识信息中包含的空间位置信息;基于所述点云数据和所述空间位置信息在未知环境下进行即时定位与地图构建，其中在所述空间位置信息的基础上执行即时定位与地图构建处理的运算量小于直接基于点云数据执行即时定位与地图构建处理的运算量。[0013]优选地，在根据本发明实施例的即时定位与地图构建方法中，所述标识信息可以为二维码。[0014]优选地，在根据本发明实施例的即时定位与地图构建方法中，所述标识信息可以被放置在所述物体的特征点位置上。[0015]优选地，在根据本发明实施例的即时定位与地图构建方法中，所述空间位置信息可以包含所述物体的空间体积信息以及关于所述特征点的位置信息。[0016]在根据本发明实施例的可移动电子设备和即时定位与地图构建方法中，由于可以提取标识空间中的物体的空间位置信息，且该空间位置信息是关于所述物体的准确信息，因此可以省略建图过程中运算量巨大的平面拟合、帧间匹配、坐标系变换、数据融合等处理，从而在保证V-SLAM算法的精度的前提下，大幅度地减少了即时定位与地图构建的复杂度。附图说明[0017]图1是图示根据本发明实施例的可移动电子设备的配置的功能性框图；以及[0018]图2是图示根据本发明实施例的即时定位与地图构建方法的过程的流程图。具体实施方式[0019]下面将参照附图对本发明的各个优选的实施方式进行描述。提供以下参照附图的描述，以帮助对由权利要求及其等价物所限定的本发明的示例实施方式的理解。其包括帮助理解的各种具体细节，但它们只能被看作是示例性的。因此，本领域技术人员将认识到，可对这里描述的实施方式进行各种改变和修改，而不脱离本发明的范围和精神。而且，为了使说明书更加清楚简洁，将省略对本领域熟知功能和构造的详细描述。[0020]首先，将参照图1描述根据本发明实施例的可移动电子设备。所述可移动电子设备通常为一室内轮式机器人。如图1所示，包括：图像采集单元101、点云获取单元102、即时定位与地图构建单元103和标识提取单元104。[0021]图像采集单元1〇1用于采集图像。这里，图像采集单元101可以是二维RGB相机。或者，更优选地，图像采集单元也可以是三维RGB相机。例如，可以采用Kinect相机作为图像采集单元101jinect是一种简单、廉价、方便的主动传感器，能够快速获取环境的彩色RGB信息与深度信息，且不受光谱的影响。[0022]点云获取单元102基于所采集的图像，获取点云数据。例如，在所述图像采集单元101为Kinect相机的情况下，所采集的图像可以包括环境的RGB图像以及深度图像。点云获取单元102基于RGB图像和深度图像，能够计算并确定图像中每一个点的三维位置。[0023]即时定位与地图构建单元1〇3基于所述点云数据在未知环境下进行即时定位与地图构建。[0024]在V-SLAM中，存在两种坐标系:机器人坐标系和全局坐标系。机器人的位姿是指它在全局坐标系下的绝对坐标，例如二维环境中记为X=x，y，z，0，其中x，y，z表示在全局坐标系下的坐标，e表示在该点的姿态或，视角）。在初始状态下,机器人坐标系与全局坐标系重合。移动机器人在场景中运动，不需要任何先验知识，利用双目立体视觉来感知周围环境信息，并提取稳定的图像特征点来表征3D空间实际物理点，以此作为自然路标，来构建环境的几何地图，同时通过与当前时刻之前所创建的环境地图（自然路标库）中的路标进行匹配，估计机器人当前位姿并更新自然路标库，从而实现移动机器人的V-SLAM过程。[0025]简单来讲，V-SLAM过程就是这样的过程:首先，在时间上先后获得的两帧点云数据中提取特征点并进行特征点匹配，进而得到一组匹配的特征点。然后，基于匹配的特征点，就可以计算两个图像间的转换关系。最后，基于所述转换关系，就可以将最近得到的机器人坐标系下的环境地图转换并添加到之前的全局坐标系下的环境地图中，从而实现增量式的环境地图构建。[0026]在本领域中，存在实现V-SLAM的多种算法。由于本发明所关注的重点不在于V-SLAM的具体方式，因此为了避免冗余起见，在本说明书中不再对现有的各种V-SLAM算法进行详细描述。并且，本领域的技术人员可以理解，现有技术中的任意一种V-SLAM算法都可以适当地应用本发明来降低运算量。[0027]标识提取单元104分析所述图像采集单元102采集的图像，并判断所述图像中是否包含标识空间中的一物体的标识信息，当所述图像中包含所述标识信息时，提取所述标识信息中包含的空间位置信息，并将提取出的空间位置信息提供给所述即时定位与地图构建单元103。[0028]其中，所述即时定位与地图构建单元103在所述空间位置信息的基础上执行即时定位与地图构建处理的运算量小于直接基于点云数据执行即时定位与地图构建处理的运舁里。[0029]也就是说，如果标识提取单元104能够从采集的图像中检测到标识空间中的一物体的标识信息，进而提取出所述标识信息中包含的该物体的空间位置信息，那么即时定位与地图构建单元103就可以利用得到的该物体的空间位置信息，并结合点云数据，从而得到该物体上各个面，而不用大量计算该物体的深度信息和图像信息。具体来说，在获取的点云数据中，基于该物体的特征点（如，各角点处的三维位置信息，并结合该物体的空间位置信息，可以直接确定该物体的各个面，无需对点云数据中的大量点进行平面拟合、执行帧间匹配、机器人坐标系和全局坐标系间的转换以及融合。相比之下，在不能利用该物体的空间位置信息的情况下，即时定位与地图构建单元103需要将获取的点云数据拟合为平面，执行两个帧之间点或平面的匹配转换以及融合，这无疑是计算量巨大的。[0030]例如，作为一种应用最广泛的实施方式，所述标识信息可以是二维码信息。标识提取单元104通过扫描所述图像采集单元102拍摄的RGB图像来提取其中包括的二维码图像。并且，基于所述二维码图像来进一步提取其中包含的空间位置信息。[0031]优选地，所述标识信息可以被放置在所述物体的特征点位置上。所述物体可以是诸如冰箱、沙发、桌子、橱柜等外形规则的非镂空物体。并且可以将所述标识信息放置在物体的能够被拍摄到的各个角点。[0032]为了便于理解，在下文中，以冰箱为例进行描述。例如，如果冰箱靠墙角放置，那么可以将标识信息放置在除了与墙角贴合的上下两个角点之外的其他角点。[0033]所述空间位置信息可以包含冰箱的空间体积信息。例如，所述空间体积信息为冰箱的长宽高信息。[0034]另外，如上文中所述，在将所述标识信息放置在冰箱的特征点位置上的情况下，除了冰箱的空间体积信息之外，所述空间位置信息还可以进一步包括关于所述特征点的位置信息。这里，关于特征点的位置信息可以表示所述特征点在冰箱上的位置的信息，如顶部角点1、顶部角点2、顶部角点3、顶部角点4、底部角点1、底部角点2、底部角点3、底部角点4。也就是说，不同特征点处的标识信息中所包含的空间位置信息由两部分组成:一部分是共同的整个冰箱的空间体积信息，而另一部分是不同的特征点的位置信息。[0035]当所述标识提取单元103检测到位于冰箱的两个底部角点处的两个标识信息时，即时定位与地图构建单元103基于点云获取单元102计算出的这两个特征点的机器人坐标系下的三维坐标数据、空间位置信息中包含的特征点的位置信息以及冰箱的长宽高信息，可以直接确定冰箱的各个面在机器人坐标系下的位置信息，省去了平面拟合、匹配、融合等过程，从而大大减少了计算量。[0036]当然，可以将标识信息放置在冰箱的更多角点上，而不限于两个。并且，点云获取单元102可以计算检测到多个标识信息所位于的多个特征点的机器人坐标系下的三维坐标数据，即时定位与地图构建单元103基于特征点的三维坐标数据并结合标识信息中包含的空间位置信息中多个特征点的位置信息以及冰箱的长宽高信息，直接在机器人坐标系下建图冰箱的所有面和点。[0037]另外，上文中描述了诸如冰箱这样的非镂空物体的情况。当然，本发明并不仅限于此。本发明还可以类似地应用于镂空物体。在这种情况下，需要在空间位置信息中进一步包括诸如有关镂空面的信息。即时定位与地图构建单元103可以基于多个标识信息所位于的多个特征点的机器人坐标系下的三维坐标数据、标识信息中包含的空间位置信息中多个特征点的位置信息以及物体的长宽高信息、镂空信息来确定物体的所有面和点在机器人坐标系下的三维坐标数据，并且无需执行平面拟合、匹配、融合等过程。[0038]当然，以上有关空间物体的空间位置信息的描述均仅为示例，并且这不应理解为限制性的。本领域的技术人员应该理解，任何能够表示空间物体的空间信息的方式都可以类似地应用于本发明且应包括在本发明的范围中，从而大大节省建图所需的运算量。[0039]在上文中，参照图1描述了根据本发明实施例的可移动电子设备。接下来，将参照图2描述根据本发明实施例的即时定位与地图构建方法。所述即时定位与地图构建方法应用于一可移动电子设备。如上文中所述，该可移动电子设备通常为室内轮式机器人。[0040]如图2所示，所述即时定位与地图构建方法包括如下步骤。[0041]首先，在步骤S201，采集图像。例如，可以通过二维RGB相机来采集图像。或者，更优选地，可以通过三维RGB相机如，Kinect相机来采集图像。在通过Kinect相机采集图像的情况下，所采集的图像包括有关环境的彩色RGB图像与深度图像。[0042]接下来，在步骤S2〇2,基于所采集的图像，获取点云数据。例如，基于RGB图像和深度图像，能够计算并确定图像中每一个点的三维位置。[0043]然后，在步骤S2〇3，分析所采集的图像。并且，在步骤S204，判断所述图像中是否包含标识空间中的一物体的标识信息。[0044]当在步骤S204中的判断为是，则处理进行到步骤S205。在步骤S205，提取所述标识信息中包含的空间位置信息。另一方面，当在步骤S204中的判断为否，则处理进行到步骤S206。[0045]在步骤S206,基于所述点云数据和所述空间位置信息在未知环境下进行即时定位与地图构建。[0046]其中，在所述空间位置信息的基础上执行即时定位与地图构建处理的运算量小于直接基于点云数据执行即时定位与地图构建处理的运算量。[0047]也就是说，如果在步骤S204判断出能够从采集的图像中检测到标识空间中的一物体的标识信息，进而在步骤S205提取出所述标识信息中包含的该物体的空间位置信息，那么在步骤S206就可以利用得到的该物体的空间位置信息，并结合点云数据，从而得到该物体上各个面，而不用大量计算该物体的深度信息和图像信息。具体来说，在获取的点云数据中，基于该物体的特征点（如，各角点）处的三维位置信息，并结合该物体的空间位置信息，可以直接确定该物体的各个面，无需对点云数据中的大量点进行平面拟合、执行帧间匹配、机器人坐标系和全局坐标系间的转换以及融合。相比之下，在不能利用该物体的空间位置信息的情况下，在步骤S206的建图过程中，需要将获取的点云数据拟合为平面，执行两个帧之间点或平面的匹配转换以及融合，这无疑是计算量巨大的。[0048]例如，作为一种应用最广泛的实施方式，所述标识信息可以是二维码信息。在步骤S204,通过扫描拍摄的RGB图像来提取其中包括的二维码图像。并且，在步骤S205,基于所述二维码图像来进一步提取其中包含的空间位置信息。[0049]优选地，所述标识信息可以被放置在所述物体的特征点位置上。所述物体可以是诸如冰箱、沙发、桌子、橱柜等外形规则的非镂空物体。并且可以将所述标识信息放置在物体的能够被拍摄到的各个角点。[0050]例如，如果冰箱靠墙角放置，那么可以将标识信息放置在除了与墙角贴合的上下两个角点之外的其他角点。[0051]所述空间位置信息可以包含冰箱的空间体积信息。例如，所述空间体积信息为冰箱的长宽高信息。[0052]另外，如上文中所述，在将所述标识信息放置在冰箱的特征点位置上的情况下，除了冰箱的空间体积信息之外，所述空间位置信息还可以进一步包括关于所述特征点的位置信息。这里，关于特征点的位置信息可以表示所述特征点在冰箱上的位置的信息，如顶部角点1、顶部角点2、顶部角点3、顶部角点4、底部角点1、底部角点2、底部角点3、底部角点4。也就是说，不同特征点处的标识信息中所包含的空间位置信息由两部分组成:一部分是共同的整个冰箱的空间体积信息，而另一部分是不同的特征点的位置信息。[0053]当在步骤S205检测到位于冰箱的两个底部角点处的两个标识信息时，在步骤S206,基于在步骤S202计算出的这两个特征点的机器人坐标系下的三维坐标数据、空间位置信息中包含的特征点的位置信息以及冰箱的长宽高信息，可以直接确定冰箱的各个面在机器人坐标系下的位置信息，省去了平面拟合、匹配、融合等过程，从而大大减少了计算量。[0054]当然，可以将标识信息放置在冰箱的更多角点上，而不限于两个。并且，步骤S202可以计算检测到多个标识信息所位于的多个特征点的机器人坐标系下的三维坐标数据，在步骤S206基于特征点的三维坐标数据并结合标识信息中包含的空间位置信息中多个特征点的位置信息以及冰箱的长宽高信息，直接在机器人坐标系下建图冰箱的所有面和点。[0055]另外，上文中描述了诸如冰箱这样的非镂空物体的情况。当然，本发明并不仅限于此。本发明还可以类似地应用于镂空物体。在这种情况下，需要在空间位置信息中进一步包括诸如有关镂空面的信息。步骤S206可以基于多个标识信息所位于的多个特征点的机器人坐标系下的三维坐标数据、标识信息中包含的空间位置信息中多个特征点的位置信息以及物体的长宽高信息、镂空信息来在机器人坐标系下建图物体的所有面和点，并且无需执行平面拟合、匹配、融合等过程。[0056]当然，以上有关空间物体的空间位置信息的描述均仅为示例，并且这不应理解为限制性的。本领域的技术人员应该理解，任何能够表示空间物体的空间信息的方式都可以类似地应用于本发明且应包括在本发明的范围中，从而大大节省建图所需的运算量。[0057]迄今为止，已经参照图1和图2详细描述了根据本发明实施例的可移动电子设备和即时定位与地图构建方法。在根据本发明实施例的可移动电子设备和即时定位与地图构建方法中，由于可以提取标识空间中的物体的空间位置信息，且该空间位置信息是关于所述物体的准确信息，因此可以省略建图过程中运算量巨大的平面拟合、帧间匹配、坐标系变换、数据融合等处理，从而在保证V-SLAM算法的精度的前提下，大幅度地减少了即时定位与地图构建的复杂度。[0058]需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。[0059]最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。[0060]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过软件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如R0MRAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备可以是个人计算机，服务器，或者网络设备等执行本发明各个实施例或者实施例的某些部分所述的方法。[0061]以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

权利要求：1.一种可移动电子设备，包括：图像采集单元，用于采集图像；点云获取单元，用于基于所采集的图像，获取点云数据；即时定位与地图构建单元，用于基于所述点云数据在未知环境下进行即时定位与地图构建；以及标识提取单元，用于分析所述图像采集单元采集的图像，并判断所述图像中是否包含标识空间中的一物体的标识信息，当所述图像中包含所述标识信息时，提取所述标识信息中包含的空间位置信息，并将提取出的空间位置信息提供给所述即时定位与地图构建单元，其中所述即时定位与地图构建单元在所述空间位置信息的基础上执行即时定位与地图构建处理的运算量小于直接基于点云数据执行即时定位与地图构建处理的运算量。2.根据权利要求1所述的电子设备，其中所述标识信息为二维码。3.根据权利要求1所述的电子设备，其中所述标识信息被放置在所述物体的特征点位置上。4.根据权利要求3所述的电子设备，其中所述空间位置信息包含所述物体的空间体积信息以及关于所述特征点的位置信息。5.—种即时定位与地图构建方法，应用于一可移动电子设备，包括：采集图像；基于所采集的图像，获取点云数据；分析所采集的图像，并判断所述图像中是否包含标识空间中的一物体的标识信息，当所述图像中包含所述标识信息时，提取所述标识信息中包含的空间位置信息；基于所述点云数据和所述空间位置信息在未知环境下进行即时定位与地图构建，其中在所述空间位置信息的基础上执行即时定位与地图构建处理的运算量小于直接基于点云数据执行即时定位与地图构建处理的运算量。6.根据权利要求5所述的方法，其中所述标识信息为二维码。7.根据权利要求5所述的方法，其中所述标识信息被放置在所述物体的特征点位置上。8.根据权利要求7所述的方法，其中所述空间位置信息包含所述物体的空间体积信息以及关于所述特征点的位置信息。

百度查询： 联想(北京)有限公司 可移动电子设备和即时定位与地图构建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD