申请/专利权人：索尼公司

申请日：2016-09-16

公开（公告）日：2020-10-23

公开（公告）号：CN108027230B

主分类号：G01B11/00(20060101)

分类号：G01B11/00(20060101);G01C3/06(20060101);G01C21/28(20060101)

优先权：["20150930 JP 2015-194553"]

专利状态码：失效-未缴年费专利权终止

法律状态：2023.09.22#未缴年费专利权终止;2018.10.19#实质审查的生效;2018.05.11#公开

摘要：本公开涉及一种信息处理设备、信息处理方法和程序，其准确且连续地估计自身移动以便能够估计自身位置。作为本公开的一个方面的信息处理设备包括：向下成像单元，其被布置在沿着路面移动的移动体的底部并捕获路面的图像；以及移动估计单元，其基于由向下成像单元在不同时刻捕获的多个路面图像来估计移动体的移动。本公开可以例如应用于安装到汽车的位置传感器。

主权项：1.一种信息处理设备，包括：向下成像部，所述向下成像部被布置于在路面上行进的移动体的底部并且捕获所述路面的图像；移动估计部，所述移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计所述移动体的移动；路面估计部，所述路面估计部估计到所述路面的距离；第一自身位置估计部，所述第一自身位置估计部根据由移动估计部估计的移动体的移动来估计移动体的自身位置；向外成像部，所述向外成像部被布置于在路面上行进的移动体上并捕获移动体的周边环境的图像；第二自身位置估计部，所述第二自身位置估计部根据由向外成像部捕获的移动体的周边环境的图像来估计移动体的自身位置；以及校正部，所述校正部通过使用由第二自身位置估计部估计的第二自身位置来校正由第一自身位置估计部估计的第一自身位置。

全文数据：信息处理设备、信息处理方法和程序技术领域[0001]本公开涉及信息处理设备、信息处理方法和程序，并且更具体地涉及适用于估计安装在汽车或其他移动体中的设备的位置的信息处理设备、信息处理方法和程序。背景技术[0002]GPS全球定位系统通常被认为是在安装在汽车或其他移动体中时用于估计其位置的方案。根据GPS，当接收到从预定数量的卫星发送的信号时，可以估计其位置。但是，例如，如果GPS在高层建筑物附近行进或通过隧道行进，则由于无法接收到上述信号而无法估计GPS的位置。[0003]如果引起这样的不便以至于无法估计移动体的位置，则应当用被定义为参考点的特定时间点处的已知位置来连续检测移动体（例如，汽车）的后续移动（移动的方向和速度）。更具体而言，例如，可想到的方法是将相机安装在移动体上，连续捕获周边环境的图像以获得时间顺序的图像，并且根据相同主体在时间顺序图像中的移动来检测移动体的移动。[0004]但是，如果所采用的方法根据所捕获的周边环境的图像来检测移动体的移动，则可能会产生不便。更具体而言，如果所捕获的图像显示由于环境光而引起的高光溢出、所捕获的图像主要被与自身移动体一起行进的另一移动体例如，在前的大型汽车）占据、所捕获的图像由于暴雨或其他恶劣天气而不清楚或者所捕获的图像由于缺少适当的附近主体而仅显示远景，则移动体的移动无法容易地被连续检测到。[0005]为了解决上述问题而提出的一种方法是，不是通过捕获移动体周边环境的图像来检测移动，而是通过跟踪在通过连续捕获路面而获得的时间顺序图像中表示的路面上的特征点来检测移动参考例如专利文献1或2。[0006]注意，为了通过跟踪路面上的特征点来检测移动，有必要准确地测量路面与相机之间的距离从路面到相机的高度）。根据专利文献1，两个激光指示器将参考标记投射到路面上，以便根据参考标记之间的距离来测量路面到相机的距离。根据专利文献2,用正方形格子图案的光束来照射路面，以便根据正方形格子图案的变形来测量路面到相机的距离。[0007]引用列表[0008]专利文献[0009]专利文献1:JP2014-149209A[0010]专利文献2:JP2007-278951发明内容[0011]技术问题[0012]专利文献1和专利文献2中描述的方法假定路面是完全平坦的。因此，在可能具有大量的斜坡和表面不规则性的实际路面上，无法准确地测量路面到相机的距离。结果，无法以高精度连续地检测自身移动体的移动方向和移动速度。[0013]本公升疋▲于上述情况做出的并且能够准确且连续地估计自身移动体的移动移动的方向和速度）。[0014]问题的解决方案[0015]根据本公开的一个方面的信息处理设备包括向下成像部和移动估计部。向下成像部被布置于在路面上行进的移动体的底部，并且捕获该路面的图像。移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计移动体的移动。[0016]根据本公开的一个方面的信息处理设备还可以包括路面估计部，其估计到路面的距离。[0017]向下成像部可以包括立体相机。路面估计部能够根据由立体相机在相同时间点捕获的一对路面图像来估计到路面的距离。[0018]路面估计部可以包括ToF传感器。[0019]根据本公开的一个方面的信息处理设备还可以包括投光部，其将纹理图案投射到路面上。路面估计部能够根据投射到由向下成像部所成像的路面上的纹理图案的图像来估计到路面的距离。[0020]投光部可以兼作照亮向下成像部的成像范围的照明部。[0021]根据本公开的一个方面的信息处理设备还可以包括照明部，其照亮向下成像部的成像范围。[0022]根据本公开的一个方面的信息处理设备还可以包括第一自身位置估计部。第一自身位置估计部根据由移动估计部估计的移动体的移动来估计移动体的自身位置。[0023]根据本公开的一个方面的信息处理设备还可以包括向外成像部和第二自身位置估计部。向外成像部被布置于在路面上行进的移动体中，并捕获移动体的周边环境的图像。第二自身位置估计部根据由向外成像部捕获的移动体的周边环境的图像来估计移动体的自身位置。[0024]根据本公开的一个方面的信息处理设备还可以包括校正部。校正部通过使用由第二自身位置估计部估计的第二自身位置来校正由第一自身位置估计部估计的第一自身位置。[0025]校正部能够对由第一自身位置估计部估计的第一自身位置和由第二自身位置估计部估计的第二自身位置进行加权平均。[0026]校正部能够根据移动体的车速采用由第二自身位置估计部估计的第二自身位置，而不是由第一自身位置估计部估计的第一自身位置。[0027]校正部能够根据从由向下成像部捕获的路面的图像中得到的地标的数量，采用由第二自身位置估计部估计的第二自身位置，而不是由第一自身位置估计部估计的第一自身位置。[0028]根据本公开的一个方面的信息处理方法被在包括向下成像部和移动估计部的信息处理设备中使用。向下成像部被布置于在路面上行进的移动体的底部，并且捕获该路面的图像。移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计移动体的移动。该信息处理方法包括由移动估计部获取由向下成像部捕获的路面的图像的获取步骤，以及由移动估计部根据所获取的在不同时间点捕获的多个路面图像来估计移动体的移动的移动估计步骤。[0029]根据本公开的一个方面的程序控制包括向下成像部和移动估计部的信息处理设备。向下成像部被布置于在路面上行进的移动体的底部，并且捕获该路面的图像。移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计移动体的移动。该程序使该信息处理设备中的计算机执行包括以下步骤的处理:获取由向下成像部捕获的路面的图像的获取步骤，以及根据所获取的在不同时间点捕获的多个路面图像来估计移动体的移动的移动估计步骤。[0030]本公开的一个方面捕获由向下成像部捕获的路面的图像，并且根据在不同时间点捕获的多个路面图像来估计移动体的移动。[0031]发明的有利效果[0032]本公开的一个方面能够准确且连续地估计自身移动体的移动。附图说明[0033]图1是例示出本公开所应用于的信息处理设备的第一示例性配置的框图。[0034]图2是例示出包括在向下成像部中的立体相机的示例性布置的示图。[0035]图3是例示出包括在向下成像部中的立体相机的另一示例性布置的示图。[0036]图4是例示出基于特征点的路面估计和移动估计的概况的示图。[0037]图5是例示出由图1所描绘的信息处理设备执行的第一自身位置估计处理的流程图。[0038]图6是例示出基于像素梯度的路面估计和移动估计的概况的示图。[0039]图7是例示出由图1所描绘的信息处理设备执行的第二自身位置估计处理的流程图。[0040]图8是例示出本公开所应用于的信息处理设备的第二示例性配置的框图。[0041]图9是例示出由图8所描绘的信息处理设备执行的自身位置估计处理的流程图。[0042]图10是例示出本公开所应用于的信息处理设备的第三示例性配置的框图。[0043]图11是例示出包括在向外成像部中的相机的示例性布置的示图。[0044]图12是例示出由图10所描绘的校正部执行的第一自身位置校正处理的流程图。[0045]图13是例示出由图10所描绘的校正部执行的第二自身位置校正处理的流程图。[0046]图14是例示出由图10所描绘的校正部执行的第三自身位置校正处理的流程图。[0047]图15是例示出通用计算机的示例性配置的框图。具体实施方式[0048]现在将参照附图描述用于执行本公开的最佳模式（以下称为实施例）。[0049]根据本公开的实施例的信息处理设备被安装在移动体中以估计其位置。注意，下面描述的实施例假定移动体是汽车。然而，信息处理设备不仅可以安装在汽车中，而且可以安装在包括自主移动机器人和诸如自行车和摩托车之类的车辆在内的各种其他移动体中。[0050]〈根据本公开的实施例的信息处理设备的第一示例性配置〉[0051]图1例示出了根据本公开的实施例的信息处理设备的第一示例性配置。[0052]信息处理设备10包括向下成像部11、照明部13、控制部14和信息处理部15。[0053]向下成像部11包括一对立体相机，即第一相机1孔和第二相机12R这些相机也可以被称为立体相机12，以预定的帧速率捕获移动图像以获得时间顺序的帧图像，并且将时间顺序的帧图像输出到后一阶段。由第一相机12L在时间点t捕获的帧图像在下文中被称为第一图像t，并且由第二相机12R在时间t捕获的帧图像在下文中被称为第二图像t。[0054]图2和图3例示出了汽车中的包括在向下成像部11中的一对立体相机12的示例性布置。在图2和图3中的A处描绘了该汽车的侧视图。在图2和图3中的B处描绘了该汽车的底视图。[0055]如图2中的A所例示，立体相机12定向为向下，使得路面是不受外部光影响的成像范围。另外，如图2中的B所例示，立体相机12与汽车的宽度方向平行地布置并且以预定的距离视差）间隔开。注意，立体相机12的布置不限于图2所例示的示例性布置。立体相机12可以布置在任何位置处，只要可以捕获路面的图像而不受外部光影响即可。例如，立体相机12可以布置在前轮轮胎的前面，如图3所例示。替代地，立体相机12可以布置在后轮轮胎后面或者附接到左车门后视镜和右车门后视镜。[0056]另外，可以将两对或更多对的立体相机12包括在向下成像部11中。在这种情况下，如图3所例示，一对立体相机12布置在汽车底面的前方，而另一对立体相机12布置在汽车底面的后方。当如上所述将立体相机布置在汽车的底面上并且使其彼此间隔开时，即使在汽车高速行进时也可以实现后述的移动估计。[0057]回到图1，照明部13用照明光来照射向下成像部11的成像范围。控制部14控制向下成像部11和照明部13。[0058]信息处理部15包括路面估计部16、移动估计部17、路面环境估计部18和自身位置估计部19。[0059]路面估计部16根据由立体相机12在相同时间点t捕获的第一图像t和第二图像t来执行路面估计。移动估计部I7根据在时间点t捕获的第一图像t或第二图像t和在紧接的前一时间点t-1捕获的第一图像t-1或第二图像t-1来执行移动估计。下面详细描述这两种估计操作。[0060]图4例示出了基于特征点的路面估计和移动估计的概况。[0061]如图4所例示，通过检测第一图像t和第二图像t中的相同特征点并基于三角测量原理计算路面上的特征点与连接向下成像部11的立体相机的基线之间的距离（以下简称为特征点到相机的距离来执行路面估计。[0062]如图4所例示，通过检测第一图像⑴和第一图像t-1中的相同特征点以及根据这两个图像中的特征点之间的坐标差异估计自身移动体的移动来执行移动估计。注意，用于移动估计的两个图像不限于连续捕获的第一图像t和第一图像t-1。替代地，可以通过使用例如第一图像t和第一图像t-2或第一图像t和第一图像t-3来执行移动估计。[0063]回到图1，路面环境估计部18根据路面估计的结果特征点到相机的距离来估计路面环境，即例如路面的坡度、不规则性和滑移sli卯eriness⑹。注意，路面估计结果不仅可用于路面环境估计，而且可用于汽车的上下振动测量。上下振动测量的结果可用于振动控制。[00M]自身位置估计部I9通过将自身移动体的估计移动添加到参考点（|卩，在特定时间点处的已知位置来估计当前自身位置（自身移动体的当前位置）。[0065]〈通过信息处理设备10的第一自身位置估计处理〉[0066]图5是例示出由信息处理设备10执行的第一自身位置估计处理的流程图。[0067]按照与由向下成像部11的立体相机12成像的帧速率相等的间隔来重复执行第一自身位置估计处理。[0068]另外，假定向下成像部11使用一对立体相机12以按预定帧速率预先捕获移动图像，以获得时间顺序的帧图像，并在输出阶段将时间顺序的帧图像输出到信息处理部15。还假定自身位置估计部19获取在特定时间点处的位置的地理坐标，并通过将这样的位置视为参考点来识别当前自身位置（自身移动体的位置。[0069]在步骤S1中，信息处理部15的路面估计部16获取在时间点t捕获的第一图像t和第二图像t。在步骤S2中，路面估计部16从第一图像⑴和第二图像⑴中检测特征点，在这些图像中识别相同的特征点，基于这些图像的视差匹配来执行路面估计，并且计算特征点到相机的距离。[0070]在步骤S3中，信息处理部15的移动估计部17检测在时间点t捕获的第一图像⑴和在紧接的前一时间点t-1捕获的第一图像t-1中的相同特征点，并且根据这两个图像中的特征点之间的坐标差异来估计自身移动（自身汽车的移动）。[0071]在步骤S4中，路面环境估计部18根据路面估计的结果特征点到相机的距离来估计路面环境，即例如路面的坡度和不规则性。同时，自身位置估计部19通过将当前估计的自身移动添加到己知的参考点或将其添加到先前估计的自身位置来估计当前自身位置。随后，处理返回到步骤S1，以便重复步骤S1及其以后的步骤。现在，对由信息处理设备1〇执行的第一自身位置估计处理的描述已经完成。[0072]〈通过信息处理设备10的第二自身位置估计处理〉[0073]如果可以假定路面是平面三角形的组合，则路面估计部16和移动估计部17能够通过使用基于像素梯度的方法来执行路面估计和移动估计。[0074]图6例示出了通过使用基于像素梯度的方法来执行的路面估计和移动估计的概况。[0075]如图6所例示，通过在路面上设置特定区域如图6所描绘的通过组合多个三角形而获得的区域并根据该特定区域在第一图像t中和第二图像t中的像素梯度直接估计该特定区域的平面形状每个三角形的坡度来执行路面估计。[0076]如图6所例示，通过根据该特定区域在第一图像t中和第一图像t-1中的图像梯度检测该特定区域并根据该特定区域在这两个图像中的每一个中的像素梯度直接估计自身移动来执行移动估计。[0077]图7是例示出为了通过使用基于像素梯度的方法来实现路面估计和移动估计而由信息处理设备10执行的第二自身位置估计处理的流程图。[0078]按照与由向下成像部11的立体相机I2成像的帧速率相等的间隔来重复执行第二自身位置估计处理。[0079]另外，假定汽车所行进于的路面可以由包括平面的多边形模型来表示，并且假定向下成像部11使用一对立体相机I2来以预定帧速率预先捕获在路面上设置的特定区域的移动图像以便获得时间顺序的帧图像，并且在输出阶段中将时间顺序的帧图像输出到信息处理部15。还假定自身位置估计部19获取在特定时间点处的位置的地理坐标，并且通过将这样的位置视为参考点来识别当前自身位置。[0080]在步骤S11中，信息处理部I5的路面估计部I6获取在时间点t捕获的第一图像t和第二图像t。在步骤S12中，路面估计部16根据特定区域在第一图像⑴和第二图像t中的每一个中的像素梯度来直接估计特定区域的平面形状。[0081]在步骤S13中，信息处理部15的移动估计部17根据特定区域在第一图像⑴和在紧接的前一时间点t_1捕获的第一图像t-1中的每一个中的像素梯度来直接估计自身移动自身移动体的移动）。[0082]在步骤S14中，路面环境估计部18根据所估计的特定区域的平面形状来估计路面环境，即，例如路面的坡度和不规则性。同时，自身位置估计部19通过将当前估计的自身移动添加到已知的参考点或将其添加到先前估计的自身位置来估计当前自身位置。随后，处理返回到步骤S11，使得重复步骤S11及其以后的步骤。现在，由信息处理设备1〇执行的第二自身位置估计处理的描述已经完成。[0083]〈根据本公开的实施例的信息处理设备的第二示例性配置〉[0084]图8例示出了根据本公开的实施例的信息处理设备的第二示例性配置。[0085]该信息处理设备20包括向下成像部21、照明部22、投光部23、控制部24和信息处理部25。[0086]向下成像部21包括相机。相机安装在移动体例如，汽车的底部并且定向为向下，使得路面是不受外部光影响的成像范围。向下成像部21按照预定帧速率捕获移动图像以获得时间顺序的帧图像，并将时间顺序的帧图像输出到后一阶段。在下文中，由向下成像部21的相机在时间点t捕获的帧图像被称为图像〇:。[0087]照明部22用照明光来照射向下成像部21的成像范围。投光部23将纹理图案结构光投射到向下成像部21的成像范围上。注意，照明部22可以与投光部23集成在一起。另外，如果获得用于捕获当将纹理图案投射到成像范围上时可能存在于路面的成像范围内的特征点的图像的足够的照度，则不需要照射照明光。控制部24控制向下成像部21、照明部22和投光部23。[0088]信息处理部25包括路面估计部26、移动估计部27、路面环境估计部28和自身位置估计部29。[0089]路面估计部26根据表示用纹理图案照射的路面的图像t来执行路面估计。注意，代替投光部23和路面估计部26,也可以使用用于用激光照射路面并根据激光反射回来所需的时间来测量到路面的距离的T〇FTimeofFlight，飞行时间传感器。[0090]移动估计部27通过跟踪在时间点t捕获的第一图像t或第二图像t和在紧接的前一时间点卜1捕获的第一图像t-1或第二图像t-1中的相同特征点来执行移动估计。[0091]路面环境估计部28根据路面估计的结果（路面到相机的距离）来估计路面环境，艮P，例如路面的坡度和不规则性。[0092]自身位置估计部29通过将估计的自身移动添加到参考点（g卩，在特定时间点处的已知位置来估计当前自身位置。[0093]〈通过信息处理设备20的自身位置估计处理〉[0094]图9是例示出由信息处理设备20执行的自身位置估计处理的流程图。[0095]按照与由向下成像部21成像的帧速率相等的间隔来重复执行该自身位置估计处理。[0096]另外，假定向下成像部21按照预定的帧速率预先捕获用纹理图案照射的路面的图像以便获得时间顺序的帧图像，并在输出阶段将时间顺序的帧图像输出到信息处理部25。还假定自身位置估计部29获取特定时间点处的位置的地理坐标，并通过将这样的位置视为参考点来识别当前自身位置。[0097]在步骤S21中，信息处理部25的路面估计部26获取在时间点t捕获的用纹理图案照射的路面的图像t。在步骤S22中，路面估计部26根据图像t中的纹理图案的形状来计算路面到相机的距离。[0098]在步骤S23中，信息处理部25的移动估计部27检测在时间点t捕获的图像⑴和在紧接的前一时间点t-1捕获的图像t-1中的相同特征点，并根据这两个图像中的特征点之间的坐标差异以及在步骤S22中计算出的路面到相机的距离来估计自身移动（自身移动体的移动）。[0099]在步骤S24中，路面环境估计部28根据路面估计的结果路面到相机的距离来估计道路环境，即，例如路面的坡度、不规则性和滑移。同时，自身位置估计部29通过将当前估计的自身移动添加到已知的参考点或将其添加到先前估计的自身位置来估计当前自身位置。随后，处理返回到步骤S21，以便重复步骤S21及其以后的步骤。现在，对由信息处理设备20执行的自身位置估计处理的描述己经完成。[0100]上述信息处理设备1〇和20能够按照与成像的帧速率相等的间隔准确地估计自身移动。因此，可以准确估计当前自身位置。[0101]然而，例如当汽车在无法容易检测到特征点的雪路或泥泞道路的路面上行进或正在以不能由向下成像部11的帧速率处理的高速行进时，可能无法估计自身移动或者估计的结果可能出错。因此，如果仅使用路面图像，则将会累积这样的误差，使得作为结果的所估计的自身位置偏离正确位置。[0102]〈根据本公开的实施例的信息处理设备的第三示例性配置〉[0103]图10例示出了根据本公开的实施例的信息处理设备的第三示例性配置，其解决了由自身位置估计误差的累积引起的作为结果的所估计的自身位置偏离正确位置的问题。[0104]该信息处理设备30是通过向图1所描绘的信息处理设备10添加向外成像部31、车速检测部32和GPS处理部33并且用信息处理部34替换信息处理设备10的信息处理部15而获得的。信息处理设备30能够例如根据基于来自向外成像部31的图像的自身位置估计的结果来校正基于来自向下成像部11的图像的自身位置估计的结果。[0105]作为信息处理部15的替代的信息处理部34是通过向由信息处理部34替换的信息处理部15添加SLAM处理部35和校正部36而获得的。注意，信息处理设备30的与信息处理设备10的组件相同的组件由与对应元件相同的附图标记来指示，并且将不再冗余地描述。[0106]向外成像部31包括至少一个相机，该至少一个相机被附接到移动体并且被定向为捕获周边环境的图像。由向外成像部31捕获的图像被供应给SLAM处理部35。[0107]图11例示出了当向外成像部31中所包括的一个或多个相机被附接到汽车（S卩，移动体时使用的示例性相机布置。广角相机或全方位相机可以被采用并且被定向为捕获例如汽车的前方、侧方或向后视野的图像。[0108]回到图10,车速检测部32根据例如从汽车得到的车速脉冲来检测移动体的行进速度。GPS处理部33接收GPS信号并根据接收到的GPS信号来识别自身位置。SLAM处理部35通过检查用于来自向外成像部31的显示汽车的周边环境的图像的数据库来估计自身位置。该数据库可被包含在SLAM处理部35中或被布置在可通过通信网络连接的服务器中。[0109]通过使用由GPS处理部33根据GPS信号识别的自身位置并且使用由SLAM处理部35估计的自身位置，校正部36校正由自身位置估计部19基于由向下成像部11捕获的图像而进行的自身位置估计的结果。[0110]〈通过校正部36的第一自身位置校正处理〉[0111]图12是例示出由校正部36执行的第一自身位置校正处理的流程图。[0112]第一自身位置校正处理根据基于来自向外成像部31的图像的第二自身位置估计结果wTcq来校正基于来自向下成像部11的图像的第一自身位置估计结果wTcg。[0113]在步骤S31中，校正部36从自身位置估计部19获取基于来自向下成像部11的图像的第一自身位置估计结果wTce。[0114]在步骤S32中，校正部36从SLAM处理部35获取基于来自向外成像部31的图像的第二自身位置估计结果wTcA[0115]在步骤S33中，根据下面的公式（1，校正部36通过对在步骤S31中获取的第一自身位置估计结果wTCe和在步骤S32中获取的第二自身位置估计结果wT进行加权平均来进行校正，并获取校正后的自身位置wTc。[0116]wTc=aXwTcG+l-aXwTc0---1[0117]这里，a是满足关系表达式0al的值。注意，可以如卡尔曼滤波器的情况那样自适应地设置a的值。[0118]注意，可以使用由GPS处理部33根据GPS信号识别的自身位置wTcGPS来代替基于来自向外成像部31的图像的自身位置估计结果wTc13。[0119]可以按照预定的间隔间歇地执行上述第一自身位置校正处理。当以这种方式执行时，第一自身位置校正处理校正基于路面图像估计的自身位置wT中的误差的累积。[0120]〈通过校正部36的第二自身位置校正处理〉[0121]图13是例示出由校正部36执行的第二自身位置校正处理的流程图。[0122]当汽车的车速vt等于或高于预定的阈值时，第二自身位置校正处理采用基于来自向外成像部31的图像的第二自身位置估计结果wTcQ，而不是基于来自向下成像部U的图像的第一自身位置估计结果wTCe。[0123]在步骤S41中，校正部36从自身位置估计部19获取基于来自向下成像部11的图像的第一自身位置估计结果wTce。[0124]在步骤S42中，校正部36从SLAM处理部35获取基于来自向外成像部31的图像的第二自身位置估计结果wTcq。[0125]在步骤S43中，校正部36从车速检测部32获取车速vt，并判定车速vt是否等于或高于预定的阈值。[0126]如果车速vt等于或高于预定的阈值，则可以想到的是，第一自身位置估计结果wT#容易出错。因此，校正部36进入步骤S44,并采用第二自身位置估计结果wTcQ作为最终自身位置估计结果wTc。[0127]相反，如果车速vdft于预定的阈值，则可以想到的是，第一自身位置估计结果wTc不容易出错。因此，校正部36进入步骤S45,并采用第一自身位置估计结果wTcG作为最终自身位置估计结果wTc。[0128]注意，可以使用由GPS处理部33根据GPS信号识别的自身位置wTcGPS来代替基于来自向外成像部31的图像的自身位置估计结果wTc13。[0129]可以不断地重复上述第二自身位置校正处理。结果，如果第一自身位置估计结果wTCe出错，则可以采用第二自身位置估计结果wTc13。[0130]〈通过校正部36的第三自身位置校正处理〉[0131]图14是例示出由校正部36执行的第三自身位置校正处理的流程图。[0132]如果在基于来自向下成像部11的图像的第一自身位置估计处理期间在来自向下成像部11的图像中识别出的地标识别出其真实空间坐标的特征点）的数量xt小于预定的阈值，则第三自身位置校正处理采用基于来自向外成像部31的图像的第二自身位置估计结果wTc13，而不是基于来自向下成像部11的图像的第一自身位置估计结果wTce。[0133]在步骤S51中，校正部36从自身位置估计部19获取基于来自向下成像部11的图像的第一自身位置估计结果wTce。[0134]在步骤S52中，校正部36从SLAM处理部35获取基于来自向外成像部31的图像的第二自身位置估计结果wT。[0135]在步骤S53中，校正部36从路面环境估计部18获取在来自向下成像部11的图像中识别出的地标的数量xt，并且确定地标的数量xt是否等于或大于预定的阈值。[0136]如果地标的数量^等于或大于预定的阈值，则可以想到的是，第一自身位置估计结果wTce不容易出错。因此，校正部36进入步骤S54，并采用第一自身位置估计结果wTce作为最终自身位置估计结果wTc。[0137]相反，如果地标的数量Xt小于预定的阈值，则可以想到的是，第一自身位置估计结果wT#容易出错。因此，校正部36进入步骤S55，并采用第二自身位置估计结果WTcQ作为最终自身位置估计结果wTc。[0138]注意，可以使用由GPS处理部33根据GPS信号识别出的自身位置wTcGPS来代替基于来自向外成像部31的图像的自身位置估计结果wTc13。[0139]可以不断地重复上述第三自身位置校正处理。结果，如果第一自身位置估计结果出错，则可以采用第二自身位置估计结果wTc°。[0140]〈结论〉[0141]如上所述，信息处理设备10、20和30能够准确且连续地估计自身移动和当前自身位置。[0142]另外，即使所估计的自身移动和自身位置出错，信息处理设备30也能够校正这些错误而不允许它们累积。[0143]由信息处理设备10中的信息处理部15、信息处理设备20中的信息处理部25和信息处理设备3〇中的信息处理部34所要执行的一系列处理可以由硬件来执行或由软件来执行。当所述一系列处理要由软件来执行时，形成该软件的程序被安装在计算机中。该计算机可以例如是内置在专用硬件中的计算机或通用个人计算机或能够在安装有各种程序的情况下执行各种功能的其他计算机。[0144]图15疋例示出执行fe序以执行上述一系列处理的计算机的示例性硬件配置的框图。[0145]在计算机100中，CPU中央处理单元）101、R〇M只读存储器）102和RAM随机存取存储器103通过总线104而互连。[0146]总线104还连接到输入输出接口1〇5。输入输出接mo5连接到输入部106、输出部107、存储部108、通信部109和驱动器110。[0147]输入部1〇6例如由键盘、鼠标和麦克风形成。输出部10?例如由显示器和扬声器形成。存储部108例如由硬盘和非易失性存储器形成。通信部1〇9例如由网络接口形成。驱动器110驱动磁盘、光盘、磁光盘或诸如半导体存储器之类的可移动介质1U。[0148]在如上所述配置的计算机100中，通过允许CPU101将存储在例如存储部108中的程序通过输入输出接口105和总线104加载到RAM1〇3中并执行所加载的程序来执行上述一系列处理。[0149]注意，由计算机100所要执行的程序可以按照本文档中描述的顺序按照时间顺序进行处理、以并行方式进行处理或者响应于例如调用而在适当的时间点处进行处理。[0150]注意，本公开不限于前述实施例。在不脱离本公开的精神的情况下可以做出各种改变和修改。[0151]本公开可以采用以下配置。[0152]1一种信息处理设备，包括：[0153]向下成像部，该向下成像部被布置于在路面上行进的移动体的底部并捕获该路面的图像;以及[0154]移动估计部，该移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计该移动体的移动。[0155]⑵如上面的⑴中所述的信息处理设备，还包括：[0156]路面估计部，该路面估计部估计到路面的距离。[0157]3如上面的⑵中所述的信息处理设备，其中，向下成像部包括立体相机，并且路面估计部根据由立体相机在相同时间点捕获的一对路面图像来估计到路面的距离。[0158]⑷如上面的⑵中所述的信息处理设备，其中，路面估计部包括ToF传感器。[0159]⑸如上面的⑵中所述的信息处理设备，还包括：[0160]投光部，该投光部将纹理图案投射到路面上；[0161]其中，路面估计部根据投射到由向下成像部成像的路面上的纹理图案的图像来估计到路面的距离。[0162]6如上面的（5中所述的信息处理设备，其中，投光部兼作照亮向下成像部的成像范围的照明部。[0163]⑺如以上⑴至⑸中任一项所述的信息处理设备，还包括：[0164]照明部，该照明部照亮向下成像部的成像范围。[0165]⑻如以上⑴至⑺中任一项所述的信息处理设备，还包括：[0166]第一自身位置估计部，该第一自身位置估计部根据由移动估计部估计的移动体的移动来估计移动体的自身位置。[0167]⑼如以上⑴至⑻中任一项所述的信息处理设备，还包括：[0168]向外成像部，该向外成像部被布置于在路面上行进的移动体上并捕获移动体的周边环境的图像;以及[0169]第二自身位置估计部，该第二自身位置估计部根据由向外成像部捕获的移动体的周边环境的图像来估计移动体的自身位置。[0170]10如上面的⑼中所述的信息处理设备，还包括：[0171]校正部，该校正部通过使用由第二自身位置估计部估计的第二自身位置来校正由第一自身位置估计部估计的第一自身位置。[0172]11如上面的（10中所述的信息处理设备，其中，校正部对由第一自身位置估计部估计的第一自身位置和由第二自身位置估计部估计的第二自身位置进行加权平均。[0173]12如上面的（10中所述的信息处理设备，其中，校正部根据移动体的车速采用由第二自身位置估计部估计的第二自身位置，而不是由第一自身位置估计部估计的第一自身位置。[0174]13如上面的（10中所述的信息处理设备，其中，校正部根据从由向下成像部捕获的路面的图像中得到的地标的数量，采用由第二自身位置估计部估计的第二自身位置，而不是由第一自身位置估计部估计的第一自身位置。[0175]14一种信息处理方法，该信息处理方法被在包括向下成像部和移动估计部的信息处理设备中使用，向下成像部被布置于在路面上行进的移动体的底部并且捕获该路面的图像，移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计移动体的移动，该信息处理方法包括：[0176]由移动估计部获取由向下成像部捕获的路面的图像的获取步骤;和[0177]由移动估计部根据所获取的在不同时间点捕获的多个路面图像来估计移动体的移动的移动估计步骤。[0178]15—种控制信息处理设备的程序，该信息处理设备包括向下成像部和移动估计部，向下成像部被布置于在路面上行进的移动体的底部并且捕获该路面的图像，移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计移动体的移动，该程序使该信息处理设备中的计算机执行包括以下步骤的处理：[0179]获取由向下成像部捕获的路面的图像的获取步骤;和[0180]根据所获取的在不同时间点捕获的多个路面图像来估计移动体的移动的移动估计步骤。[0181]附图标记列表[0182]10信息处理设备[0183]11向下成像部[0184]12立体相机[0185]13照明部[0186]14控制部[0187]15信息处理部[0188]16路面估计部[0189]17移动估计部[0190]18路面环境估计部[0191]19自身位置估计部[0192]20信息处理设备[0193]21向下成像部[0194]22照明部[0195]23投光部[0196]24控制部[0197]25信息处理部[0198]26路面估计部[0199]27移动估计部[0200]28路面环境估计部[0201]29自身位置估计部[0202]30信息处理设备[0203]31向外成像部[0204]32车速检测部[0205]33GPS处理部[0206]34信息处理部[0207]35SLAM处理部[0208]36校正部[0209]100计算机[0210]101CPU

权利要求：1.一种信息处理设备，包括：向下成像部，所述向下成像部被布置于在路面上行进的移动体的底部并且捕获所述路面的图像;以及移动估计部，所述移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计所述移动体的移动。2.根据权利要求1所述的信息处理设备，还包括：_路面估计部，所述路面估计部估计到所述路面的距离。3.根据权利要求2所述的信息处理设备，其中，所述向下成像部包括立体相机，并且所述路面估计部根据由所述立体相机在相同时间点捕获的一对路面图像来估计到所述路面的距离。4.根据权利要求2所述的信息处理设备，其中，所述路面估计部包括ToF传感器。5.根据权利要求2所述的信息处理设备，还包括：投光部，所述投光部将纹理图案投射到所述路面上；其中，所述路面估计部根据投射到由向下成像部成像的路面上的纹理图案的图像来估计到所述路面的距离。6.根据权利要求5所述的信息处理设备，其中，所述投光部兼作照亮向下成像部的成像范围的照明部。7.根据权利要求2所述的信息处理设备，还包括：照明部，所述照明部照亮向下成像部的成像范围。8.根据权利要求2所述的信息处理设备，还包括：第一自身位置估计部，所述第一自身位置估计部根据由移动估计部估计的移动体的移动来估计移动体的自身位置。9.根据权利要求8所述的信息处理设备，还包括：向外成像部，所述向外成像部被布置于在路面上行进的移动体上并捕获移动体的周边环境的图像；以及第二自身位置估计部，所述第二自身位置估计部根据由向外成像部捕获的移动体的周边环境的图像来估计移动体的自身位置。10.根据权利要求9所述的信息处理设备，还包括：校正部，所述校正部通过使用由第二自身位置估计部估计的第二自身位置来校正由第一自身位置估计部估计的第一自身位置。11.根据权利要求10所述的信息处理设备，其中，所述校正部对由第一自身位置估计部估计的第一自身位置和由第二自身位置估计部估计的第二自身位置进行加权平均。12.根据权利要求10所述的信息处理设备，其中，所述校正部根据移动体的车速采用由第二自身位置估计部估计的第二自身位置，而不是由第一自身位置估计部估计的第一自身位置。13.根据权利要求10所述的信息处理设备，其中，校正部根据从由向下成像部捕获的所述路面的图像中得到的地标的数量，采用由第二自身位置估计部估计的第二自身位置，而不是由第一自身位置估计部估计的第一自身位置。14.一种信息处理方法，所述信息处理方法被在包括向下成像部和移动估计部的信息处理设备中使用，所述向下成像部被布置于在路面上行进的移动体的底部并且捕获所述路面的图像，所述移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计所述移动体的移动，所述信息处理方法包括：由移动估计部获取由向下成像部捕获的所述路面的图像的获取步骤；以及由移动估计部根据所获取的在不同时间点捕获的多个路面图像来估计所述移动体的移动的移动估计步骤。15.—种控制信息处理设备的程序，所述信息处理设备包括向下成像部和移动估计部，所述向下成像部被布置于在路面上行进的移动体的底部并且捕获所述路面的图像，所述移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计所述移动体的移动，所述程序使所述信息处理设备中的计算机执行包括以下步骤的处理：获取由向下成像部捕获的所述路面的图像的获取步骤；以及根据所获取的在不同时间点捕获的多个路面图像来估计所述移动体的移动的移动估计步骤。

百度查询： 索尼公司 信息处理设备、信息处理方法和程序

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD