申请/专利权人：日产自动车株式会社

申请日：2015-07-13

公开（公告）日：2021-04-27

公开（公告）号：CN107851387B

主分类号：G08G1/16(20060101)

分类号：G08G1/16(20060101);H04N5/225(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.04.27#授权;2018.04.20#实质审查的生效;2018.03.27#公开

摘要：具备：拍摄车辆周围的图像的摄像机11、取得车辆周围的地图信息的地图信息取得部17、检测车辆在地图上的当前位置的车辆当前位置检测部12、基于车辆当前位置和上述地图信息推定上述信号机在图像上的位置的信号机位置推定部21。还具备：基于信号机在图像上的位置和信号机在图像上的将来的移动方向，设定摄像机的摄像方向的摄像姿势设定部23、将摄像机的摄像方向变更为由摄像方向设定部设定的摄像方向的摄像机姿势控制部24、根据摄像机在摄像方向拍摄的图像识别信号机的信号机识别部14。能够不影响摄像机的姿势地高精度地检测信号机的点亮状态。

主权项：1.一种信号机识别装置，其特征在于，具备：摄像部，其搭载于车辆，拍摄车辆周围的图像；地图信息取得部，其取得所述车辆周围的地图信息；车辆当前位置检测部，其检测所述车辆在地图上的当前位置；信号机位置推定部，其基于所述车辆当前位置和所述地图信息，推定信号机在图像上的位置；摄像方向设定部，其基于所述信号机在图像上的位置和所述信号机在图像上的将来的移动方向，设定所述摄像部的摄像方向；摄像方向变更部，其将所述摄像部的摄像方向变更为由所述摄像方向设定部设定的摄像方向；信号机识别部，其根据所述摄像部在所述摄像方向拍摄的图像，识别信号机，基于所述信号机在图像上的位置和所述信号机在图像上的将来的移动方向，所述摄像方向设定部在所述信号机的跟前设定限制所述摄像部的摄像方向的变更的变更限制区域，在进入该变更限制区域之前变更所述摄像部的摄像方向。

全文数据：信号机识别装置及信号机识别方法技术领域[0001]本发明涉及搭载于车辆并识别信号机的信号机识别装置及信号机识别方法。背景技术[0002]1列如^在^苔载有自动驾驶功能的车辆中，通过识别设于车辆的行驶路径的信号机，检测信号机的点灯颜色等的点亮状态，而控制停止、行驶等的驾驶。[0003]作为现有的信号机识别装置，例如已知有专利文献1JP特开平11—306489号公所i公开的装置。该引用文献丨中，在车辆上搭载摄像机来拍摄前方的信号机。此时，以信号机位于由摄像机拍摄的图像中心的方式，控制摄像机的水平方向的角度及垂直方向的角度。并且，以信号机的图像成为期望的大小的方式，控制扩大率。[0004]现有技术文献[0005]专利文献_6]专利文献1:日本特开平11—306489号公报[0007]但是，专利文献1所公开的现有例中，在变更摄像机的摄像方向的期间，由该摄像机拍摄的图像产生模糊混乱而难以进行图像识别。其结果，在变更摄像机的摄像方向的期间，信号机的点亮状态的检测精度可能降低。发明内容[0008]本发明是为了解决这种现有的课题而创立的，其目的在于，提供一种信号机识别装置，其在车辆接近信号机时，不需要变更摄像部的摄像方向，或能够降低摄像方向的变更次数。[0009]本发明的一方式的信号机识别装置具有:摄像部;地图信息取得部，其取得地图信息;车辆当前位置检测部，其检测车辆在地图上的当前位置;信号机位置推定部，其推定信号机在图像上的位置。还具备:摄像方向设定部，其基于信号机在图像上的位置和信号机在图像上的将来的移动方向，设定摄像部的摄像方向；摄像方向变更部，其将摄像部的摄像方向变更为由摄像方向设定部设定的摄像方向；信号机识别部，其根据摄像部在摄像方向拍摄的图像识别信号机。[0010]本发明的一方式的信号机识别方法，利用摄像部拍摄车辆周围的图像，取得车辆周围的地图信息，检测车辆在地图上的当前位置，基于车辆当前位置和地图信息，推定信号机在图像上的位置。还基于信号机在图像上的位置和信号机在图像上的将来的移动方向，设定摄像部的摄像方向，将摄像部的摄像方向变更为由摄像方向设定部设定的摄像方向，并根据摄像部在摄像方向拍摄的图像识别信号机。附图说明[0011]图1是表示本发明实施方式的信号机识别装置及其周边设备的构成的块图；[0012]图2是表示本发明实施方式的信号机识别装置的详细构成的块图；[0013]图3是表示第一实施方式的摄像姿势设定部的详细构成的块图；[0014]图4是表示第一实施方式的信号机识别装置的处理顺序的流程图；[0015]图5是表示存在于图像中的信号机的当前的位置坐标的说明图；[0016]图6是表不存在于图像中的信号机的以往的位置坐标及当前的位置坐标的说明图；_[0017]图7是表示变更摄像机的摄像方向，信号机的位置坐标向图像的左下方移动的情形的说明图；[0018]图8是表示第一实施方式的信号机识别装置的摄像方向的变更时间的说明图，（a表示车辆的行驶路径，（b表示摄像方向变更前的图像，（c表示摄像方向变更后的图像；[0019]图9是表示第二实施方式的摄像姿势设定部的详细构成的块图；[0020]图10是表示第二实施方式的信号机识别装置的处理顺序的流程图；[0021]图11是表示第二实施方式的信号机识别装置的摄像方向的变更时间的说明图，a表示车辆的行驶路径，（b表示摄像方向变更前的图像，（c表示摄像方向变更后的图像；[0022]图12是表示车辆在弯道上行驶时的信号机在图像上的移动轨迹的说明图；[0023]图13是表示未采用第二实施方式的信号机识别装置的摄像方向的变更时间的说明图，（a表示车辆的行驶路径，（b表示摄像方向变更前的图像，（c、（d表示摄像方向变更后的图像；[0024]图14是表示第三实施方式的信号机识别装置的摄像方向的变更时间的说明图，a表示车辆的行驶路径，（b表示摄像方向变更前的图像，（c表示摄像方向变更后的图像；[0025]图15是表示未采用第三实施方式的信号机识别装置的摄像方向的变更时间的说明图，（a表示车辆的行驶路径，（b表示摄像方向变更前的图像，（c表示摄像方向变更后的图像；[0026]图16是表示第三实施方式的变形例的信号机识别装置的摄像方向的变更时间的说明图，（a表示车辆的行驶路径，（b表示摄像方向变更前的图像，（c表示摄像方向变更后的图像；[0027]图17是表示第四实施方式的信号机识别装置的摄像方向的变更时间的说明图，a表示车辆的行驶路径，⑹表示摄像方向变更前的图像，（c、（d、（e表示摄像方向变更后的图像；[0028]图18是表示第五实施方式的信号机识别装置的摄像方向的变更时间的说明图，a表示车辆的行驶路径，（b表示摄像方向变更前的图像，（c表示摄像方向变更后的图像。具体实施方式[0029]以下，参照附图说明本发明的实施方式。[0030][第一实施方式的说明][0031]图1是表示本发明的第一实施方式的信号机识别装置及其周边设备的构成的块图。另外，图2是详细表示图1所示的信号机识别装置1〇〇的块图。如图1所示，信号机识别装置100搭载于车辆51，从搭载于该车辆51的各种设备输入地图信息D02、摄像机1目息D03、车辆当前位置信息D05及图像数据D07。而且，将由该信号机识别装置1〇〇识别的信息即信号机信息D04向后面的装置输出。[0032]摄像机信息D03是涉及摄像机11参照图2相对于车辆51的设置位置的信息。当取得表示车辆51在地图上的朝向的三维信息时，能够基于摄像机信息D03推定摄像机11对车辆周围的拍摄区域。[0033]地图信息D02是由包含车辆行驶的行驶路径的地图数据车辆周围的地图信息）的地图数据库赋予的信息，包含存在于行驶路径上的地上路标等的物体目标的位置信息及信号机的位置信息等。[0034]如图2所示，信号机识别装置100具备:摄像机11摄像部）、车辆当前位置检测部12、地图信息取得部17、摄像方向设定部13、信号机识别部14及路标信息取得部18。[0035]摄像机11是例如具备CCD、CMOS等的固体拍摄元件的摄像机，设置于车辆51，拍摄行驶路径的周围，取得周边区域的数字图像。摄像机11将拍摄到的图像作为图像数据D07向信号机识别部14输出。另外，摄像机11储存与摄像机11相对于车辆51的设置位置相关的信息，并作为摄像机信息D03向摄像方向设定部13输出。对于与摄像机11的设置位置相关的信息，能够通过将例如校准用的标记等相对于车辆51设置在已知的位置，并根据由摄像机11拍摄的图像上的位置计算出设置位置。进而，摄像机11经由相对于车辆51在水平Pan、倾斜tilt方向上转动自如的机构而设置，具有驱动水平、倾斜方向的旋转角度的驱动机构，并通过驱动水平、倾斜方向的旋转角度，由此，能够以将摄像机11成为期望的摄像方向的方式，控制摄像机11的姿势。[0036]地图信息取得部17从包含车辆行驶的行驶路径的地图信息（车辆周围的地图信息）的地图数据库，取得存在于行驶路径周边的地上路标等的物体目标的位置信息及信号机的位置信息等。将该地图信息作为地图信息D02向车辆当前位置检测部12和摄像方向设定部13输出。[0037]路标信息取得部18为例如车载的传感用摄像机或激光雷达等，识别地上路标路面标记车道标志、停车线、文字）、路边石、信号机、标识等），取得相对于车辆51的相对位置的信息。将取得的信息作为路标信息DO1向车辆当前位置检测部12输出。[0038]车辆当前位置检测部12取得路标信息D01及地图信息D02,基于这些信息，检测车辆51在地图上的当前位置，并其作为车辆当前位置信息D05进行输出。如上述，路标信息D01中包含表示相对于地上路标的车辆51的相对位置关系的信息。因此，通过对照该路标信息D01的位置信息和地图信息D02所包含的地上路标的位置信息，能够检测车辆51在地图上的当前位置。在此，“位置”包含坐标及姿势。具体而言，地上路标的位置中包含其坐标及姿势，车辆51的位置中包含其坐标及姿势。车辆当前位置检测部12将成为基准的坐标系中的坐标x，y，z及作为各坐标轴的旋转方向的姿势偏航，俯仰、滚动作为车辆当前位置信息D05输出。[0039]摄像方向设定部I3基于车辆当前位置信息D05和地图信息D02,以存在于车辆51的行驶路径的信号机进入摄像机11的拍摄区域内的方式，姿势控制摄像机11的摄像方向。具体而言，通过以成为将摄像机11的水平、倾斜方向的旋转角度设为目标的摄像方向的方式驱动，能够控制摄像机11的姿势。而且，根据在该摄像方向拍摄的图像，设定推定为信号机存在的检测区域，并作为检测区域信息D06输出。即，如果摄像机11的姿势被确定，且设定拍摄的区域，则能够在由摄像机11拍摄的图像上特定信号机存在的位置，因此，能够将包含该位置的区域设定为检测区域。该检测区域信息D06向信号机识别部14输出。此时，检测区域设定成即使信号机在车辆动作及车辆当前位置信息中产生误差时，各信号机也不会脱离检测区域内的大小。摄像方向设定部13具备基于车辆51的位置、信号机位置、信号机位置的变化量，确定摄像机11的摄像方向的功能。对于摄像方向设定部13的详细内容，参照图3后面进行叙述。[0040]信号机识别部14根据由摄像机11拍摄的图像数据D07,并基于上述的检测区域信息D06识别信号机。具体而言，基于由摄像机11输出的图像数据D07、及由摄像方向设定部13设定的检测区域信息D06,对检测区域实施用于识别信号机的图像处理。作为图像处理的方法，例如能够使用将信号机具有的信号灯与工业用电源的交流周期同步的闪烁光进行检测的方法，或使用进行红、绿、黄的色调及圆形形状等的特征的类似判定的方法等进行检测。除此之外，还能够应用用于检测信号机的已知的图像处理。信号机的识别处理不对由摄像机11拍摄的图像数据D07的整体，而对作为其一部分设定的检测区域进行实施，由此，能够减轻用于信号机检测的信息处理的负荷，并迅速地检测信号机。而且，信号机识别部14将信号机的识别结果作为信号机信息D04进行输出。此外，信号机的识别处理不限定于上述的方法，也能够采用其它方法。[0041]图3是表示摄像方向设定部13的详细构成的块图。如图3所示，摄像方向设定部13具备:信号机位置推定部21、位置变化量计算部22、摄像姿势设定部23、摄像机姿势控制部24、及检测区域计算部25。[0042]信号机位置推定部21以地图信息D02和车辆当前位置信息D05为输入，并输出检测位置信息D08。地图信息D02中包含各信号机的坐标，因此，信号机位置推定部21能够基于各信号机的坐标和车辆51的坐标、及摄像机11的姿势，求得信号机相对于车辆51的相对坐标。因此，如果摄像机11拍摄周围时的姿势被确定，则能够特定拍摄的图像上的信号机在要拍摄的图像上的位置。例如，如图5所示，能够在图像R1内设定信号机的推定位置x2，y2。即，信号机位置推定部21具备基于车辆51周围的地图信息，推定信号机的位置的功能。[0043]位置变化量计算部22计算出信号机位置在图像R1内的变化量。即，如图6所示，在图像R1内，取得以往的检测位置坐标xl，yl和当前的检测位置坐标x3，y3，计算出信号机在图像上的位置变化量。而且，将运算出的信号机在图像上的位置变化量作为检测位置变化信息D09进行输出。具体而言，运算x坐标的差值x3—xl=dx、及y坐标的差值y3—y1二dy，并求得变化量dx，dy。此时，在以往的检测时和当前的检测时，摄像机11的姿势相同成为条件。另外，作为以往的检测位置坐标，能够使用检测周期的一个周期前的坐标。或如果未附有噪声，则也可以使用两个周期以上前的坐标。即，位置变化量计算部22具备计算出伴随着信号机位置推定部21中推定的信号机位置的时间经过的变化量的功能。[0044]摄像姿势设定部23参照上述的变化量dx，dy，根据该变化量推定信号机在图像R1内的移动方向。而且，以基于推定的移动方向，信号机不会脱离图像R1内的方式，确定摄像机11的摄像方向。具体而言，根据上述的变化量dx，dy求得信号机在图像R1内的变化方向，且以信号机位于成为该变化方向的相反方向的侧的图像R1内的适当部位的方式，确定摄像机11的摄像方向。即，摄像姿势设定部23具备基于车辆51的位置、信号机位置推定部21中推定的信号机位置、信号机位置的变化量，确定摄像机11的摄像方向并作为摄像方向设定部的功能。[0045]如上述的图5所示，信号机存在于图像R1内的右侧的符号ql的地点，还如图6所示，在该信号机的移动方向为右上方向的情况下，即在dx为正的值dx〇，办为负的值0的情况下，推定为在图像R1内的信号机向右上方向移动。因此，如图7所示，以信号机位于图像R1内的左下的符号q2的位置的方式确定摄像机11的摄像方向。在此，在这种情况下，即使假定直到车辆通过信号机的地点的期间，车辆动作或车辆当前位置信息中产生误差时，也判断为推定位置x2，y2存在于信号机不会脱离的位置的情况下，不变更摄像机H的摄像方向而维持当前的状态。[0046]摄像机姿势控制部24基于从摄像姿势设定部23输出的摄像姿势信息D10,以信号机不会脱离图像R1内的方式，姿势控制摄像机11的摄像方向。具体而言，通过以成为将摄像机11的水平、倾斜方向的旋转角度设为目标的摄像方向的方式进行驱动，能够控制摄像机11的姿势。而且，输出通过姿势控制设定的摄像机11的姿势信息D11。另外，摄像姿势信息D10在此次的运算时和一个周期前的运算时不变化的情况下，不进行摄像机11的摄像方向的变更而维持当前的摄像方向。摄像机姿势控制部24具备作为摄像方向变更部的功能，该摄像方向变更部以由摄像机11进行的摄像方向成为摄像姿势设定部23中设定的摄像方向的方式变更摄像方向。[0047]检测区域计算部25基于上述的摄像机11的姿势信息D11和地图信息D02、及车辆当前位置信息D05,并根据由摄像机11拍摄的图像R1设定用于检测信号机的检测区域。地图信息D02中，信号机的位置作为地图上的坐标被预先注册。能够基于地图上的信号机的位置的坐标和地图上的车辆51的当前位置的坐标及姿势，求得信号机相对于车辆51的相对位置。而且，基于该相对位置和摄像机11的相对于车辆51的姿势信息D11，求得由摄像机11拍摄的图像R1的图像上的信号机的位置，进一步基于该图像上的信号机的位置，在图像R1内设定检测区域。检测区域设定成即使在车辆动作及车辆当前位置信息中产生误差时，信号机也不会脱离的大小。而且，输出设定的检测区域信息D06。如图2所示，该检测区域信息D06向信号机识别部14输出。[0048]此外，上述的车辆当前位置检测部12、摄像方向设定部13、信号机识别部14能够使用具备CPU、存储器及输入输出部的微控制器实现。具体而言，CPU通过执行预先安装的计算机程序，构成微控制器具备的多个信息处理部（12，13,14。微控制器具备的存储器的一部分构成储存地图信息D02的地图数据库。此外，微控制器也可以兼用作用于与车辆相关的其它控制例如，自动驾驶控制的ECU。[0049]接着，参照图4所示的流程图说明上述的第一实施方式的信号机识别装置1〇〇的作用。首先，步骤S11中，图3所示的信号机位置推定部21基于地图信息D02和车辆当前位置信息D05,在由摄像机11拍摄的图像R1内计算出信号机位置。具体而言，计算出图5所示的符号ql的位置。该处理以规定的运算周期执行。[0050]步骤S12中，位置变化量计算部22计算出信号机位置在图像R1内的变化量。如图6所示，在信号机的位置坐标从xl，y1向（X3，y3移动的情况下，计算出此时的变化量dx，dy。[0051]步骤S13中，摄像姿势设定部23推定图像R1内的信号机是否脱离该图像R1。该处理中，如图6所示，基于信号机的推定位置坐标x2，y2及变化量dx，dy，推定信号机是否脱离图像R1。[0052]而且，在推定为脱离的情况下步骤S13中是），步骤S14中，摄像机姿势控制部24即使在信号机以不脱离图像R1的方式或不可避免地脱离的情况下，也以将摄像方向的变更次数限定为最小限度的方式设定摄像机11的摄像方向并进行姿势控制。例如，如图6所示，在推定为在图像R1内的信号机存在于坐标x2，y2，且该信号机向右上方移动的情况下，在该状态下推测信号机脱离图像R1。因此，如图7所示，以信号机位于图像R1内的左下所示的符号q2的位置的方式，设定摄像机11的摄像方向。步骤S15中，摄像机姿势控制部24以成为所设定的摄像方向的方式，控制摄像机U的姿势。[0053]另一方面，在推定为不脱离的情况下（步骤S13中否），将处理进入步骤S16。然后，步骤S16中，检测区域计算部25根据由摄像机11拍摄的图像R1，设定用于检测信号机的检测区域。其结果，在车辆51接近设置信号机的交叉路口时，能够避免该信号机从图像R1脱离。[0054]接着，说明车辆51接近信号机时的、信号机位置在图像R1内的变化。图8是示意性地表示车辆51在直线的行驶路径XI上行驶且向信号机P1接近的情形的说明图。图8a表示车辆与信号机P1的位置关系，（b表示变更摄像机11的摄像方向之前的图像Rl，（c表示变更摄像机11的摄像方向之后的图像R1。[0055]图8a所示的地点Z1是车辆51充分远离信号机P1，且从由摄像机11拍摄的图像能够确认信号机P1的地点。另外，地点Z2是车辆51接近信号机P1的地点。地点Z3是设定有停车线的地点。因此，地点Z2〜Z3的区域是车辆51进行制动的区域，即判断停止或行驶，且在判断为停止的情况下，使车辆51减速，且以车辆51停止的方式进行制动的区域。因此，由地点Z2〜Z3表示的区域是需要高精度地识别信号机P1的点亮状态的变化的区域。[0056]如图8a所示，在车辆51在地点Z1行驶的情况下，如图8⑹的符号bl所示，信号机Pi存在于由摄像机11拍摄的图像R1内的右下方。[0057]之后，当车辆51到达地点Z2时，如符号b2所示，信号机P1向图像R1内的右上方向移动。此时，随着车辆51的接近，信号机P1较大地显示。因此，在该状态下，信号机P1从图像R1脱离。[0058]本实施方式中，在车辆51到达行驶路径的地点Z2的时间点，变更摄像机11的摄像方向。具体而言，使摄像机11的拍摄区域向右上方向移动。据此，如图8c的符号cl所示，信号机P1向图像R1内的左下移动。因此，在车辆51进一步行进并到达地点23的时间点，如符号c2所示，信号机P1不会从图像R1脱离而可靠地显示。即，在需要高精度地识别信号机打的点亮状态的地点Z2〜Z3的区域中，不变更摄像机11的摄像方向，就能够将信号机pl停留于图像R1内。而且，通过在该图像R1内设定检测区域，能够进行高精度的信号机识别。[0059]这样，第一实施方式的信号机识别装置1〇〇中，在检测存在于由摄像机11拍摄的图像R1内的信号机p1时，基于信号机p1在图像R1内的移动方向，推定该信号1是否脱离。而且，在推定为脱离的情况下，预先以图像R1内的信号机P1的位置成为不脱离的位置的方式，变更摄像机11的摄像方向。_[0060]因此，车辆51向图8a所示的信号机P1接近且到达地点Z2之后丄不进行摄像机11的摄像方向的姿势控制，就能够避免信号机P1从图像R1脱尚。即，在检测彳目号机P1的点亮状态时成为最重要的地点Z2〜Z3的区域中，不需要摄像机11的摄像方向的变更，或降低摄像方向的变更的次数，因此，能够避免由摄像机11拍摄的图像中产生模糊。因此，能够可靠地检测信号机P1的点壳状态而用于自动驾驶等。[0061]另外，摄像方向设定部13根据信号机在图像上的位置和信号机在图像上的将来的移动范围，计算出摄像方向的变更量，并基于摄像机11的摄像范围和摄像方向的变更量设定摄像方向，因此，能够可靠地避免信号机P1从图像R1脱离的情况。[0062][第一实施方式的变形例的说明][0063]接着，说明第一实施方式的信号机识别装置100的变形例。上述的第一实施方式中设为如下构成，基于车辆的车辆当前位置信息D05及地图信息D02参照图3，推定存在于图像R1内的信号机P1的位置，并基于该信号机P1的移动方向进行摄像机11的摄像方向的姿势控制。[0064]与之相对，在变形例的信号机识别装置中，图3所示的信号机位置推定部21通过对图像R1内的图像进行实际图像处理，来识别信号机P1的位置。而且，位置变化量计算部22通过图像处理检测以往识别的信号机P1的位置xl，yl和当前识别的信号机P1的位置x2，y2，并根据检测的位置信息求得检测位置变化信息D09。[0065]这样，在变形例的信号机识别装置中，通过图像处理识别存在于图像R1内的图像内的信号机P1，并基于该信号机P1的移动方向进行摄像机11的摄像方向的姿势控制，因此，能够进行更高精度的摄像机11的摄像方向的姿势控制。[0066][第二实施方式的说明][0067]接着，说明本发明的第二实施方式。第二实施方式的信号机识别装置的整体构成与上述的图1相同，摄像方向设定部13的构成不同。以下，参照图9所示的块图，说明第二实施方式的摄像方向设定部13的构成。[0068]如图9所示，摄像方向设定部13具备:行驶路径确定部26、信号机位置推定部21、摄像姿势设定部23、摄像机姿势控制部24、及检测区域计算部25。在代替图3所示的“位置变化量计算部22”，而设置“行驶路径确定部26”的点上，与上述的第一实施方式不同。对于与图3相同的构成要素，标注相同的符号并省略构成说明。[0069]向行驶路径确定部26中输入地图信息D02及车辆当前位置信息D05,使用这些信息，求得车辆51行驶的路径。例如，基于地图信息D02检测车辆51当前行驶的行驶路径，进一步根据车辆当前位置信息D05检测车辆51在该行驶路径上的哪个位置行驶。而且，根据该检测结果推定车辆51今后行驶的路径，并作为行驶路径信息D12输出。例如，在推定为车辆51在弯道之前行驶，之后进入该弯道的情况下参照后述的图11a的车辆51，将该弯道的转弯方向（左或右方向）及曲率半径的信息作为行驶路径信息D12输出。[0070]摄像姿势设定部23基于由行驶路径信息D12及信号机位置推定部21输出的检测位置信息D08,确定摄像机11的摄像方向。具体而言，摄像姿势设定部23根据车辆51的行驶状况预测摄像机11拍摄信号机P1时的摄像方向的变化，即使在摄像方向上产生变化的情况下，也以信号机P1不从图像R1脱离的方式，确定摄像机11的摄像方向。[0071]接着，参照图10所示的流程图说明第二实施方式的信号机识别装置的作用。首先，步骤S31中，图9所示的信号机位置推定部21基于地图信息D02和车辆当前位置信息D05,在由摄像机11拍摄的图像R1内计算出信号机位置。该处理以规定的运算周期执行。[0072]步骤S32中，行驶路径确定部26从地图信息D02取得推定为车辆51将来行驶的路径，进一步基于车辆51的车辆当前位置信息D〇5，预测图像R1内的信号机的动作。[0073]步骤S33中，摄像姿势设定部23推定图像R1内的信号机是否从该图像R1脱离。该处理中，基于车辆51的行驶路径的状况，并根据该车辆51向设置信号机的交叉路口接近时的车辆51的行驶方向等的信息，推定信号机是否从图像脱离。[0074]而且，在推定为脱离的情况下步骤S33中是），步骤S34中，摄像机姿势控制部24即使在信号机以不脱离图像R1的方式或不可避免地脱离的情况下，也以将摄像方向的变更次数限定为最小限度的方式设定摄像机11的摄像方向并进行姿势控制。对于摄像机11的摄像方向的姿势控制，参照图11〜图13后面叙述。步骤S35中，摄像机姿势控制部24以成为设定的摄像方向的方式，进行摄像机11的摄像方向的姿势控制。然后，将处理进入步骤S36。[0075]另一方面，在推定为不脱离的情况下（步骤S33中否），将处理进入步骤S36。步骤S36中，检测区域计算部25根据由摄像机11拍摄的图像R1，设定用于检测信号机的检测区域。根据这种设定，能够避免在车辆51向设置信号机的交叉路口接近时，该信号机从图像R1内脱离。[0076]接着，参照图11〜图13说明上述的步骤S34的处理的详细内容。例如，如图11a所示，举例说明车辆51在向右方向转弯的弯道X2上行驶，且朝向设置有信号机P1的交叉路口的情况。如图11仏所示，车辆51向地点21、22、23、24行进。[0077]当前，在图11a所示的地点Z1，如图11⑹的符号bl所示，信号机P1存在于图像R1的左下方。图12中表示该扩大图。而且，通过车辆51在弯道X2上行驶，信号机P1相对于图12所示的图像R1如曲线L1那样移动。此外，图12所示的Z1〜Z4与图11仏所示的地点21〜24对应。因此，如果改变摄像机11的摄像方向而不使图像R1移动，则信号机P1从图像R1脱离。[0078]在图像R1内，信号机P1随着曲线L1所示的移动轨迹进行移动是能够从地图信息D02及车辆的车辆当前位置信息D05预先取得的信息。于是，摄像机姿势控制部24推定彳目号机P1如图12所示的曲线L1那样变化，且即使在产生曲线L1那样的变化的情况下，也以信号机P1不会从图像R1脱离的方式，进行摄像机11的摄像方向的姿势控制。[0079]具体而言，在车辆51到达图11a所示的地点Z1的时间点，如图11b的符号bl所示，在信号机存在于图像R1的左下方的情况下，如图11C的符号cl所示，以信号机位于图像R1的中央的偏左的方式进行摄像机11的摄像方向的姿势控制。[0080]于是，在车辆51到达地点Z2时，如符号c2所示，信号机P1位于图像R1的左端部。进而，车辆51到达地点Z3、Z4时，信号机P1如符号c3、c4所示，信号机P1位于图像R1内。即，在车辆51到达地点Z1的时间点，基于车辆51的将来的行驶路径及车辆51的车辆当前位置信息D05，预测信号机在图像R1内的动作，基于该预测预先进行摄像机11的摄像方向的姿势控制，由此，通过地点Z1后，不进行摄像机11的摄像方向的姿势控制，就能够在图像R1内捕捉信号机P1。[0081]接着，为了与图11所示的摄像机11的摄像方向的姿势控制进行对比，参照图13说明仅基于信号机P1在图像R1内的移动方向变更摄像机11的摄像方向的情况，即不推定车辆51的行驶路径而变更摄像机11的摄像方向的情况。图13a表示车辆51的位置和作为该车辆51的行驶路径的弯道X2，是与图11a相同的图。而且，如图13b的符号bl所示，在信号机P1存在于图像R1内的左下方，且该信号机P1向左方向移动的情况下，如图13c的符号c1所示，以信号机P1位于图像R1的右侧的方式，变更摄像机11的摄像方向。[0082]之后，当车辆51到达地点Z2时，这次如符号c2所示，信号机P1向右上方向移动。因此，当车辆51到达地点Z3时，如符号c3所示，信号机P1从图像R1内脱离的可能性变高。因此，在车辆51到达地点Z3的时间点，如图13d的符号dl所示，以信号机P1位于图像R1的左侧的方式变更摄像机11的摄像方向。而且，在车辆51到达地点Z4的时间点，如图13d的符号d2所示，信号机P1位于图像R1的大致中央。[0083]这样，在图13所示的例子中，能够避免信号机P1从图像R1内脱离的情况，但在车辆51从地点Z1到达地点Z4的期间进行两次摄像方向的变更。其结果，摄像机11的摄像方向的姿势控制的时间增加，存在信号机P1的点亮状态的检测精度降低的可能性。[0084]与之相对，第二实施方式的信号机识别装置中，基于作为车辆51的行驶路径的弯道X2,姿势控制摄像机11的摄像方向，因此，如图11所示，在到达充分远离信号机P1的地点即地点Z1的时间点，变更摄像机11的摄像方向时，之后，信号机P1不会从图像R1脱离。因此，在车辆51接近信号机P1之后的摄像机11的摄像方向的变更消失。[0085]这样，第二实施方式的信号机识别装置100中，摄像方向设定部13具备行驶路径确定部26,利用该行驶路径确定部26预先推定车辆51的行驶路径，由此，预测信号机P1在图像R1内的移动范围。即，预测信号机在图像上的将来的移动范围。而且，基于该移动范围，以信号机不会脱离的方式，变更摄像机11的摄像方向。[0086]因此，即使是车辆51在弯道上行驶的情况等，信号机P1在图像R1内复杂地移动的情况下，通过必要最小限度的摄像方向的变更能够避免信号机P1的脱离。其结果，不需要在接近信号机P1的地点Z2〜Z4的摄像机11的摄像方向的变更，因此，能够可靠地检测信号机P1的点亮状态的变化，并可靠地判断是在交叉路口停止，还是进行行驶。[0087][第三实施方式的说明][0088]接着，说明本发明的第三实施方式。上述的第一实施方式及第二实施方式中，表示如下的情况，即在充分远离信号机P1存在的交叉路口的地点即地点Z1变更摄像机11的摄像方向，之后，不需要摄像机11的摄像方向的变更。[0089]第三实施方式中，设为车辆51进行自动驾驶，且在信号机P1的跟前设定限制摄像机的摄像方向的变更的区域（以下称为“变更限制区域”）。而且，在该变更限制区域内不变更摄像机11的摄像方向，并以信号机P1不从图像R1内脱离的方式控制。以下，参照图14、图15进行详细地说明。此外，装置构成与第一实施方式中表示的图1〜图3—样，因此，省略说明。[0090]图14a是表示在信号机P1的跟前设定的变更限制区域Q1的说明图。在自动驾驶的车辆51向信号机P1接近的情况下，监视该信号机P1的点亮状态红色，绿色的点亮状态等），根据该点亮状态，判断是否使车辆51停止，或是否以该状态继续行驶。将需要该判断的区域设定为上述的变更限制区域Q1。即，当变更摄像机11的摄像方向时，点亮状态的检测精度降低，因此，在需要该判断的区域中，以能够高精度地检测信号机P1的点亮状态的方式，设定为变更限制区域Q1。在此，变更限制区域Q1能够基于相对于信号机n设定的停止位置、车辆51的行驶速度、车辆当前位置信息D05、地图信息D02进行设定。[0091]例如，如图14a所示，在未到达变更限制区域Q1的地点即地点Z1，从车辆51至信号机P1具有充分的距离，因此，即使变更摄像机11的摄像方向，也不影响信号机P1的点亮状态检测。另外，在穿过变更限制区域Q1的地点Z2,车辆51是否停止，或是否继续行驶的判断已经结束，因此，摄像机11的摄像方向的变更不会对车辆51的自动驾驶的行驶控制造成较大的影响。[0092]因此，第三实施方式中，设定变更限制区域Q1，并在该变更限制区域Q1以外的地点以变更摄像机11的摄像方向的方式控制摄像机11的姿势。[0093]具体而言，如图14⑹的符号bl所示，在地点Z1，存在于图像R1的信号机P1存在于中央稍靠右侧，因此，在该时间点判断为信号机P1不会脱离。但是，车辆51到达变更限制区域Q1的之前的地点Z1起，在该时间点变更摄像机11的摄像方向。其结果，如图14c的符号c1所示，以信号机P1位于图像R1内的左下方的方式被控制。之后，在车辆51通过变更限制区域Q1内并直到到达地点Z2的期间，如图14c的符号c2、c3所示，信号机P1不会从图像R1内脱离而能够被捕捉。[0094]与之相对，在未设定变更限制区域Q1的情况下，如图15所示，在变更限制区域Q1内变更摄像机11的摄像方向。即，图15a中，在车辆51到达地点Z1的时间点，如图15〇的符号bl所示，信号机H存在于图像R1的中央稍靠右侧，因此，不能判断为该信号机P1从图像R1内脱离。而且，如符号b2所示，在信号机P1位于图像R1的右端部的时间点（图15a中，车辆51在变更限制区域Q1内的位置），判断为脱离，因此，在该时间点变更摄像机11的摄像方向。[0095]其结果，如图15c的符号cl所示，以信号机P1来到图像R1的左下方的方式被控制。另外，车辆51进行行驶时，在到达地点Z2的时间点，如图15c的符号c2所示，信号机P1位于图像R1内的中央稍靠右侧。在该情况下，在需要信号机P1的点亮状态的识别结果的变更限制区域Q1内，变更摄像机11的摄像方向。[0096]因此，在需要进行车辆51根据信号机P1的点亮状态是否停止，或是否继续行驶的判断的区域内，变更摄像机11的摄像方向，由于该摄像方向的变更，存在信号机P1的检测精度降低的可能性。[0097]第三实施方式的信号机识别装置100中，如图14所示，在信号机P1的跟前设定变更限制区域Q1，禁止在该变更限制区域Q1内的摄像机11的摄像方向的变更，因此，能够防止信号机P1从图像R1内脱离，且高精度地检测信号机P1的点亮状态。其结果，能够适当地判断是否将车辆51停止，或者行驶。[0098]另外，变更限制区域Q1根据车速、减速G、直到停车线的距离进行变化。通过根据该变化设定变更限制区域Q1，能够将需要信号机P1的识别结果的时间和变更摄像机丨丨的摄像方向的时间可靠地错开。[0099][第三实施方式的变形例的说明][0100]上述的第三实施方式中，在信号机P1的跟前设定禁止摄像机11的摄像方向的变更的变更限制区域Q1，并在车辆51到达该变更限制区域Q1之前的时间点变更摄像机u的摄像方向，由此，以避免信号机P1从图像R1内脱离的方式进行控制。[0101]信号机P1的点亮状态的检测在规定的每个运算周期执行，由摄像机11拍摄的图像中，有时仅使用例如运算周期的开始时间点的图像。在这种情况下，在该运算周期内，即使在不使用由摄像机11拍摄的图像的时间段时域），变更摄像机n的摄像方向，也不影响信号机P1的点亮状态的检测。[0102]于是，在变形例的信号机识别装置中，车辆51在变更限制区域Q1内行驶时，划分成使用由摄像机11拍摄的图像的时间段以下，称为“图像使用时间段，，）和能够变更不使用由摄像机11拍摄的图像的摄像机11的摄像方向的时间段（以下，称为“变更时间段”），仅在图像使用时间段，以禁止摄像方向的变更的方式设定变更禁止区域。[0103]具体而言，如图16a所示，在变更限制区域Q1内设定与图像使用时间段对应的区域Qa、及与变更时间段对应的区域Qb。这些区域Qa、Qb能够基于车辆51的行驶速度及信号机识别部14的运算周期进行设定。而且，对于区域Qb，允许摄像机11的摄像方向的变更。[0104]因此，例如变更限制区域Q1内的地点Z2在区域Qb内，因此，能够变更摄像机11的摄像方向。因此，如图16⑹所示，在车辆51在地点Z1行驶的情况下，如图16⑹的符号bl所示，信号机P1不会脱离，因此，不变更摄像机11的摄像方向。而且，在车辆51到达地点Z2的时间点，如符号b2所示，判断为信号机P1从图像R1脱离，因此，变更摄像机11的摄像方向。其结果，如图16c的符号cl所示，使信号机P1位于图像R1内的左下，之后，在车辆51到达地点Z3时，也如图16的符号c2所示，信号机P1不会从图像R1脱离。[0105]这样，第三实施方式的变形例的信号机识别装置100中，基于信号机识别部14的运算周期，设定与图像使用时间段对应的区域Qa和与变更时间段对应的区域Qb，对于区域Qb，允许摄像机11的摄像方向的变更。因此，即使在车辆51进入变更限制区域Q1内的情况下，在区域Qb内的行驶时，能够变更摄像机11的摄像方向，能够进一步可靠地避免信号机P1从图像R1内脱离的情况。[0106][第四实施方式的说明][0107]接着，说明本发明的第四实施方式。此外，装置构成与第一实施方式中表示的图1〜图3—样，因此，省略说明。[0108]第四实施方式中，在成为监视对象的信号机存在两个的情况下，以双方的信号机不从图像脱离的方式，进行摄像机11的摄像方向的姿势控制。以下，参照图17进行详细地说明。如图17a所示，在车辆51的行驶路径X3上存在两个信号机P1、P2且双方都能够被拍摄的情况下，以双方的信号机P1、P2不从图像R1脱离的方式进行摄像机11的摄像方向的姿势控制。[0109]因此，车辆51到达地点Z1时，如图17⑹的符号bl所示，得到存在两个信号机P1、P2的图像R1。之后，到达地点Z2时，如符号b2所示，判断为信号机P2从图像R1脱离。在该情况下，在该地点Z2变更摄像机11的摄像方向。其结果，如图17c的符号c1所示，以信号机P1、P2位于图像R1内的左侧的方式设定摄像机11的摄像方向并进行姿势控制。即，以两个信号机P1、P2中，左侧的信号机P1位于图像R1的左侧的方式，且双方的信号机P1、P2不脱离的方式进行控制。[0110]进而，车辆51到达地点Z3时，如图17c的符号c2所示，判断为信号机P2从图像R1脱离。在该情况下，在该地点Z3变更摄像机11的摄像方向。其结果，如图17d的符号dl所示，以信号机P1、P2位于图像R1内的左侧的方式设定摄像机11的摄像方向并进行姿势控制。[0111]之后，车辆51到达地点Z4时，如图17d的符号d2所示，判断为信号机P2从图像R1内脱离。在该情况下，在该地点Z4变更摄像机11的摄像方向。其结果，如图17e的符号el所示，以信号机P1、P2位于图像R1内的左侧的方式设定摄像机11的摄像方向并进行姿势控制。而且，在车辆51到达地点Z5的时间点，双方的信号机PI、P2不会从图像R1内脱离而被捕捉。[0112]这样，在第四实施方式的信号机识别装置1〇〇中，即使存在两个信号机P1、P2的情况下，各信号机P1、P2也不会从图像R1脱离而能够继续显示。在此，图17所示的例子中，在图17a所示的地点Z2、Z3、Z4的3个部位进行摄像机11的摄像方向的姿势控制。这种摄像机11的摄像方向的姿势控制如上述的图16所示，通过在成为不使用由摄像机11拍摄的图像的期间的区域Qb执行信号识别处理，能够不对信号机状态的检测精度造成影响地变更摄像机11的摄像方向。[0113]此外，上述的第四实施方式中，说明了在存在两个信号机P1、P2的情况下，以这些信号机P1、P2不从图像R1脱离的方式设定摄像机11的摄像方向并进行姿势控制的例子，但本发明不限定于两个信号机，在存在3个以上的信号机的情况下也能够同样适用。[0114][第五实施方式的说明][0115]接着，说明本发明的第五实施方式。此外，装置构成与第一实施方式中表示的图1〜图3—样，因此，省略说明。[0116]第五实施方式中，在成为监视对象的信号机存在两个，且双方的信号机同步动作的情况下，以将其中在图像R1内的移动量较小的一方优先不使其脱离的方式设定摄像机11的摄像方向并进行姿势控制。以下，参照图18进行详细地说明。如图18a所示，在车辆51的行驶路径上存在两个信号机P1、P2的情况下，由摄像机11在地点Z1拍摄的图像R1如图18b的符号bl所示，在图像R1的中央部捕捉到各信号机P1、P2。而且，在各信号机P1、P2同步动作的情况下，即在点灯颜色的变化相同的情况下，以各信号机P1、P2中推定为在图像R1内的移动量较小的信号机P1不从图像R1脱离的方式，进行摄像机11的摄像方向的姿势控制。[0117]即，在车辆51到达地点Z2的时间点，如图18⑹的符号b2所不，即使在判断为信号机P2脱离的情况下，也不进行摄像机11的摄像方向的姿势控制。而且，在车辆51到达地点Z3的时间点，如符号b3所示，在判断为信号机P1脱离的情况下，进行摄像机11的摄像方向的姿势控制，如图18c的符号cl所示，信号机P1位于图像R1的左侧。之后，车辆51到达地点Z4、Z5时，分别如符号C2、c3所示，信号机P1不会从图像R1脱离而被捕捉。其结果，能够可靠地识别信号机P1的点亮状态。当然，信号机P2与信号机P1同步地动作，因此，即使不能够检测点亮状态，也不会产生问题。_[0118]另外，在地点Z3的摄像机11的摄像方向的姿势控制如上述的图16所示，通过在成为不使用由摄像机11拍摄的图像的期间的区域Qb执行信号识别处理，能够不对信号机状态的检测精度造成影响地变更摄像机11的摄像方向。[0119]这样，第五实施方式的信号机识别装置中，在由摄像机11拍摄的图像R1内，存在相互同步动作的两个信号机P1、P2的情况下，以其中一信号机上述的例子中，信号机P1不从图像R1脱离的方式进行控制，因此，能够降低摄像机11的摄像方向的变更的次数，且可靠地检测信号机的点亮状态。[0120]以上，基于图示的实施方式说明本发明的信号机识别装置及信号机识别方法，但本发明不限定于此，各部分的构成能够置换成具有相同功能的任意的构成。[0121]符号说明[0122]11摄像机摄像部）[0123]12车辆当前位置检测部[°124]13摄像方向设定部[0125]14信号机识别部[0126]21信号机位置推定部[0127]22位置变化量计算部[0128]23摄像姿势设定部[0129]24摄像机姿势控制部[0130]25检测区域计算部[0131]26行驶路径确定部[0132]51车辆[0133]1〇〇信号机识别装置[0134]D01路标信息[0135]D02地图信息[0136]D03摄像机信息[0137]D04信号机信息[0138]D05车辆当前位置信息[0139]D06检测区域信息[0140]D07图像数据[0141]D08检测位置信息[0142]D09检测位置变化信息[0143]D10摄像姿势信息[0144]D11姿势信息[0145]D12行驶路径信息[0146]P1、P2信号机[0147]Q1变更限制区域[0148]R1图像[0149]XI行驶路径[0150]X2弯道[0151]X3行驶路径

权利要求：1.一种信号机识别装置，其特征在于，具备：摄像部，其搭载于车辆，拍摄所述车辆周围的图像；地图信息取得部，其取得所述车辆周围的地图信息；车辆当前位置检测部，其检测所述车辆在地图上的当前位置；信号机位置推定部，其基于所述车辆当前位置和所述地图信息，推定信号机在图像上的位置；摄像方向设定部，其基于所述信号机在图像上的位置和所述信号机在图像上的将来的移动方向，设定所述摄像部的摄像方向；摄像方向变更部，其将所述摄像部的摄像方向变更为由所述摄像方向设定部设定的摄像方向；信号机识别部，其根据所述摄像部在所述摄像方向拍摄的图像，识别信号机。2.如权利要求1所述的信号机识别装置，其特征在于，所述摄像方向设定部基于所述信号机在图像上的位置和所述信号机在图像上的将来的移动范围，设定所述摄像部的摄像方向。3.如权利要求2所述的信号机识别装置，其特征在于，摄像方向设定部根据所述信号机在图像上的位置和所述信号机在图像上的将来的移动范围，计算出摄像方向的变更量，基于所述摄像部的摄像范围和所述变更量设定摄像方向。4.如权利要求2或3所述的信号机识别装置，其特征在于，所述摄像方向设定部基于所述车辆的将来的行驶路径，预测所述信号机在图像上的将来的移动范围。5.如权利要求1〜4中任一项所述的信号机识别装置，其特征在于，在多个信号机能够利用所述摄像部拍摄的情况下，所述摄像方向设定部以所述多个信号机包含在图像上的方式，设定所述摄像部的摄像方向。6.如权利要求1〜5中任一项所述的信号机识别装置，其特征在于，在同步动作的多个信号机能够利用所述摄像部拍摄的情况下，所述摄像方向设定部基于所述同步动作的多个信号机中、在图像上的移动量最小的信号机的移动方向，设定所述摄像部的摄像方向。7.如权利要求1〜6中任一项所述的信号机识别装置，其特征在于，所述摄像方向设定部基于从相对于所述信号机设置的停止位置至所述车辆的距离、及所述车辆的行驶速度，设定对所述摄像部的摄像方向的变更进行限制的变更限制区域，并在进入该变更限制区域内之前变更所述摄像部的摄像方向。8.如权利要求1〜6中任一项所述的信号机识别装置，其特征在于，所述摄像方向设定部基于从相对于所述信号机设置的停止位置至车辆的距离、车辆的行驶速度、及所述信号机识别部进行的信号机识别的运算周期，设定所述摄像部的摄像方向的变更时间段，所述摄像方向变更部在所述变更时间段变更所述摄像部的摄像方向。9.一种信号机识别方法，其特征在于，具备如下的步骤：利用摄像部拍摄车辆周围的图像；取得车辆周围的地图信息；检测车辆在地图上的当前位置；基于车辆当前位置和所述地图信息，推定所述信号机在图像上的位置；基于所述信号机在图像上的位置和所述信号机在图像上的将来的移动方向，设定所述摄像部的摄像方向；将所述摄像部的摄像方向变更为设定的摄像方向；所述摄像部根据在所述摄像方向拍摄的图像，识别信号机。

百度查询： 日产自动车株式会社 信号机识别装置及信号机识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD