申请/专利权人：日立汽车系统株式会社

申请日：2016-07-01

公开（公告）日：2020-09-15

公开（公告）号：CN107852465B

主分类号：H04N5/238(20060101)

分类号：H04N5/238(20060101);B60R21/00(20060101);G06T1/00(20060101);G08G1/16(20060101);H04N7/18(20060101)

优先权：["20150717 JP 2015-143192"]

专利状态码：有效-授权

法律状态：2020.09.15#授权;2018.04.20#实质审查的生效;2018.03.27#公开

摘要：本发明获得一种能够提高车载摄像机的、自身车辆的前灯照射范围内和前灯照射范围外的识别性能的车载环境识别装置。本发明的车载环境识别装置具有：摄像部100，其利用车辆中设置的摄像机来拍摄角度比前灯照射范围大的范围；照射内外曝光调整部，其对前灯照射范围内和前灯照射范围外分别设定恰当的曝光条件；以及识别部500，其根据获取到的影像来进行影像识别。因而，在前灯照射范围内外的交界区域和范围外也能维持较高的识别性能，从而在夜间也能用于广角感测。

主权项：1.一种车载环境识别装置，其具备：摄像部，其使用车载摄像机来拍摄自身车辆的前方；以及识别部，其使用由该摄像部拍摄到的拍摄影像来进行周围环境的识别，该车载环境识别装置的特征在于，所述车载摄像机能够拍摄包含自身车辆的前灯照射范围且在水平方向上比该前灯照射范围广的范围，所述摄像部利用拍摄前灯照射范围内而得的照射区域内的影像和拍摄前灯照射范围外而得的照射区域外的影像来变更亮度的调整量并对所述拍摄影像进行拍摄，所述车载摄像机为立体摄像机，所述摄像部以所述立体摄像机所具有的左右摄像机中的任一方的摄像机的影像为基准来设定所述照射区域内和所述照射区域外，在一边以所述一方的摄像机的影像的局部矩形区域为基准影像来计算与另一方的摄像机的影像的局部矩形区域的相关性，一边实施水平探索的立体匹配时，保障了一方的摄像机的局部矩形区域与另一方的摄像机的进行水平探索的局部矩形区域为同一曝光条件。

全文数据：车载环境识别装置技术领域[0001]本发明涉及一种利用车载摄像机来识别存在于自身车辆周围的障碍物、车道线等的车载周围环境识别装置。背景技术[0002]通过车辆中设置的摄像机来识别自身车辆的周围环境的应用的产品化有增加的倾向。其中，在利用识别出的物体来防止事故于未然的预防安全技术、以自主行驶为目标的车辆控制技术中的应用受到业界期待。用于车辆控制的识别技术需要高可靠性。[0003]例如，在夜间或逆光等在摄像机视场角内同时存在明亮区域和黑暗区域的光源环境下，摄像机的动态范围不足而发生过曝或欠曝，有可能导致无法利用影像来识别对象物。专利文献1中展示有一种技术，其目的在于观测因对向车辆等的前灯而产生的过曝区域，对过曝区域设定对于考虑到是明亮区域这一情况的识别来说合适的曝光量，从而实施对向车等的检测。[0004]现有技术文献[0005]专利文献[0006]专利文献1:日本专利特开2013-168738号公报发明内容[0007]发明要解决的问题[0008]一般的检测车辆前方的障碍物这样的摄像机中，视场角为30度至50度左右，摄像范围与自身车辆的前灯照射范围之间无较大差异。然而，在将广角摄像机用于自身车辆的前方监视的情况下，白天能够进行广角感测，而夜间虽然能够拍摄广角影像，但前灯照射范围外会变暗而难以用于感测。存在如下问题，即，在以与视场角为40度左右的车载前置摄像机同样的方式对前灯照射范围内的影像区域设定了恰当的曝光条件的情况下，前灯照射范围外的影像区域因动态范围不足而发生欠曝，这样就难以检测障碍物等。即，存在因前灯照射范围比广角摄像机的视场角窄而难以在夜间进行广视场角的识别这一问题。[0009]本发明是鉴于上述问题而成，其目的在于提供一种能够提高车载摄像机的、自身车辆的前灯照射范围内和前灯照射范围外的识别性能的车载环境识别装置。[0010]解决问题的技术手段[0011]解决上述问题的本发明的车载环境识别装置具备:摄像部，其使用车载摄像机来拍摄自身车辆的前方；以及识别部，其使用由该摄像部拍摄到的拍摄影像来进行周围环境的识别，该车载环境识别装置的特征在于，所述车载摄像机能够拍摄包含自身车辆的前灯照射范围且在水平方向上比该前灯照射范围广的范围，所述摄像部利用拍摄前灯照射范围内而得的照射区域内的影像和拍摄前灯照射范围外而得的照射区域外的影像来变更亮度的调整量并对所述拍摄影像进行拍摄。[0012]发明的效果[0013]根据本发明，能够提高车载摄像机的、自身车辆的前灯照射范围内和前灯照射范围外的识别性能。尤其是通过考虑以前灯照射范围外的影像区域为对象的曝光调整，在前灯照射范围外也抑制感测的识别性能降低。此外，还抑制前灯照射范围内与前灯照射范围外的交界区域内的识别性能的降低。再者，上述以外的课题、构成及效果将通过以下实施方式的说明来加以明确。附图说明[0014]图1为车载环境识别装置的构成图。[0015]图2为表示照射区域设定部的构成的图。[0016]图3为表示照射内外曝光调整部的构成的图。[0017]图4为表示识别部的构成的图。[0018]图5为示意性地表示摄像机的视场角和前灯照射范围的一例的图。[0019]图6为表示照射区域内外的曝光框的设定例的图。[0020]图7为说明照射区域内外的利用影像的图。[0021]图8为说明照射区域推定部的照射区域的推定方法的图。[0022]图9为说明使用由广角摄像机拍摄到的影像的立体匹配的图。[0023]图10为说明立体用左右区域设定部的构成的图。[0024]图11为说明立体用左右区域设定部的另一构成的图。[0025]图12为表示单一快门定时的处理流程的图。[0026]图13为表示双重曝光的时间图的图。[0027]图14为表示双重曝光的处理流程的图。[0028]图15为表示双重曝光的另一时间图的图。具体实施方式[0029]接着，下面使用附图，对本发明的实施例进行说明。[0030]图1为车载环境识别装置的构成图。本实施例中的车载环境识别装置利用车辆中搭载的车载摄像机来拍摄自身车辆的周围环境而识别障碍物、车道线等周围环境，例如，在判断与障碍物发生碰撞的危险性较高的情况下，可以发出警报或者执行紧急制动等车辆控制。车载环境识别装置例如是通过摄像机装置等硬件与软件的组合而构成，作为其内部功能，如图1所示，具有摄像部1〇〇、照射区域设定部2〇〇、照射区域内观测部300、照射区域外观测部350、照射内外曝光调整部400、识别部500及警报控制部600。[0031]摄像部100使用车载摄像机来拍摄自身车辆的前方。车载摄像机是使用视角比自身车辆的前灯能够照射到的前灯照射范围广的广角摄像机。[0032]图5为示意性地表示摄像机的视场角和前灯照射范围的一例的图。例如检测自身车辆Vo前方的障碍物这样的现有的普通车载摄像机为远方狭角监视用，视角视场角52为30度〜50度左右，与自身车辆Vo的前灯照射范围类似，无较大差异。另一方面，本实施例中使用的车载摄像机为附近广角监视用的、视角为120度左右的所谓的广角摄像机，视角51比自身车辆Vo的前灯照射范围大，白天能够进行广角感测。本实施例期待在车载摄像机为包括鱼眼摄像机在内的、视角比自身车辆的前灯照射范围广的摄像机的情况下提高夜间等周围较为黑暗的环境的识别性能这一效果。本实施例的车载摄像机只要为广角摄像机即可，单眼摄像机、立体摄像机均可。[0033]返回至图1的说明，在照射区域设定部200中，进行在拍摄影像内设定自身车辆的前灯照射范围所占的照射区域的处理。照射区域设定部200可根据前灯的曝光控制而预先以信息的形式存储有远光灯、近光灯等的前灯照射范围，根据CAN通信下的自身车辆的前灯点亮状况来设定照射区域。此外，也可通过影像识别来推定照射区域。[0034]照射区域设定部200在照射区域内设定观测影像上的亮度的照射区域内亮度观测区域曝光框），在成为前灯照射范围的外侧的照射区域外设定观测影像上的亮度的照射区域外亮度观测区域曝光框）。照射区域内观测部300在由照射区域设定部200设定的照射区域内亮度观测区域内算出影像上的亮度平均。同样地，照射区域外观测部350在由照射区域设定部200设定的照射区域外亮度观测区域内算出影像上的亮度平均。[0035]在照射内外曝光调整部400中，利用上述由照射区域内观测部300和照射区域外观测部350观测到的影像上的亮度变化来实施曝光控制。照射内外曝光调整部400根据照射区域内观测部300的结果来设定能够获取适于对被前灯照射到的前灯照射范围内的明亮区域进行影像处理的影像的曝光条件。继而，以照射区域内的平均亮度进入特定亮度范围内且不会在lfrm间发生剧烈的亮度变化的方式一边进行反馈控制、一边变更拍摄影像的曝光条件。[0036]此外，照射内外曝光调整部400根据照射区域外观测部350的结果来设定能够获取适于对前灯照射范围外的黑暗区域进行影像处理的影像的曝光条件。继而，以照射区域外的平均亮度进入特定亮度范围内且不会在lfrm间发生剧烈的亮度变化的方式一边进行反馈控制、一边变更拍摄影像的曝光条件。在曝光条件的变更中变更亮度的调整量增益或曝光时间）。[0037]继而，根据这些来获取明亮区域用影像和黑暗区域用影像。在黑暗区域用影像的获取中，为了避免影像发生欠曝，通过延长快门时间或者将黑暗状态的增益提得较高、或者利用高速摄像机的积分影像等，来获取照度较低的区域易于识别这样的影像。[0038]如图7所示，前灯照射范围内和前灯照射范围外是已知的，因此，识别部500根据配光图案的信息，在前灯照射范围内的对象物的识别中利用前灯配光图案内部的明亮区域用影像亮区域影像Pb来实施识别处理，在前灯照射范围外的对象物的识别中利用前灯配光图案外部的黑暗区域用影像暗区域影像Pd来实施识别处理。通过根据影像上的亮度选择恰当的影像来实施影像识别，即便在照射区域外也能实施恰当的识别。例如，在行人检测、车辆检测中，即便是在照射区域外与照射区域内的交界区域内，通过准备适于识别的影像，即便是夜间也能检测存在于摄像机的广角位置的障碍物、车道线等。[0039]在警报控制部600中，利用识别部500中识别出的结果来预测对自身车辆的影响，从而实施例如防脱离车道、防碰撞等的警报或车辆控制。[0040]接着，对图1所示的照射区域设定部200的具体构成例进行说明。图2为说明照射区域设定部的构成例的图。如图2所示，照射区域设定部200具有配光图案设定部210、自身车辆姿态测量部220、影像上曝光框设定部230、光源环境识别部240及立体用左右区域设定部250。[0041]配光图案设定部210设定自身车辆的配光图案。首先，关于周围环境的亮度，通过能通过CAN通信加以掌握的前灯的ON、OFF状况和能通过摄像机加以获取的周围环境的亮度来实施行驶环境的亮度的判定。继而，判断是白天还是夜间，在夜间的情况下是因路灯而处于明亮状况还是处于周围无光源这样的黑暗状况。由此，掌握自身车辆的行驶环境的亮度。关于自身车辆的前灯的照射状况，通过CAN通信不仅能掌握ON、OFF的切换，还能掌握High、Low的切换。但是，前灯的较小的照射角度等会因自身车辆的倾斜或者行车道的倾斜而发生变化。[0042]于是，接着，通过自身车辆姿态测量部220实时测量自身车辆和外部环境的姿态的变化。在自身车辆的行驶中，利用车道线WL或前方车辆的尾灯的影像信息、在自身车辆的车载摄像机为立体摄像机的情况下从周围环境获得的路面的视差影像、立体物的铅垂地向上延伸的边缘部分等信息，推定自身车辆和外部环境的姿态。也可利用推定出的姿态信息来用作前灯照射范围的修正信息。但某些车辆也能通过手动来进行细微的角度调整。也设想这种情况，即便在只能通过CAN来获得前灯的ON、OFF、High、Low程度的信息这样的状况下，也可通过利用影像上的曝光框的设定来推定大致的前灯照射范围。[0043]影像上曝光框设定部230根据在上述配光图案设定部210中获得的配光信息和在自身车辆姿态测量部220中推定车体的姿态而利用这些信息推定出的配光信息，像图6所示那样分割为照射区域内和照射区域外，设定为获取用以设定曝光条件的影像的亮度信息的曝光框?〇11'。图6为表示照射区域内外的曝光框的设定例的图。图6中展示了拍摄被前灯照射的车辆前方而得的影像和曝光框Fc、Fl、Fr。[0044]通过曝光框Fc获取的影像的主光源为自身车辆的前灯。因而，在图1的照射区域内观测部300中，可算出该曝光框Fc的亮度平均，将其作为亮度信息而交给照射内外曝光调整部400。在夜间，显然自身车辆的前灯成为主光源，因此，做成利用亮度信息的曝光条件的设定也缓缓地变化这样的设计，并在照射内外曝光调整部400中调整曝光条件。[0045]位于曝光框Fc侧方的左右曝光框FI、Fr可算出照射范围外用亮度观测区域内的平均亮度，也可各自分别算出亮度平均，由此，能够分左右来对应于因左右不同的周围环境所引起的外部的光源环境的差异。在照射区域外观测部350中算出这些平均亮度。利用曝光框Fl、Fr内的平均亮度，还根据周围环境的光源环境的变化，以比照射范围内暗的区域的影像容易用于识别的方式用于曝光条件的设定。[0046]在自身车辆的前灯配光图案未知的情况或者前灯没开的状况下，或者因更换过前灯而导致与车辆购入时的配光图案不同这样的情况下，即便利用配光图案设定部210的信息，也有可能无法恰当地设定曝光框。也可使影像上曝光框设定部230具备大致推定自身车辆的配光图案而设定曝光框的功能，以防备像这样配光图案未知的情况，或者即便有配光信息但推定出的配光图案与从实车看到的配光图案大为不同的情况。[0047]图8为说明照射区域推定部的照射区域的推定方法的图。如图8所示，为了推定照射区域，在摄像元件上排列配置多个矩形的观测亮度的局部曝光框Fs。在所配置的局部曝光框Fs中观测亮度，而且通过利用自身车辆的姿态推定结果来大致利用路面与天空的交界位置Ho。以时间序列方式解析这些局部曝光框Fs的各亮度值的变化，由此，判断变化较少的明亮区域、尤其是即便在弯道中等也不变化这样的明亮区域是被自身车辆的前灯照射到的前灯照射范围内的区域照射区域内）。并且，判断因外部环境的光源而导致亮度发生变化或者亮度始终较暗的区域是前灯照射范围外的区域照射区域外）。由此，可大致设定前灯照射范围内和范围外的区域。[0048]在光源环境识别部240中，进行外部环境是白天还是夜间的判定和隧道、逆光、对向车前灯等光源位置的算出等。可利用来自导航的位置信息和时刻等，也能够根据摄像机的曝光信息、增益、快门值来判定昼夜。当利用拍摄影像时，可以将逆光、对向车的前灯等高亮度区域提取为点光源。首先，在白天的明亮环境下，即便为了安全而前灯处于点亮状态，路面上的亮度等的主光源也是太阳光，由前灯所引起的亮度的变化不会产生较大影响。[0049]在夜间或白天，在相对较暗的隧道内等之类的情况下，当前灯点亮时，在照射区域内和照射区域外亮度会发生变化，因此，在该照射区域内和照射区域外进行不同的恰当的曝光调整会对识别性能产生较大影响。本实施例设想的是广角的车载前置摄像机，但即便是立体摄像机，也同样能产生效果。在立体用左右区域设定部250中，表示车载摄像机为立体摄像机的情况下的特征。在不是立体摄像机的情况下，该功能本身不一定是必需的。[0050]在利用立体摄像机所具备的2台摄像机来进行立体匹配时，较理想为在进行左右摄像机的匹配的范围内为同一曝光条件。在以往的视场角为4〇度左右的狭角立体摄像机中，摄像机视场角内与前灯照射范围大致相等，因此，只需使左右摄像机的曝光条件相同，在立体摄像机的匹配时便无须考虑曝光条件不同的影像彼此的匹配等。[0051]然而，在利用广角立体摄像机来进行立体匹配的情况下，在照射区域内和照射区域外分别设定图6所示那样的不同的曝光框，在照射区域内和照射区域外获取不同曝光条件的影像而进行影像处理。由此，在照射区域内获取适于明亮环境的影像例如，快门速度快或增益低的相对接近白天的曝光条件下的影像），在照射区域外获取适于黑暗环境的影像例如，快门速度慢、增益高的曝光条件下的影像）。继而，通过将这些影像用于影像识别，获得在照射区域内和照射区域外维持高识别性能的车载摄像机。[0052]但是，若在左右摄像机中直接实施该操作，则例如在以右摄像机为基准而将右摄像机的局部矩形区域作为基准影像、一边沿水平方向在左摄像机的影像内进行搜索一边进行立体匹配的情况下，会利用不同曝光条件的影像来进行左右影像的匹配，从而导致匹配的精度降低。此外，在只是在左右摄像机的影像上同一座标下改变曝光条件的情况下，在其交界区域无法进行恰当的匹配，在利用超过交界而使用不同曝光条件彼此的影像的匹配时，匹配精度会降低。[0053]图9为说明使用由广角摄像机拍摄到的影像的立体匹配的图。在本实施例中，利用同一曝光条件的影像来实施立体匹配。例如在像图9所示那样将由右摄像机拍摄到的右影像（1定为基准影像的情况下，以右影像（1为基准来设定曝光框Fc、Fr、Fl，获取照射区域内影像R_BA和照射区域外影像R_DA。[0054]在考虑了照射区域内的影像的立体匹配的情况下，远方的物体在左右摄像机中被拍摄在大致同一位置，而越是附近的物体，立体摄像机的左右设置位置的差就越会产生影响，在右摄像机中略微偏左侧、左摄像机中略微偏右侧等情况下产生较大的视差。因而，作为探索影像的左影像1、（2例如以作为基准影像的右影像（1的曝光区域为基准而设定匹配探索量程度大小的区域。左右相同高度区域设为同一增益。[0055]在图9的例子中，为了使设置在极近距离的行人P1的头部附近的局部矩形区域901能够在同一曝光条件的影像中进行立体匹配，在左影像1中预先准备好与右影像（1的照射区域内影像R_BA相比在横向上宽成为检测对象的视差量d程度的照射区域内影$L_BA。在照射区域外也一样，成为匹配对象的左影像2的照射区域外影像L_DA是预先准备好相对于右影像（1的照射区域外影像RJM而言在横向上宽有效视差量d程度的范围的照射范围外影像1^^。如此，通过预先准备考虑了在左右摄像机中成为检测对象的近距离可能产生的有效视差量的曝光条件的影像，即便在变更曝光条件的交界区域内也能恰当地进行立体匹配。[0056]右摄像机获取曝光条件的交界无重叠的右影像1，相对于此，左摄像机考虑立体匹配而获取在交界区域内范围发生重复的2个以上的曝光条件的左影像（1、（2。继而，在立体匹配中选择左右同一曝光条件的影像。即，在照射区域内的立体匹配中，使用右影像⑴的照射区域内影像R_BA和左影像1的照射区域内影像L_BA，在照射区域外的立体匹配中，使用右影像1的照射范围外影像R_DA和左影像2的照射范围外影像L_DA。[0057]图1所示的照射区域内观测部300实施图6所示那样的曝光框Fc内的影像的亮度平均的算出等照射区域内的亮度观测。此外，在照射区域并非已知的情况下，可使图8那样的经细微分割而得的局部曝光框Fs分别具有照射区域内或照射区域外的属性，利用具有照射区域内的属性的局部曝光框组Fs_b来算出它们的平均亮度。[0058]与照射区域内观测部300—样，照射区域外观测部350实施图6所示那样的曝光框Fl、Fr内的影像的亮度平均的算出等照射区域外的亮度观测。照射范围外的曝光框Fl、Fr是分左右而存在，但可以相互平均而利用。此外，在希望进行考虑了对向车或相邻车道行驶车等的前灯的曝光调整的情况下，分左右实施曝光观测且曝光调整也分左右实施将使得更符合周围的光源环境的曝光调整成为可能。此外，在照射区域并非已知的情况下，可使图8那样的经细微分割而得的局部曝光框Fs分别具有照射范围内或照射范围外的属性，利用具有照射区域外的属性的局部曝光框组?3_1来算出它们的平均亮度。同样地，也能以自身车辆前灯所及的照射范围内的区域为中心分左右对局部曝光框组进行左右分割而活用。[0059]接着，对照射内外曝光调整部400的详细构成进行说明。[0060]图3为说明照射内外曝光调整部的构成的图。通过利用照射区域内观测部300和照射区域外观测部350来观测由照射区域设定部200设定的曝光框的亮度，能够观测拍摄影像的状态。利用该亮度信息，在曝光框Fc内的平均亮度较高的情况下，以不超过某固定值以上且不发生过曝的方式实施曝光调整，相反，在曝光框Fl、Fr内的平均亮度较低的情况下，以不发生欠曝的方式实施曝光调整。[0061]此处，在实施曝光调整时，有多种实现方法，因此，分别展示几种实现方法。实际的曝光调整可为利用这当中的任一种的方法，也可同时利用多种方法，也可切换利用。[0062]在快门速度变更部410中，根据由照射区域内观测部300或照射区域外观测部350观测到的曝光框Fc、Fl、Fr的各平均亮度，在平均亮度将要超过某阈值的情况下，以通过加快快门速度而使平均亮度降低的方式进行调整，以获取到的影像中的观测区域不发生过曝的方式进行快门速度的调整。相反，在平均亮度较低的情况下，能以通过减慢快门速度而使拍摄影像变得明亮的方式进行反馈控制。[0063]在夜间，自身车辆的前灯成为主光源，因此设想前灯照射范围内的曝光条件不会大幅变化，以徐缓的反馈控制的形式将lfrm间的曝光条件的变化程度设定得较小。并且，关于夜间的前灯照射范围外的曝光条件，也设想有由对向车的前灯所引起的快速的光源环境的变化等，因此，曝光条件的变化程度比照射范围内的情况大。在夜间的前灯照射范围外，在即便将快门速度减慢到极限也无法获取更亮的影像这样的情况下，可与增益调整并用来拍摄明亮影像。此外，可分区域同时拍摄前灯照射范围外用影像和前灯照射范围内用影像，也能以连续的不同快门定时先获取用以拍摄照射范围内用影像的影像、后获取用以拍摄照射范围外用影像的影像。[0064]增益变更部420与快门速度不一样，还可以在拍摄后以软件方式进行增益变更，容易根据影像上的区域而相对自由地变更增益表。此处，在照射范围内和照射范围外利用不同增益表来获取影像。在立体摄像机的情况下，在立体匹配中进行探索的区域为同一曝光条件这一内容较为重要，但在单眼摄像机的情况下不会受到这种条件的制约，因此能够自由地进行增益变更。因此，利用图8的照射区域内外的局部区域曝光框Fs的各局部区域的平均亮度，以增益修正前的影像的亮度像在白天于同一照明环境下获取到的影像一样的方式实施增益修正。由此，即便是夜间的前灯照射范围外，也是以能以与白天同样的性能进行障碍物检测的方式获取明亮影像而实施障碍物检测等识别处理。[0065]在立体摄像机的情况下，当利用根据影像上的位置而变化的增益表时，难以在进行立体匹配的探索范围内保持同一曝光条件。与曝光条件一样，作为立体摄像机的1种设定条件，如图10所示，在前灯照射范围内的高亮度曝光区域和前灯照射范围外的高亮度曝光区域使用不同增益表来修正影像的亮度。[0066]准备以成为立体摄像机的基准影像的右摄像机为基准拓宽左摄像机的立体匹配的探索范围即视差量的影像宽度而得的左摄像机的影像。由此，立体匹配能够获取保障了同一曝光条件的影像，在照射范围内外能够获取更准确的视差影像。[0067]在立体摄像机的情况下，也可获取2组照射范围内外用左右影像，分别获取视差影像，像图7所示那样利用照射范围内外的曝光图案等根据影像上的位置来适应性地选择应利用获取到的2张照射范围内外用视差影像中的哪一张，由此，利用更准确的视差影像。[0068]在积分影像生成部430中，对多张影像进行积分，由此减少噪声，从而能获取噪声更少的影像，是尤其适于夜间的前灯照射范围外的影像获取的方法之一。但是，若不是能够进行一定程度的高速快门下的拍摄的摄像机，则有积分时间过长而导致移动体被拍摄得较为模糊之虞。因此，能够在一定时间内拍摄60frm以上等多达一定程度的影像的摄像机适合障碍物的识别。[0069]此处，在为能够进行广角且高速摄像的摄像机的情况下，除了快门时间和增益以夕卜，还对高速拍摄到的影像进行积分，由此进一步保持黑暗区域的动态范围而用于影像识另IJ。当对多张影像进行平均时，噪声减少，而且能够明确地获取原本应有的亮度差。因此，即便是较暗而难以看清这样的区域的影像，也能通过采取积分和平均来获取能够用于识别这样的影像。相反，对于明亮区域而言，由于原本就是以高速快门来拍摄的，因此可直接利用，也可进一步缩短快门来进行拍摄，也可调整增益。[0070]在匹配用曝光调整部440中，以进行立体匹配为前提，在左右摄像机影像的立体匹配的探索范围内进行能够保障同一曝光条件的影像这样的曝光调整和影像的保持。利用图9、图10来说明简单的例子。[0071]图10为说明立体用左右区域设定部的图。在立体匹配中，以立体摄像机所具有的左右摄像机中的任一摄像机的影像为基准来设定照射区域内和照射区域外，一边以一摄像机的影像的局部矩形区域为基准影像来计算与另一摄像机的影像的局部矩形区域的相关性，一边实施水平探索。在像本实施例这样以右影像为基准影像的情况下，探索与右摄像机的局部区域类似的左摄像机的局部区域。在该情况下，右摄像机中拍摄到的被摄体的一部分若距离较近，则更会产生影像上映现的位置的差分。这成为左右摄像机中的视差，该视差越大，表示距离越近，距离越远视差越小，从而在左右摄像机的影像上的大致同一位置拍摄到同一物体。[0072]根据三角测量的原理，视差越大，表示距离越近，视差越小，表示物体越在远方。在这种情况下，在已完成左右摄像机的几何校准的立体摄像机中，从左摄像机的垂直方向上的同一高度的同一位置起朝右侧以在影像上匹配映现相同景色的位置的方式寻找右方的基准影像的局部区域。由此探索相同的局部区域，将找到的位置用作该区域所保持的视差。在这种情况下，就左右摄像机的进行视差探索的范围部分而言，准备自基准影像扩大了探索范围量的影像成为必要条件。在本实施例中，利用左右摄像机来变更匹配用影像区域的大小。[0073]例如，如图10所示，在高亮度曝光区域的情况下，以在探索方向上比作为基准影像的右影像⑴大探索范围量d的方式获取作为探索影像的左影像1。同样地，在低亮度曝光区域的情况下，以在探索方向上比作为基准影像的右影像2大探索范围量d的方式获取作为探索影像的左影像2。[0074]图11为说明影像高度不同的立体用左右区域设定部的图。立体用左右区域设定部250也可像图11所示那样设为在纵向上也改变增益和快门条件的构成。在立体匹配中，是沿左右方向实施匹配处理，因此，在纵向上曝光条件增益、快门、高速摄像机中的积分等发生变化并不会导致沿横向进行探索的匹配的性能降低。相反，如图11所示，能够以更细致的条件对根据区域而变化的恰当的曝光条件进行设定。[0075]在图11所示的例子的情况下，就虽说是照射区域内但远离自身车辆的照射区域内影像R_BA1、L_BA1而言，毕竟由前灯照射的光的强度有了降低，因此比自身车辆附近的照射区域内影像R_BA4、、L_BA3暗。因此，通过以与该影像上的亮度相符的恰当的曝光条件来获取影像，能够实施利用更恰当的影像的立体匹配而发现障碍物或车道线。[0076]此外，在前灯照射范围外也是一样的，在因自身车辆周边的光源环境的影响而导致不同区域的亮度不一样这样的情况下，也是像照射区域外影像R_DA1、R_DA2、R_DA3、R_DA4等那样实施在不同区域运用不一样的曝光条件的影像识别，由此生成更适于生成用以识别障碍物的视差影像的影像。[0077]此外，若将这些影像的基准影像直接用于影像识别，则在像例如识别车道线WL的车道线识别等那样虽然较为局部但应看得更准确的情况下是较为恰当的方法。此外，在障碍物检测或行人、车辆检测中，通过利用像这样根据不同区域下不一样的曝光条件的影像而生成的边缘等来进行影像识别，能够维持识别性能而不会受到周围的明暗的影响。[0078]但是，此处的处理是以不会因在照射区域的交界处产生的亮度差等而产生边缘这一情况为前提。此外，在利用平滑地进行亮度变化这一手段那样的影像识别方法的情况下，这种方法由于不同区域会产生亮度差所以有时不适合，在该情况下，作为体视学以外的图案匹配用，可通过根据影像上的位置来改变平滑地产生影像中的亮度变化这样的增益表的方法来准备图案匹配用影像。[0079]接着，使用图4,对识别部500的构成进行详细说明。图4为表示识别部的构成的图。若车载摄像机为单眼摄像机，则不需要视差影像合成部510,但在立体摄像机中是必需的构成要素。首先，在像图9所示那样在基准影像的影像位置仅利用一种曝光条件的影像的匹配来求视差的情况下，单纯地利用该视差影像。[0080]在交界区域或整个影像内存在2种或3种以上的曝光条件的左右成对影像的情况下，判断利用在哪一曝光条件下制作出的视差影像，即，利用图7所示那样的配光图案或者图8所示那样的由照射区域推定部推定出的照射区域来判断根据哪一曝光条件来生成视差影像将能获取更恰当的视差信息。[0081]此外，关于哪一曝光条件能够生成更恰当的视差影像的判定方法之一，也可不仅利用配光图案或者照射区域推定部的结果，还利用实际的影像的边缘信息。在进行立体匹配时，大多情况下，越是曝光条件不恰当的影像，边缘信息越不足。但是，也能设想像路面这样本来边缘信息就缺乏的环境，因此，也可利用配光图案或照射区域推定结果和这些立体匹配时测量出的局部区域内的边缘强度信息来判定利用哪一视差信息。[0082]如此，当左右的进行立体匹配的区域彼此达到同一曝光条件时，能够获取恰当的视差信息。进而，在获得同一视场角内（同一位置的视差信息的情况下，在以多种曝光条件获取到影像时，通过从配光图案或照射区域推定图案或边缘信息当中利用1种以上来选择优先利用哪一曝光条件的影像的立体匹配将能算出准确的视差。如此，通过选择更恰当的视差信息，能够实现稳健的障碍物检测和获取更准确的距离信息。[0083]在立体物候选提取部520中，根据由视差影像合成部510生成的视差影像，实施立体物的候选提取。首先，此处展示车载摄像机为立体摄像机的情况的例子。从视差影像中删除由自身车辆姿态测量部220计算出的路面区域的视差信息。根据自身车辆中设置的摄像机的位置和姿态，考虑根据距离而变化的误差分量，在只要画面上映现有路面便能够获取的视差值中删除存在于路面及路面铅垂下方的视差信息。[0084]利用删除该路面以下的视差信息之后的影像，在影像上以宽4pix左右沿纵向算出不同视差值的有效视差频率直方图，将其沿X方向排列而生成在纵向上表示视差值距离值）、在横向上表示影像上的横向位置的vdisparity影像。在路面上存在立体物的情况下，在视差影像上也沿纵向排列有纵向的边缘到立体物的视差。因此，在vdisparity影像上，出现存在有立体物的视差值距离值），而且在存在有立体物的影像横向上出现高频率的山状体。通过探索这种vdisparity影像上的山状体来提取立体物的候选。接着，以时间序列方式观测每帧提取的立体物的候选，在确认能够稳定地追踪立体物候选之后，得到最终的立体物候选。[0085]在立体物候选提取部520中，实施立体物的候选提取。首先，此处展示车载摄像机为单眼摄像机的情况的例子。在单眼摄像机中，自身车辆姿态测量部220的信息也加以利用来探索立体物的铅垂地向上延伸的边缘信息，由此探索立体物候选。但是，在单眼摄像机中，并不清楚立体物是什么样的，因此要探索实施图案匹配的候选。此时，根据自身车辆的姿态状态而利用摄像机几何，利用提取出的候选物体的大小的大致的值来精简候选物体。进而在时间序列上做到能够在一定程度上进行追踪，从而得到作为图案匹配的处理对象的最终的立体物的候选。[0086]光流提取部530大多是在单眼摄像机中加以利用，可为单眼摄像机，也可利用立体摄像机的一个镜头。光流提取部5：3〇捕捉在时间序列上发生变化的影像上的物体的运动，并消除根据自身车辆的行为推定的背景的运动，之后观测影像上的运动，由此，能够提取移动体。[0087]推定因自身车辆的运动而产生的路面等背景的运动，利用由自身车辆姿态测量部220推定出的摄像机的姿态来推定影像上的背景的运动。推定影像上的背景的运动，捕捉在影像上有同一方向、同一大小的运动的光流集合体并对其进行提取，作为移动体的候选物体。此外，通过求提取出的移动体的光流的平均，能够提取移动体在影像上的移动量。可根据影像上的移动量来算出该移动体的移动速度。此外，按时间序列持续进行该操作，由此，仅提取能够稳定地追踪的物体作为移动体的最终候选。[0088]接着，针对这些由立体物候选提取部520提取出的立体物候选或者由光流提取部530提取出的移动体候选或者由这两方提取出的候选物体，在图案识别部540中实施图案匹配，以确定是何种类的立体物。图案识别部540实施车辆、人等的图案匹配，在车辆的情况下，推定它是否是自身车辆的前方车辆，进而推定是以何种程度的速度或速度差在移动等。在人的情况下也是一样的，推定位置和移动速度，判定自身车辆是否会与他们发生碰撞。此夕卜，即便通过图案匹配而发现并非人或车辆，在为其他立体物的情况下，尤其是在立体摄像机中，即便是车或行人以外的立体物，由于是立体物无误，因此也作为警报或控制的对象加以利用。[0089]最后，在警报控制部600中，针对由上述识别部500观测到的行人、车辆或其他立体障碍物而推定其位置和移动速度等，判定是否存在于自身车辆的行进路径上、碰撞的可能性高不高。继而，在处于驾驶员踩刹车时停不住的位置和距离的情况或者驾驶员即将踩刹车的情况下，实施自身车辆的自动制动。另一方面，在对于实施上述车辆控制而言距离还长的情况下，或者因自身车辆与障碍物的位置关系而使得与自身车辆发生碰撞的可能性较低但会以极近距离lm左右的横向位置的关系擦身而过这样的情况下，鸣响警报。[0090]图12为表示单一快门定时的处理流程的图。首先，此处展示以单一快门定时进行拍摄、获取不同区域下不一样的曝光条件的影像的情况下的单一快门定时处理流程。对通过CMOS的构成等而能够在硬件上进行不同区域不一样的曝光条件下的拍摄的情况的处理流程，或者通过摄像部拍摄考虑了前灯照射范围内外的中间影像、通过后处理分区域施加软件方式的修正增益等、由此获取不同曝光条件的影像的情况下的处理流程进行展示。[0091]首先，设定曝光条件步骤S01。只有启动时可直接利用默认值或者前次结束时、电源OFF时的曝光条件。通常是根据前一帧的处理中获取到的影像的观测值而分区域实施曝光条件快门速度或增益）的反馈，从而设定不同拍摄区域下不一样的曝光条件。或者，也可设定考虑了整个影像即照射范围内外的中间快门速度和增益的曝光条件。[0092]继而，拍摄影像步骤S02。影像的拍摄是在所设定的曝光条件下进行。继而，以不同拍摄区域下不一样的曝光条件获取影像。此处，可在中间快门速度和增益的曝光条件下进行拍摄，在作为后处理的软件处理中通过增益变更来施加不同区域下不一样的增益，由此获取不同区域下不一样的曝光条件的影像。[0093]继而，设定亮度观测区域步骤S03。亮度观测区域是在影像上利用配光图案或者推定出的照射区域而分别对照射区域内和照射区域外进行设定。接着，利用照射区域内和照射区域外的亮度观测区域来观测平均亮度步骤S04。利用上述步骤S04的处理中算出的平均亮度，分各区域来实施曝光条件的反馈控制步骤S05。[0094]接着，根据拍摄到的影像来提取障碍物等识别候选步骤S06。识别候选的提取是在立体物候选提取部520或光流提取部M0中进行^继而，进行图案识别（步骤S07。在图案识别中，对提取出的候选物体实施图案匹配，设定候选物体是人还是车等类别。[0095]继而，对识别出的人或车、其他障碍物推定移动速度和位置步骤S08，进行碰撞预测判定步骤S09。在碰撞预测判定中，推定自身车辆行为，根据位置来判定识别出的人或车、其他障碍物是否存在于自身车辆推定路径上或其附近，进而，还考虑移动速度来判定是否有碰撞的危险。[0096]进而，对于处于驾驶员踩刹车时能够停住的距离范围的远处的物体而言，出于如下担忧而优选不施加控制，g卩，驾驶员有可能自己踩刹车，若自动施加控制则会让人厌烦，或者让人过于依赖自动制动。在判断驾驶员识别出障碍物而踩刹车的时刻过晚的情况下判定执行警报，仅在判断再晚则碰撞可能性较高的情况下判定执行自动制动。继而，根据步骤S09中判定的结果来实施警报或控制步骤S10。[0097]图13中展示了2个处理例，它们以时间图来表现利用双重曝光的情况下的照射区域内外的拍摄时刻和识别处理时刻的时间序列上的处理的流程。[0098]A交替处理例:双重曝光处理是偶数帧以照射区域外的曝光条件进行拍摄、奇数帧以照射区域内的曝光条件进行拍摄等在不同时刻进行不同曝光条件的拍摄的情况的1个实施例。在难以设定不同区域下不一样的曝光条件的情况下，针对每一帧而改换曝光条件来进行拍摄。由此，像图13的时间图所示那样交替拍摄适于照射区域内的明亮区域的曝光条件下的影像和适于照射区域外的黑暗区域的曝光条件下的影像。继而，在交替进行的拍摄之后，在照射区域外拍摄时，利用在其之前的拍摄时刻拍摄到的照射区域内的拍摄影像来实施照射区域内的影像识别处理。反过来，在照射区域内拍摄时，利用在其之前的拍摄时刻拍摄到的照射区域外的拍摄影像来实施影像识别处理。[0099]B统一处理例：在利用通过双重曝光拍摄到的影像的识别处理的统一处理的方法中，在以交替进行的拍摄的形式结束1组拍摄照射区域内用拍摄和照射区域外的拍摄之后才执行识别处理。尤其是在进行利用照射区域内和照射区域外的影像来生成1个综合的视差影像这样的处理的情况下，若两方影像不齐备，则难以开始影像识别处理，因此也可能存在采取这种处理顺序的情况。A交替处理的从拍摄起到识别完成为止的延迟时间较短。B统一处理虽然延迟时间较长，但有能够利用照射区域内外的影像两方的优点。[0100]图14表示双重曝光的处理流程。在图13的B统一处理的情况下，若在某规定期间内拍摄1组影像，并将该期间视为1个处理循环，则处理流程的思路与单一快门定时大致相同，因此本次从略。S01到S05的部分实际上是在不同时刻进行2次处理，在二个影像齐备之后开始S06的识别候选提取处理。[0101]使用图14,对图13的A交替处理的情况的处理流程进行说明。由于详细内容与图12共通的部分较多，因此仅主要说明不同的部分，其他则简易地进行说明。图14的步骤S01〜S08表示考虑照射区域内的影像识别处理流程。在步骤SOI中设定照射区域内曝光条件。在步骤S02中拍摄影像，在步骤S03中设定照射区域内的亮度观测区域。继而，在步骤S04中观测亮度观测区域内的平均亮度，在步骤S05中利用观测到的平均亮度来实施曝光条件的设定的反馈控制。在步骤S06中，提取利用拍摄到的影像的识别候选，在步骤S〇7中，通过候选物体的图案匹配来确定其类别。在步骤S08中，算出有可能成为障碍物的人或车辆等的位置和移动速度，检测前灯照射范围内的障碍物。[0102]图14的步骤S01’〜S08’表示考虑照射区域外的影像识别处理流程。在步骤S01’中设定照射区域外曝光条件。在步骤S02’中拍摄影像，在步骤S03’中设定照射区域外的亮度观测区域。继而，在步骤S04’中观测照射区域外的亮度观测区域的平均亮度，在步骤S〇5’中利用观测到的平均亮度来实施曝光条件的设定的反馈控制。在步骤S06’中，提取利用拍摄到的影像的识别候选，在步骤S07’中，通过候选物体的图案匹配来确定其类别。在步骤S08’中，算出有可能成为障碍物的人或车辆等的位置和移动速度，检测前灯照射范围外的障碍物。[0103]在步骤S09中，利用这2个处理流程来检测前灯照射范围内和照射范围外的障碍物。根据这些障碍物的位置、速度和自身车辆行为来判定碰撞的可能性。在步骤Sl〇中，根据步骤S09中判定的结果来实施警报或控制。[0104]图15所示的方法展示的是与A交替处理例一样交替拍摄照射区域内用和照射区域外用2个图案、但进行的是全画幅拍摄的例子。由于所使用的CMOS等的制约条件，虽然摄像本身实施的是全画幅拍摄，但与之前一样，是以照射区域外和照射区域内对之后要用于影像识别的影像进行分割而利用的方法。[0105]图15中，将利用通过照射内曝光而拍摄到的影像的视差影像生成用的区域R_BA和L_BA示于图15的下层。利用这2个区域来实施照射区域内的视差影像生成。[0106]反过来，对于照射区域外，利用快门定时慢1档的情况下的快门，进行为拍摄黑暗区域而调整过的曝光条件的影像的全画幅拍摄，从中利用照射区域外的R_DA*L_DA这2个区域，生成照射区域外用视差影像。如此，准备在某固定周期内的不同时刻拍摄到的不同曝光条件的拍摄影像作为适于照射区域内和照射区域外的影像。[0107]通过使用更适于各曝光条件的影像来识别外部环境，对被前灯照射到的明亮区域和无法被前灯照射到的黑暗区域各方实施更恰当的识别。尤其是更恰当地实施以往未考虑到的广角部分的黑暗区域的拍摄，从而抑制不检测、误检测。[0108]图15中，右摄像机的明亮区域与黑暗区域的交界无重叠地分割开来。也可在各曝光条件下生成视差影像之后合成视差影像，之后实施全画幅下的识别处理。或者，也可为如下方法:在照射区域内与照射区域外之间不仅设置视差影像的匹配用的边界，还设置处于2区域的交界的与障碍物相应的大小的边界。[0109]在视差影像上进行匹配的方法其处理时间短、效率高。但是，在照射区域内和照射区域外设置边界来进行影像识别的方法虽然处理时间长，但由于实施通过两方来进行识别的处理，因此能够抑制不检测。[0110]以上，对本发明的实施方式进行了详细叙述，但本发明并不限定于所述实施方式，可以在不脱离权利要求书中记载的本发明的精神的范围内进行各种设计变更。例如，所述实施方式是为了以易于理解的方式说明本发明而做的详细说明，并非一定限定于具备说明过的所有构成。此外，可以将某一实施方式的构成的一部分替换成其他实施方式的构成，此夕卜，还可以对某一实施方式的构成加入其他实施方式的构成。进而，可以对各实施方式的构成的一部分进行其他构成的追加、删除、替换。[0111]符号说明[0112]100摄像部[0113]200照射区域设定部[0114]210配光图案设定部[0115]220自身车辆姿态测量部[0116]230影像上曝光框设定部[0117]240光源环境识别部[0118]250立体用左右区域设定部[0119]300照射区域内观测部[0120]350照射区域外观测部[0121]400照射内外曝光调整部[0122]410快门速度变更部[0123]420增益变更部[0124]430积分影像生成部[0125]440匹配用曝光调整部[0126]500识别部[0127]510视差影像合成部[0128]520立体物候选提取部[0129]530光流提取部[0130]540图案识别部[0131]600警报控制部。

权利要求：1.一种车载环境识别装置，其具备：摄像部，其使用车载摄像机来拍摄自身车辆的前方;以及识别部，其使用由该摄像部拍摄到的拍摄影像来进行周围环境的识别，该车载环境识别装置的特征在于，所述车载摄像机能够拍摄包含自身车辆的前灯照射范围且在水平方向上比该前灯照射范围广的范围，所述摄像部利用拍摄前灯照射范围内而得的照射区域内的影像和拍摄前灯照射范围外而得的照射区域外的影像来变更亮度的调整量并对所述拍摄影像进行拍摄。2.根据权利要求1所述的车载环境识别装置，其特征在于，所述摄像部对所述拍摄影像的所述照射区域内和所述照射区域外分别设定曝光框，获取各曝光框内的亮度信息，设定所述照射区域内和照射区域外的所述亮度的调整量即曝光条件。3.根据权利要求1所述的车载环境识别装置，其特征在于，所述车载摄像机为立体摄像机，所述摄像部以所述立体摄像机所具有的左右摄像机中的任一方的摄像机的影像为基准来设定所述照射区域内和所述照射区域外，在一边以所述一方的摄像机的影像的局部矩形区域为基准影像来计算与另一方的摄像机的影像的局部矩形区域的相关性，一边实施水平探索的立体匹配时，保障了一方的摄像机的局部矩形区域与另一方的摄像机的进行水平探索的局部矩形区域为同一曝光条件。4.根据权利要求1所述的车载环境识别装置，其特征在于，在一个摄像机的连续的快门定时中，设定曝光条件而分别获取所述照射区域内的影像和所述照射区域外的影像，所述照射区域内的影像利用前灯配光图案内部的影像，所述照射区域外的影像利用前灯配光图案外部的影像。5.根据权利要求3所述的车载环境识别装置，其特征在于，利用所述左右摄像机对所述照射区域内和所述照射区域外分别获取2种以上的曝光条件的影像，利用同一曝光条件的影像来生成视差影像，在所述拍摄影像的同一位置保持根据不同曝光条件的影像而获取到的视差信息，根据前灯配光图案和前灯照射范围中的至少一方来判定在所述拍摄影像中优先利用哪一视差信息。6.根据权利要求1所述的车载环境识别装置，其特征在于，在某规定期间内以不同快门定时对所述照射区域内和所述照射区域外分别拍摄2种以上的曝光条件的影像。7.根据权利要求1所述的车载环境识别装置，其特征在于，对所述照射区域内和所述照射区域外运用2种以上的曝光条件，分区域进行拍摄。8.根据权利要求1所述的车载环境识别装置，其特征在于，对所述拍摄影像利用增益表来获取所述照射区域内的影像和所述照射区域外的影像。9.根据权利要求1所述的车载环境识别装置，其特征在于，利用连续拍摄到的多张影像，在所述照射区域外对所述影像进行积分来减少噪声。

百度查询： 日立汽车系统株式会社 车载环境识别装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD