申请/专利权人：汉拿科锐动电子股份公司

申请日：2018-11-01

公开（公告）日：2023-05-23

公开（公告）号：CN109747649B

主分类号：B60W30/18

分类号：B60W30/18;B60W40/08

优先权：["20171103 KR 10-2017-0146215"]

专利状态码：有效-授权

法律状态：2023.05.23#授权;2020.07.31#实质审查的生效;2019.05.14#公开

摘要：本发明涉及基于驾驶者状态的车辆控制系统及方法，该车辆控制系统具备：检测装置，其包括照相机、车辆动力学传感器、车辆全方位监视照相机、车辆周边监视传感器及导航仪；及电子控制装置，通过接收从所述检测装置输入的检测信号而识别的驾驶者的脸部及眼球来分析驾驶者状态，并在判断为驾驶者没有行驶意志的情况下，将车辆控制为停放到路肩，从而能够引导更安全的车辆行驶。

主权项：1.一种车辆控制方法，包括如下步骤：通过驾驶者监视照相机而获得驾驶者的脸部的影像及包括眼球的移动和注视位置的眼球的影像来识别驾驶者监视信息；利用所识别的所述驾驶者监视信息来分析驾驶者状态；在判断为所分析的所述驾驶者状态不正常、且驾驶者没有行驶意志的情况下，将车辆控制为移动到路肩并停车；及在所分析的所述驾驶者状态为正常的情况下，分析驾驶者眼球而基于驾驶者眼球的移动来控制车辆，分析所述驾驶者眼球的步骤包括过滤驾驶者眼球的移动中的与车辆控制无关的单纯移动的步骤，过滤所述单纯移动的步骤包括如下步骤：向车辆全方位监视照相机发送驾驶者目前注视位置信息；通过所述车辆全方位监视照相机而在驾驶者注视区域内检测对象；及在检测出的所述对象不是车道线或车道的情况下，判断为所述单纯移动。

全文数据：基于驾驶者状态的车辆控制系统及方法技术领域本发明涉及基于驾驶者状态的车辆控制系统及方法，更具体地，涉及如下的基于驾驶者状态的车辆控制系统及方法：在行驶中通过驾驶者的脸部及眼球而分析驾驶者状态，并在判断为驾驶者没有行驶意志的情况下，将车辆控制为停放到路肩，从而引导更安全的车辆行驶。背景技术通常，先进驾驶辅助系统AdvancedDriverAssistanceSystem，ADAS是由车辆主动识别驾驶中可发生的诸多情况中的一部分状况并判断状况来控制机械装置的系统。该系统是为了在复杂的车辆控制过程中帮助并辅助驾驶者，最终完成自主行驶技术而研发的。这样的ADAS包括：在具有冲撞危险时，即便驾驶者未踩下制动装置而也能够自动减小速度或停止的‘自动紧急制动系统AutonomousEmergencyBraking，AEB’、在脱离车道时调节行驶方向而保持车道的‘行驶转向辅助系统LaneKeepAssistSystem，LKAS’、以事先规定的速度行驶的同时主动与前车之间保持间隔的‘先进智能巡航控制器AdvancedSmartCruiseControl，ASCC’、检测盲区冲撞危险而帮助变更到安全的车道的‘后侧方冲撞回避协助系统ActiveBlindSpotDetection，ABSD’、视觉性地显示出车辆周边状况的‘环视显示系统AroundViewMonitor，AVM’等。现有技术文献专利文献韩国公开专利公报第2013-0023535号2013.03.08韩国公开专利公报第2014-0050424号2014.04.29日本公开专利公报第2015-210734号2015.11.24发明内容发明要解决的课题因此，本发明是为了解决如上述的问题而研发的，本发明的目的在于，提供一种如下的基于驾驶者状态的车辆控制系统及方法：行驶中通过驾驶者的脸部及眼球而分析驾驶者状态，并在判断为驾驶者没有行驶意志的情况下，将车辆控制为停放到路肩，从而引导更安全的车辆行驶。解决课题的手段为了达到如上述的目的，本发明的基于驾驶者状态的车辆控制系统包括；检测装置，其包括照相机、车辆动力学传感器、车辆全方位监视照相机、车辆周边监视传感器及导航仪；及电子控制装置，其通过接收从所述检测装置输入的检测信号而识别的驾驶者的脸部及眼球而分析驾驶者状态，并在判断为驾驶者没有行驶意志的情况下，控制为将车辆停放到路肩。所述电子控制装置可在所分析的驾驶者状态为正常的情况下，分析驾驶者眼球，并基于驾驶者眼球的移动来控制车辆。发明效果如上述，根据本发明的基于驾驶者状态的车辆控制系统及方法，行驶中通过驾驶者的脸部及眼球而分析驾驶者状态，并在判断为驾驶者没有行驶意志的情况下，将车辆控制为停放到路肩，从而那个引导更安全的车辆行驶。另外，可在所分析的驾驶者状态为正常的情况下，分析驾驶者眼球，并基于驾驶者眼球的移动来控制车辆。附图说明图1是概略性地示出本发明的优选实施例的车辆控制系统的整体结构的框图。图2是概略性地示出本发明的优选实施例的车辆控制方法的整体过程的流程图。图3是概略性地示出本发明的优选实施例的将车辆控制为移动到路肩之后停车的方法的过程的流程图。图4中以图像来示出根据本发明的优选实施例而将车辆移动到路肩的方法。图5是概略性地示出本发明的优选实施例的分析驾驶者眼球的方法的过程的流程图。标号说明10：检测装置11：驾驶者监视照相机12：车辆动力学传感器13：车辆全方位监视照相机14：车辆周边监视传感器15：导航仪20：电子控制装置30：驾驶员不注意警报装置40：加速减速控制装置50：转向控制装置具体实施方式通过参照后述的参照附图而说明的实施例，能够清楚地了解本发明的优点、特征及达到它们的方法。但本发明不限于以下公开的实施例，而是可以通过其他的各种形态实现，实施例仅为了将本发明完整地公开，并向本领域的技术人员完整地介绍发明的范围而提供，本发明应当仅通过权利要求书的范围来定义。在整个说明书中，相同的参考标号表示相同的构成要件。下面，参照附图，对本发明的基于驾驶者状态的车辆控制系统及方法进行详细说明。图1是概略性地示出本发明的优选实施例的车辆控制系统的整体结构的框图。如图1所示，应用本发明的车辆控制系统包括驾驶者监视照相机11、车辆动力学传感器12、车辆全方位监视照相机13、车辆周边监视传感器14及导航仪15等检测装置10、电子控制装置ElectronicControlUnit，ECU20、驾驶员不注意警报装置30、制动控制装置40及转向控制装置50。驾驶者监视照相机11作为FIR照相机等各种公知的图像传感器，设于车辆的内部而将获得驾驶者的脸部及眼球的影像来识别的驾驶者脸部表情、驾驶者睁眼闭眼、驾驶者眼球的移动及注视位置等驾驶者监视信息传送到电子控制装置20。车辆动力学传感器12作为轮速传感器、加速度传感器、偏航率传感器，转向角传感器等各种公知的传感器，配置于车辆的车轮、方向盘等适当的位置而将检测本车辆的行驶速度、加速度、偏航角速度、转向角度等来识别的车辆动力学信息传送到电子控制单元20。车辆全方位监视照相机13作为FIR照相机、CMOS照相机或CCD照相机等各种公知的图像传感器，设于车辆的前面玻璃的上端而将在车辆前方的一定角度及距离以内检测紫外线频带、可见光区域等各种频带的光并进行投射，从而获得车辆前方的外部对象、车道线lane、指示牌等影像来识别的车辆前方位信息传送到电子控制装置20。车辆周边监视传感器14作为雷达传感器等各种公知的传感器，位于车辆的前后面中央及角落而将以一定角度以内的范围向传感器前方发射电磁波之后接收从位于车辆周边的物体反射过来的电磁波，从而检测本车辆与周边物体之间的角度、距离、相对速度、相对加速度等而识别的车辆周边信息传送到电子控制单元20。导航仪15作为通过GPSGlobalPositioningSystem：全球定位系统而确认车辆的目前位置来显示地图或确认至目的地为止的距离及所需时间而引导至目的地为止的路径来帮助车辆驾驶，并在紧急情况下或因车辆故障而需要紧急派遣服务或因事故而需要救援的情况下，能够告知车辆的目前位置的装置或程序，本发明的导航仪15将本车辆的目前行驶道路信息及路肩信息等传送到电子控制装置20。电子控制装置20通过从检测装置10接收检测信号而识别的驾驶者脸部及眼球来分析驾驶者状态，并在判断为驾驶者没有行驶意志的情况下，控制车辆停放到路肩，由此引导更安全的车辆行驶。另外，电子控制装置20可在所分析的驾驶者状态为正常的情况下，分析驾驶者眼球，基于驾驶者眼球的移动来控制车辆。驾驶员不注意警报装置30是接收电子控制装置20的控制信号而对驾驶者的不注意发出警报的装置，加速减速控制装置30接收电子控制装置20的控制信号而增加车辆的发动机输出或生成制动压力，转向控制装置40接收电子控制装置20的控制信号而生成车辆的方向盘的转向角度。本发明提供如下的方法：通过驾驶者的脸部及眼球而分析驾驶者状态，并在判断为驾驶者没有行驶意志的情况下，控制为将车辆停放到路肩，由此引导更安全的车辆行驶。另外，本发明还提供如下的方法：在分析的驾驶者状态为正常的情况下，分析驾驶者眼球，并基于驾驶者眼球的移动来控制车辆。下面，参照图2至图4，对利用这样构成的系统而执行本发明中的基于驾驶者状态的车辆控制的方法进行说明。图2是概略性地示出本发明的优选实施例的车辆控制方法的整体过程的流程图。如图2所示，本发明中的基于驾驶者状态的车辆控制系统通过驾驶者监视照相机11而获得驾驶者的脸部及眼球的影像，来识别驾驶者监视信息例如，驾驶者的脸部表情、驾驶者的睁眼闭眼、驾驶者眼球的移动及注视位置等S210。并且，利用所识别的驾驶者监视信息来分析驾驶者状态S220。例如，在驾驶者的脸部皱眉或扭曲的情况下，分析为驾驶者的健康发生异常，或可通过驾驶者眼球的移动、眨眼、闭眼而分析驾驶者的困倦状态。具体地，在驾驶者眼球上下左右频繁地移动的情况下，分析为困倦状态，在驾驶者的眨眼缓慢的情况下，分析为打盹状态，在驾驶者闭上眼睛的情况下，分析为睡眠状态。在步骤S220中分析的驾驶者状态不是正常时，通过驾驶员不注意警报装置30而对驾驶者的不注意发出警报S232。此时，驾驶员不注意警报装置30接收电子控制装置20的控制信号而随着时间的经过，分阶段地执行通过视觉的1次警报、通过视觉及听觉的2次警报、通过视觉、听觉及触觉例如，转向轮振动的3次警报。即便发出了步骤S232的警报，但还继续检测不到驾驶者的行驶意志的情况下例如，在一定时间期间未发生驾驶者眼球的移动，未检测到驾驶者的转向操作、加速操作、制动操作的情况下，通过车辆动力学传感器12、车辆全方位监视照相机13、车辆周边监视传感器14及导航仪15而识别车辆后侧方及车辆周边对象信息，并分析前方行驶路径来判断能否移动到路肩，在能够移动的情况下，控制车辆移动到路肩之后停车，在无法移动的情况下，在判断车辆后方冲撞危险之后，将车辆控制为进行减速及停车S234。关于将车辆控制为移动到路肩之后停车的方法，将参照图3及图4而进行更详细的说明。在步骤S220中分析的驾驶者状态为正常的情况下，分析驾驶者眼球S242，并基于驾驶者眼球的移动来控制车辆S244。关于分析驾驶者眼球的方法，将参照图5而进行详细的说明。图3是概略性地示出本发明的优选实施例的将车辆控制为移动到路肩之后停车的方法的过程的流程图，图4以图像来示出根据本发明的优选实施例来将车辆移动到路肩的方法。如图3所示，在即便执行了驾驶者不注意警报，但还继续检测不到驾驶者的行驶意志的情况下，检测要将车辆移动的路肩S310。关于此，当从导航仪15接收到前方路肩存在信息，从本车辆到路肩开始地点为止的纵向横向的距离、从本车辆到路肩末端地点为止的纵向横向的距离或通过车辆全方位监视照相机13而识别到右侧实线车道线及旁边车道的道路的边缘时，视为存在路肩。之后，掌握本车辆的目前位置S320。关于此，利用从导航仪15接收的从本车辆到路肩开始地点为止的横向距离而确认本车辆的目前位置是否为路肩旁边车道，在从本车辆到路肩开始地点为止的横向距离为一定距离以下的情况下，将本车辆的目前位置视为路肩旁边车道。或者当通过车辆全方位监视照相机13的识别信息而识别到旁边车道的道路边缘时，可判断为本车辆在路肩旁边车道行驶。并且，在步骤S320中判断为本车辆未在路肩旁边车道行驶时，通过车辆动力学传感器12、车辆全方位监视照相机13及车辆周边监视传感器14而识别车辆后方及车辆周边对象信息来判断能否变更车道，在能够变更车道的情况下，将车道变更为旁边车道S322。在通过步骤S320或步骤S322而本车辆在路肩旁边车道行驶时，计算路肩车道的宽度而确认路肩车道的宽度是否为能够进行车辆停放的程度例如，最小2.8m以上S330。在步骤S330中路肩车道宽度为能够进行车辆停放的程度的情况下，利用车辆动力学传感器12、车辆全方位监视照相机13及车辆周边监视传感器14而检测是否存在路肩行驶车辆S340。根据步骤S340的结果，利用从导航仪15接收的从本车辆到路肩末端地点为止的距离或车辆全方位监视照相机13所识别的道路边缘末端地点而计算停车地点S350。最后，使车辆移动到在步骤S350中计算出的停车地点之后进行停车S360。追加地，在S360之后点亮应急灯或将车辆信息、驾驶者信息、驾驶者状态信息传送到中央控制中心而请求调动控制中心救护车或警车。此时，确认驾驶者的健康信息之后，如果是具有健康病史的驾驶者，则可请求调动急救车，如果驾驶者在一定时间不站起，则可请求调动警车。图5是概略性地示出根据本发明的优选实施例而分析驾驶者眼球的方法的过程的流程图。如图5所示，当分析的驾驶者状态为正常时，首先在初期校正1次眼球零点S510。在此，存储左侧旁边车道、本车道、右侧旁边车道的前方注视时的照相机中的眼球位置。之后，过滤驾驶者眼球的移动中的与车辆控制无关的单纯移动S520。关于此，通过如下步骤而实现：向车辆全方位监视照相机13发送驾驶者目前注视位置信息S522，并通过车辆全方位监视照相机13而检测驾驶者注视区域内的对象之后S524，在检测出的对象不是车道线或车道的情况下，判断为与车辆控制无关的单纯移动S526。最后，从驾驶者眼球的移动中检测车辆控制请求移动S530。关于此，在步骤S520中，在判断为并非与车辆控制无关的单纯移动，并在驾驶者注视区域内检测出车道，并且当驾驶者眼球在一定时间注视移动车道线区域时，判断为车辆控制请求移动，可执行车道变更控制。或者通过驾驶者眼球的瞳孔扩大等驾驶者眼球的移动而检测到驾驶者的惊吓的情况下，可执行车辆制动控制。以上通过几个实施例来对本发明进行了更详细的说明，但本发明不限于这样的实施例，在不脱离本发明的技术思想的范围内可进行各种变形实施。

权利要求：1.一种车辆控制方法，包括如下步骤：通过驾驶者监视照相机而获得驾驶者的脸部及眼球的影像来识别驾驶者监视信息；利用所识别的所述驾驶者监视信息来分析驾驶者状态；及在判断为所分析的所述驾驶者状态不正常、且驾驶者没有行驶意志的情况下，将车辆控制为移动到路肩并停车。2.根据权利要求1所述的车辆控制方法，其中，将所述车辆控制为移动到路肩并停车的步骤包括如下步骤：在所分析的所述驾驶者状态不正常时对驾驶者的不注意发出警报；在即便发出了所述警报也未检测到驾驶者的行驶意志的情况下，判断能否向路肩移动；及在能够向路肩移动的情况下，将车辆控制为移动到路肩之后进行停车，在不能向路肩移动的情况下，将车辆控制为进行减速及停车。3.根据权利要求2所述的车辆控制方法，其中，将所述车辆控制为移动到路肩之后进行停车的步骤包括如下步骤：检测能够供所述车辆移动的路肩；掌握所述车辆的目前位置是否为路肩旁边车道：确认路肩车道的宽度是否为能够进行车辆停放的程度；检测是否存在路肩行驶车辆；在未检测到路肩行驶车辆时计算路肩停车地点；及使车辆移动到计算出的所述路肩停车地点之后进行停车。4.根据权利要求3所述的车辆控制方法，其中，所述车辆控制方法还包括如下步骤：在掌握到所述车辆的目前位置不是路肩旁边车道时，使所述车辆将车道变更为所述路肩旁边车道。5.根据权利要求3或4所述的车辆控制方法，其中，检测能够供所述车辆移动的路肩的步骤包括：当从导航仪接收到前方路肩存在信息、自所述车辆到路肩开始地点为止的纵向横向距离或自所述车辆到路肩末端地点为止的纵向横向距离时检测路肩的步骤；或当通过车辆全方位监视照相机而识别右侧实线车道线及旁边车道道路边缘时检测路肩的步骤。6.根据权利要求3或4所述的车辆控制方法，其中，掌握所述车辆的目前位置是否为路肩旁边车道的步骤包括如下步骤：从导航仪接收自所述车辆到路肩开始地点为止的横向距离；及在接收的自所述车辆到路肩开始地点为止的横向距离为一定距离以下的情况下，掌握为所述车辆的目前位置是路肩旁边车道。7.根据权利要求3或4所述的车辆控制方法，其中，将车道变更为所述路肩旁边车道的步骤包括如下步骤：通过车辆动力学传感器、车辆全方位监视照相机及车辆周边监视传感器而识别车辆后方及车辆周边对象信息来判断能否变更车道；及在能够变更车道的情况下，将车道变更为所述路肩旁边车道。8.根据权利要求3或4所述的车辆控制方法，其中，计算所述路肩停车地点的步骤包括如下步骤：利用自所述车辆到路肩末端地点为止的距离或道路边缘末端地点而计算所述路肩停车地点。9.根据权利要求1至4中的任一项所述的车辆控制方法，其中，所述车辆控制方法还包括：点亮应急灯的步骤；或将车辆信息、驾驶者信息及驾驶者状态信息传送到中央控制中心而请求调动控制中心救护车或警车的步骤。10.根据权利要求1所述的车辆控制方法，其中，所述车辆控制方法包括如下步骤：在所分析的所述驾驶者状态为正常的情况下，分析驾驶者眼球而基于驾驶者眼球的移动来控制车辆。11.根据权利要求10所述的车辆控制方法，其中，分析所述驾驶者眼球的步骤包括如下步骤：校正驾驶者眼球的零点；过滤驾驶者眼球的移动中的与车辆控制无关的单纯移动；及从所述驾驶者眼球的移动中检测车辆控制请求移动。12.根据权利要求11所述的车辆控制方法，其中，校正所述驾驶者眼球的零点的步骤包括如下步骤：在注视左侧旁边车道、本车道、右侧旁边车道的前方时，存储照相机中的驾驶者眼球的位置。13.根据权利要求11或12所述的车辆控制方法，其中，过滤所述单纯移动的步骤包括如下步骤：向车辆全方位监视照相机发送驾驶者目前注视位置信息；通过所述车辆全方位监视照相机而在驾驶者注视区域内检测对象；及在检测出的所述对象不是车道线或车道的情况下，判断为所述单纯移动。14.根据权利要求11所述的车辆控制方法，其中，检测所述车辆控制请求移动的步骤包括：当判断为不是所述单纯移动、并在驾驶者注视区域内检测出车道、并且驾驶者眼球在一定时间注视移动车道线区域时，判断为车辆控制请求移动的步骤；或在驾驶者眼球的瞳孔被扩大的情况下，判断为车辆控制请求移动的步骤。

百度查询： 汉拿科锐动电子股份公司 基于驾驶者状态的车辆控制系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD