申请/专利权人：三菱电机株式会社

申请日：2017-01-17

公开（公告）日：2023-07-21

公开（公告）号：CN110168610B

主分类号：G06T7/60

分类号：G06T7/60;A61B3/113;A61B5/18

优先权：

专利状态码：有效-授权

法律状态：2023.07.21#授权;2019.09.17#实质审查的生效;2019.08.23#公开

摘要：眼睑检测装置10包括：脸部特征点检测部13，该脸部特征点检测部13根据拍摄图像来检测外眼角及内眼角以作为脸部特征点；眼部区域检测部14，该眼部区域检测部14基于脸部特征点根据拍摄图像对包含上眼睑区域及眼睛区域的眼部区域进行检测；以及上眼睑检测部15，该上眼睑检测部15针对每个将眼部区域分割成多个区域而得的分割区域，基于在分割区域内排列的像素的亮度值的配置图案来对上眼睑区域与眼睛区域的边界进行检测，并连接针对每个分割区域所检测出的上眼睑区域与眼睛区域的边界来设为上眼睑。

主权项：1.一种眼睑检测装置，其特征在于，包括：脸部特征点检测部，该脸部特征点检测部根据拍摄图像来检测外眼角及内眼角以作为脸部特征点；眼部区域检测部，该眼部区域检测部基于所述脸部特征点根据所述拍摄图像对包含上眼睑区域及眼睛区域的眼部区域进行检测；以及上眼睑检测部，该上眼睑检测部针对每个将所述眼部区域分割成多个区域而得的分割区域，基于在分割区域内排列的像素的亮度值的配置图案来对上眼睑区域与眼睛区域的边界进行检测，并连接针对每个所述分割区域所检测出的所述边界来设为上眼睑，所述上眼睑检测部在一个所述分割区域内，使用第一阈值及值比所述第一阈值大的第二阈值，将具有所述第一阈值以上且小于所述第二阈值的亮度值的像素连续排列的配置图案设为所述上眼睑区域，将具有小于所述第一阈值的亮度值的像素及具有所述第二阈值以上的亮度值的像素连续排列的配置图案、或具有小于所述第一阈值的亮度值的像素连续排列的配置图案、或具有所述第二阈值以上的亮度值的像素连续排列的配置图案设为所述眼睛区域。

全文数据：眼睑检测装置、瞌睡判定装置、及眼睑检测方法技术领域本发明涉及对眼睑进行检测的眼睑检测装置及眼睑检测方法、以及基于检测出的眼睑对瞌睡进行判定的瞌睡判定装置。背景技术存在对车辆驾驶员的眼睛的睁开程度以下，称为“开眼度”进行检测的驾驶员监控装置。现有的驾驶员监控装置从拍摄了驾驶员的脸部的图像中提取眼部区域，对于眼部区域的图像实施边缘检测及曲线检测，从而检测出上下眼睑例如，参照专利文献1。现有技术文献专利文献专利文献1日本专利特开2000-137792号公报发明内容发明所要解决的技术问题现有的驾驶员监控装置如上述那样构成，因此存在下述问题：因拍摄到对眼睑化了较粗的眼线或浓的眼影等浓妆的驾驶员的图像而检测到化妆区域与非化妆区域的边界，进而导致将该边界误检测为上眼睑。并且，驾驶员监控装置存在下述问题：因拍摄到脸部轮廓分明而在眉眼处易出现阴影的驾驶员的图像而检查到阴影区域与非阴影区域的边界，进而导致将该边界误检测为上眼睑。在误检测出上眼睑的情况下，即使驾驶员正闭眼中驾驶员监控装置也会误判定为开眼，无法计算正确的开眼度，导致瞌睡判定处理不能正常地动作。本发明是为了解决上述的问题而完成的，其目的在于对在眉眼处有化妆或阴影的人物的上眼睑高精度地进行检测。解决技术问题所采用的技术方案本发明所涉及的眼睑检测装置包括：脸部特征点检测部，该脸部特征点检测部根据拍摄图像来检测外眼角及内眼角以作为脸部特征点；眼部区域检测部，该眼部区域检测部基于脸部特征点根据拍摄图像对包含上眼睑区域及眼睛区域的眼部区域进行检测；以及上眼睑检测部，该上眼睑检测部针对每个将眼部区域分割成多个区域而得的分割区域，基于在分割区域内排列的像素的亮度值的配置图案来对上眼睑区域与眼睛区域的边界进行检测，并连接针对每个分割区域所检测出的边界来设为上眼睑。发明效果根据本发明，由于针对每个将眼部区域分割成多个而得的分割区域，基于在分割区域内排列的像素的亮度值的配置图案来对上眼睑区域与眼睛区域的边界进行检测，并连接针对每个分割区域所检测出的边界来设为上眼睑，因此，能对在眉眼处有化妆或阴影的人物的上眼睑高精度地进行检测。附图说明图1是表示本发明的实施方式1所涉及的眼睑检测装置的结构例的框图。图2A及图2B是表示本发明的实施方式1所涉及的眼睑检测装置的硬件结构例的图。图3是表示本发明的实施方式1所涉及的眼睑检测装置的动作例的流程图。图4是图3的步骤ST15中的处理的详细的流程图。图5是由本发明的实施方式1所涉及的眼睑检测装置的眼部区域检测部检测出的眼部区域的图像例。图6A及图6B是说明本发明的实施方式1所涉及的眼睑检测装置的上眼睑检测部所采用的配置图案的判定方法的图。图7A、图7B及图7C是说明本发明的实施方式1所涉及的眼睑检测装置的上眼睑检测部所采用的上眼睑区域与眼睛区域的边界检测方法的图。图8是表示图5的眼部区域中的配置图案及边界的图。图9是表示图5的眼部区域中的上眼睑的图。图10是表示本发明的实施方式2所涉及的眼睑检测装置的结构例的框图。图11是表示本发明的实施方式2所涉及的眼睑检测装置的动作例的流程图。图12A、图12B及图12C是说明本发明的实施方式2所涉及的眼睑检测装置所采用的上眼睑检测方法的图。图13是表示本发明的实施方式3所涉及的眼睑检测装置的结构例的框图。图14是表示本发明的实施方式3所涉及的眼睑检测装置的动作例的流程图。图15是说明本发明的实施方式3所涉及的眼睑检测装置的上下眼睑检测部所采用的上下眼睑检测方法的图。图16A、图16B及图16C是说明本发明的实施方式3所涉及的眼睑检测装置的开眼度计算部所采用的开眼度计算方法的图。图17是表示本发明实施方式4所涉及的瞌睡判定装置的结构例的框图。具体实施方式下面，为了对本发明进行更加详细的说明，根据附图对用于实施本发明的方式进行说明。实施方式1.图1是表示本发明的实施方式1所涉及的眼睑检测装置10的结构例的框图。图1所示的眼睑检测装置10具备图像获取部11、脸部检测部12、脸部特征点检测部13、眼部区域检测部14、上眼睑检测部15、及控制部16。并且，眼睑检测装置10与拍摄部1相连接。以下，举例示出将眼睑检测装置10搭载于车辆并对驾驶员的眼睑进行检测的情况。眼睑检测装置10是对在眼睑处化了浓妆的驾驶员、及脸部轮廓分明而在眉眼处易出现阴影的驾驶员的上眼睑高精度地进行检测的装置。拍摄部1具备在车厢内所设置的单个或多个摄像头。对于拍摄部1，可以使用在可见光区域具有灵敏度的摄像头，还可以使用红外线摄像头等在非可见光区域具有灵敏度的摄像头。在拍摄部1使用红外线摄像头等的情况下，将照射红外线等非可见光的LEDLightEmittingDiode：发光二极管等照明装置设置于车厢内来对驾驶员进行照射。该拍摄部1在控制部16的控制下对驾驶员的脸部进行拍摄，并将拍摄图像输出至图像获取部11。图像获取部11从拍摄部1获取拍摄图像，输出至控制部16。脸部检测部12从控制部16接受图像获取部11从拍摄部1获取到的拍摄图像。脸部检测部12根据拍摄图像检测驾驶员的脸部，并将脸部检测结果输出至控制部16。脸部检测部12例如是使用哈尔特征Haar-like检测器、及对Adaboost和Cascade进行组合而得的一般性算法所生成的识别器。另外，拍摄部1等外部装置可以是具备脸部检测部12的结构，而眼睑检测装置10可以不是具备脸部检测部12的结构。在外部装置是具备脸部检测部12的结构的情况下，图像获取部11从外部装置的脸部检测部12获取拍摄图像和脸部检测结果并输出至控制部16。脸部特征点检测部13从控制部16接受图像获取部11从拍摄部1获取到的拍摄图像、及脸部检测部12检测出的脸部检测结果。脸部特征点检测部13基于脸部检测结果，根据拍摄图像上的脸部的位置对外眼角及内眼角进行检测以作为脸部特征点，并将脸部特征点检测结果输出至控制部16。脸部特征点检测部13例如是使用模型拟合或被称为弹性束图匹配ElasticBunchGraphMatching的方法等一般性算法所生成的检测器。另外，拍摄部1等外部装置可以是具备脸部特征点检测部13的结构，而眼睑检测装置10可以不是具备脸部特征点检测部13的结构。在外部装置是具备脸部特征点检测部13的结构的情况下，图像获取部11从外部装置的脸部特征点检测部13获取拍摄图像和脸部特征点检测结果并输出至控制部16。眼部区域检测部14从控制部16接受图像获取部11从拍摄部1获取到的拍摄图像、及脸部特征点检测部13检测出的脸部特征点检测结果。眼部区域检测部14基于脸部特征点检测结果的外眼角及内眼角的位置，根据拍摄图像检测眼部区域，并将眼部区域图像输出至控制部16。眼部区域包含上眼睑区域及眼睛区域。眼睛区域包含眼白和虹膜的区域。对于基于外眼角及内眼角的位置的眼部区域的检测方法可以使用公知的技术，因此省略说明。上眼睑检测部15从控制部16接受眼部区域检测部14所检测出的眼部区域的图像。上眼睑检测部15将眼部区域分割成多个区域，针对每个分割区域，基于在分割区域内排列的像素的亮度值的配置图案来对上眼睑区域与眼睛区域的边界进行检测。而且，上眼睑检测部15连接针对每个分割区域所检测出的边界来设为上眼睑的线，并输出至控制部16。控制部16对拍摄部1及眼睑检测装置10的动作进行控制。具体而言，控制部16向拍摄部1发出指示来拍摄驾驶员。并且，控制部16向眼睑检测装置10中的图像获取部11、脸部检测部12、脸部特征点检测部13、眼部区域检测部14及上眼睑检测部15发出指示来控制动作的时刻，或控制信息的收发。图2A及图2B是表示本发明的实施方式1所涉及的眼睑检测装置10的硬件结构例的图。拍摄部1是摄像头100。眼睑检测装置10中的图像获取部11、脸部检测部12、脸部特征点检测部13、眼部区域检测部14、上眼睑检测部15及控制部16的各功能由处理电路来实现。即，眼睑检测装置10具备用于实现上述各功能的处理电路。处理电路可以是作为专用硬件的处理电路101，还可以是执行储存于存储器103的程序的处理器102。如图2A所示,在处理电路是专用硬件的情况下，处理电路101例如与单一电路、复合电路、程序化后的处理器、并列程序化后的处理器、ASICApplicationSpecificIntegratedCircuit：专用集成电路、FPGAFieldProgrammableGateArray：现场可编程门阵列或它们的组合相对应。图像获取部11、脸部检测部12、脸部特征点检测部13、眼部区域检测部14、上眼睑检测部15及控制部16的功能可以由多个处理电路101来实现，还可以将各部的功能汇总而由一个处理电路101来实现。摄像头100及处理电路101与总线等相连接，可进行信息的收发。如图2B所示，处理电路是处理器102的情况下，图像获取部11、脸部检测部12、脸部特征点检测部13、眼部区域检测部14、上眼睑检测部15及控制器16的各功能可以由软件、固件、或软件和固件的组合来实现。软件或固件以程序的形式来表述，并储存于存储器103。处理器102读取储存于存储器103的程序并执行，从而实现各部分的功能。即，眼睑检测装置10具备存储器103，该存储器103用于储存在由处理器102执行时最终执行后述的图3等流程图中所示的步骤的程序。并且，也可以说该程序是使计算机执行图像获取部11、脸部检测部12、脸部特征点检测部13、眼部区域检测部14、上眼睑检测部15、及控制部16的步骤或方法的程序。此处，处理器102是指CPUCentralProcessingUnit：中央处理单元、处理装置、运算装置、微处理器、或微机等。存储器103可以是RAMRandomAccessMemory：随机存储器、ROMReadOnlyMemory：只读存储器、EPROMErasableProgrammableROM：电可编程只读存储器、或闪存等非易失性或易失性半导体存储器，也可以是硬盘、软盘等磁盘，也可以是CDCompactDisc：压缩盘或DVDDigitalVersatileDisc：数字通用光盘等光盘。摄像头100、处理电路102及存储器103与总线等相连接，可进行信息的收发。另外，对于图像获取部11、脸部检测部12、脸部特征点检测部13、眼部区域检测部14、上眼睑检测部15及控制部16的各功能，可以用专用的硬件来实现一部分，并用软件或固件来实现一部分。由此，眼睑检测装置10中的处理电路可以利用硬件、软件、固件或它们的组合来实现上述各功能。图3是表示本发明的实施方式1所涉及的眼睑检测装置10的动作例的流程图。眼睑检测装置10反复实施图3所示的流程图的处理。另外，以下的说明中，省略说明控制部16的动作。在步骤ST11中，图像获取部11对通过拍摄部1拍摄到的车辆的驾驶员的拍摄图像进行获取。在步骤ST12中，脸部检测部12根据拍摄图像来检测脸部位置。在步骤ST13中，脸部特征点检测部13根据拍摄图像上的脸部检测位置来检测外眼角及内眼角的位置。在步骤ST14中，眼部区域检测部14基于外眼角及内眼角的位置，根据拍摄图像对包含上眼睑区域及眼睛区域的眼部区域进行检测。在步骤ST15中，上眼睑检测部15从眼部区域中对上眼睑区域与眼睛区域的边界即上眼睑进行检测。其中，如上所述在外部装置具备脸部检测部12及脸部特征点检测部13的情况下，不需要进行步骤ST11～ST13。图4是图3的步骤ST15中的处理的详细的流程图。在步骤ST151中，上眼睑检测部15将眼部区域分割成多个分割区域。而且，上眼睑检测部15对眼部区域内的所有的像素的亮度值进行搜索。图5是通过眼部区域检测部14检测出的眼部区域201的图像例。该示例中，上眼睑检测部15将眼部区域201的最上侧且最左侧的像素设为亮度值搜索开始位置202，从亮度值搜索开始位置202起沿水平方向搜索各像素的亮度值。之后，上眼睑检测部15从下一列的最左侧的亮度值搜索开始位置203起沿水平方向搜索各像素的亮度值。由此，上眼睑检测部15对眼部区域201的所有列的所有像素搜索亮度值。此处，包含亮度值搜索开始位置202的水平方向一列的像素是一个分割区域，包含亮度值搜索开始位置203的水平方向一列的像素是一个分割区域。另外，上眼睑检测部15对眼部区域201沿水平方向进行了分割，但并不限于此，还可以沿垂直方向或圆弧方向等进行分割。例如在眼部区域201沿水平方向分割的情况下，一个分割区域是连接眼部区域201的右端的像素至左端的像素的水平方向的区域。并且，例如在眼部区域201沿垂直方向分割的情况下，一个分割区域是连接眼部区域201的上端的像素至下端的像素的垂直方向的区域。此外，例如在眼部区域201沿向上凸出的圆弧方向分割的情况下，一个分割区域是连接眼部区域201的右端的像素至左端的像素的圆弧方向的区域。由此，分割区域是连接眼部区域201的一端至相反侧的一端的区域。在步骤ST152中，上眼睑检测部15将各像素的亮度值与沿水平方向相邻的像素的亮度值进行比较，从而对亮度值的配置图案进行判定。上眼睑检测部15将第一阈值及第二阈值用于配置图案的判定。例如，眼睑检测装置10本身在校准中，使用霍夫变换等一般性算法根据拍摄图像来检测虹膜，并基于虹膜的像素的亮度值来设定第一阈值及第二阈值。第一阈值是用于判定虹膜的值，具有小于第一阈值的亮度值的像素是虹膜的可能性较高。第二阈值是用于判定眼白的值，具有第二阈值以上的亮度值的像素是眼白的可能性较高。具有第一阈值以上且小于第二阈值的亮度值的像素不是虹膜及眼白而是化妆或阴影的可能性较高。第二阈值是大于第一阈值的值。眼睑检测装置10实施校准的时刻无关紧要。眼睑检测装置10例如在刚开始启动车辆的发动机之后的、驾驶员坐在座位将脸部朝向规定的方向的数秒间实施校准。通过在该时刻实施校准，从而能获取通常状态下的驾驶员的眼睛的信息。图6A及图6B是说明上眼睑检测部15的配置图案a、b的判定方法的图。配置图案a是具有第一阈值以上且小于第二阈值的亮度值的像素连续排列的配置图案。该配置图案a用于判定眼部区域201内的上眼睑区域。配置图案b是具有小于第一阈值的亮度值的像素与具有第二阈值以上的亮度值的像素连续排列的配置图案、具有小于第一阈值的亮度值的像素连续排列的配置图案、以及具有第二阈值以上的亮度值的像素连续排列的配置图案。配置图案b用于判定眼部区域201内的眼睛区域。在图6A的纸面左侧，三个连续排列的像素的亮度值为“53”、“52”、“56”，所有的亮度值是第一阈值以上且小于第二阈值。因此，上眼睑检测部15将上述3个像素判定为配置图案a。同样地，在图6A的纸面右侧，三个连续排列的像素的亮度值为“46”、“43”、“49”，所有的亮度值是第一阈值以上且小于第二阈值。因此，上眼睑检测部15将上述3个像素判定为配置图案a。在图6B的纸面左侧，三个连续排列的像素的亮度值为“254”、“2”、“1”，亮度值“254”是第二阈值以上，亮度值“2”和“1”小于第一阈值。因此，上眼睑检测部15将上述3个像素判定为配置图案b。在图6B的纸面中央，三个连续排列的像素的亮度值为“0”、“1”、“3”，所有的亮度值小于第一阈值。因此，上眼睑检测部15将上述3个像素判定为配置图案b。在图6B的纸面右侧，三个连续排列的像素的亮度值为“254”、“255”、“253”，所有的亮度值是第二阈值以上。因此，上眼睑检测部15将上述3个像素判定为配置图案b。另外，上眼睑检测部15由于将眼部区域201沿水平方向进行了分割，因此对水平方向的配置图案进行判定，但在沿水平方向以外的方向进行了分割的情况下，对分割后的方向的配置图案进行判定即可。并且，上眼睑检测部15以沿水平方向相邻排列的三个像素为对象来对配置图案a、b进行了判定，但作为对象的像素数并不限于此，可以增加到4个像素以上。在步骤ST153中，在上眼睑检测部15对眼部区域201内的所有像素结束了亮度值的搜索和配置图案的判定的情况下步骤ST153“是”，前进至步骤ST154。另一方面，在残留有上眼睑检测部15尚未结束亮度值的搜索和配置图案的判定的像素的情况下步骤ST153“NO”，返回步骤ST151。在步骤ST154中，上眼睑检测部15针对每个分割区域，基于分割区域内的配置图案来对上眼睑区域与眼睛区域的边界进行检测。图7A、图7B及图7C是说明上眼睑检测部15所采用的上眼睑区域与眼睛区域的边界检测方法的图。上眼睑检测部15将各分割区域分类成分割区域A、B、C。分割区域A中如图7A那样仅存在配置图案a。分割区域B中如图7B那样仅存在配置图案b。分割区域C中如图7C那样混合有配置图案a和配置图案b。接着，上眼睑检测部15在分割区域C中对配置图案a与配置图案b的边界204、205进行检测。配置图案a与配置图案b的边界204、205是上眼睑区域与眼睛区域的边界。另一方面，由于分割区域A、B没有边界，因此上眼睑检测部15不进行分割区域A、B的边界检测处理。图8是表示图5的眼部区域201中的配置图案a、b及边界231～236的图。由眼部区域201沿水平方向分割而成的分割区域211～224中的分割区域215～217是混合有配置图案a、b的分割区域C。上眼睑检测部15从分割区域215～217来检测边界231～236。在步骤T155中，上眼睑检测部15对所有的分割区域结束了边界检测的情况下步骤ST155“是”，前进至步骤ST156。另一方面，在残留有上眼睑检测部15尚未结束边界检测的分割区域的情况下步骤ST155“否”，返回至步骤ST154。在步骤ST156中，上眼睑检测部15连接针对每个分割区域所检测出的边界来决定上眼睑。图9是表示图5的眼部区域201中的上眼睑241的图。上眼睑检测部15连接从图8的分割区域215～217所检测出的边界231～236来设定上眼睑241。此时，上眼睑检测部15例如通过使用边界231～236的位置、由脸部特征点检测部13检测出的外眼角及内眼角的位置而得到的曲线拟合来决定上眼睑241的线。顺带一提，比上眼睑241的线靠上侧的区域、即图8中的分割区域A是化妆或阴影。将之前说明的现有技术中用双划线所示的线、即化妆或阴影的上侧线误检测为上眼睑242，但实施方式1中并没有将化妆或阴影的上侧线误检测为上眼睑。如上所述，实施方式1所涉及的眼睑检测装置10包括：脸部特征点检测部13，该脸部特征点检测部13根据拍摄图像来检测外眼角及内眼角以作为脸部特征点；眼部区域检测部14，该眼部区域检测部14基于脸部特征点根据拍摄图像对包含上眼睑区域及眼睛区域的眼部区域进行检测；以及上眼睑检测部15，该上眼睑检测部15针对每个将眼部区域分割成多个区域而得的分割区域，基于在分割区域内排列的像素的亮度值的配置图案来对上眼睑区域与眼睛区域的边界进行检测，连接针对每个分割区域所检测出的上眼睑区域与眼睛区域的边界来设为上眼睑。由此，能对在眉眼处有化妆或阴影的人物的上眼睑高精度地进行检测。并且，实施方式1的上眼睑检测部15构成为在一个分割区域内，使用第一阈值及值比第一阈值大的第二阈值，将具有第一阈值以上且小于第二阈值的亮度值的像素连续排列的配置图案a设为上眼睑区域，将具有小于第一阈值的亮度值的像素及具有第二阈值以上的亮度值的像素连续排列的、或具有小于第一阈值的亮度值的像素连续排列的、或具有第二阈值以上的亮度值的像素连续排列的配置图案b设为眼睛区域。由此，能对上眼睑简单且高精度地进行检测。实施方式2.上述实施方式1中，以由上眼睑检测部15所检测的上眼睑是一个为前提。然而，在眼睑上以清楚地明白浓淡的方式化了眼影的情况下，或在多次化了眼线的情况下，或在眉眼处有多个阴影的情况下，以实施方式1的方式有可能会检测出多条上眼睑的线。对此，在实施方式2中，上眼睑检测部15在检测出多个上眼睑的情况下，将多个上眼睑中、亮度值的变化程度最大的上眼睑决定为真正上眼睑。以下，将上眼睑的亮度值的变化程度称为边缘强度。图10是表示本发明的实施方式2所涉及的眼睑检测装置10的结构例的流程图。实施方式2所涉及的眼睑检测装置10是对图1所示的实施方式1的眼睑检测装置10增加了边缘强度检测部21的结构。图10中，对与图1相同或相当部分标注相同标号，并省略说明。边缘强度检测部21由图2A所示的处理电路101来实现。或者，边缘强度检测部21通过由图2B所示的处理器102执行储存于存储器103的程序来实现。图11是表示本发明的实施方式2所涉及的眼睑检测装置10的动作例的流程图。图11的步骤ST151～ST156的处理由于与图4的步骤ST151～ST156的处理相同，因此省略说明。在步骤ST21中，在上眼睑检测部15检测出多个上眼睑的情况下步骤ST21“是”，经由控制部16将上眼睑的检测结果输出至边缘强度检测部21，并前进至步骤ST22。另一方面，在上眼睑检测部15检测出一个上眼睑的情况下步骤ST21“否”，前进至步骤ST156。在步骤ST22中，边缘强度检测部21经由控制部16从上眼睑检测部15接受上眼睑的检测结果。边缘强度检测部21对多个上眼睑分别检测边缘强度。边缘强度检测部21经由控制部16将边缘强度的检测结果输出至上眼睑检测部15。在接着步骤ST22的步骤ST156中，上眼睑检测部15经由控制部16从边缘强度检测部21接受边缘强度的检测结果。与由眼影或眼线等化妆、或眉眼的阴影所产生的边缘相比，上眼睑的边缘的边缘强度较强。因此，上眼睑检测部15基于边缘强度的检测结果，将多个上眼睑中边缘强度最强的上眼睑决定为真正上眼睑。图12A、图12B及图12C是说明本发明的实施方式2所涉及的眼睑检测装置10所采用的上眼睑检测方法的图。图12A所示的眼部区域250的图像例中对上眼睑化了浓淡清楚的眼影。如图12B所示，上眼睑检测部15从眼部区域250中检测两个上眼睑251、252。边缘强度检测部21基于上眼睑251与其周边的各像素的亮度值来检测边缘强度。相同地，边缘强度检测部21基于上眼睑252与其周边的各像素的亮度值来检测边缘强度。与上眼睑251的边缘强度相比，上眼睑252的边缘强度较强。因此，如图12C所示，上眼睑检测部15将上眼睑252决定为真正上眼睑。如上所述，实施方式2所涉及的眼睑检测装置10是具备边缘强度检测部21的结构，上述边缘强度检测部21在由上眼睑检测部15检测出多个上眼睑的情况下，对多个上眼睑各自的亮度值的变化程度进行检测。上眼睑检测部15具有将多个上眼睑中由边缘强度检测部21检测出的亮度值的变化程度最大的上眼睑决定为真正上眼睑的结构。根据该结构，能对化了浓淡清楚的眼影或多个眼线这一特殊性妆容的人物、或在眉眼处有多个阴影的人物的上眼睑进一步高精度地进行检测。实施方式3.实施方式3中，眼睑检测装置10除上眼睑以外还检测下眼睑。并且，眼睑检测装置10计算开眼度。图13是表示本发明的实施方式3所涉及的眼睑检测装置10的结构例的框图。实施方式3所涉及的眼睑检测装置10是对图1所示的实施方式1的眼睑检测装置10增加了上下眼睑检测部31及开眼度计算部32的结构。图13中，对与图1中相同或相当部分标注相同标号，并省略说明。上下眼睑检测部31及开眼度计算部32由图2A所示的处理电路101来实现。或者，上下眼睑检测部31及开眼度计算部32通过由图2B所示的处理器102执行储存于存储器103的程序来实现。图14是表示本发明的实施方式3所涉及的眼睑检测装置10的动作例的流程图。图14的步骤ST11～ST15的处理由于与图3的步骤ST11～ST15的处理相同，因此省略说明。在步骤ST31中，上下眼睑检测部31从控制部16接受脸部特征点检测部13所检测出的脸部特征点检测结果、及眼部区域检测部14所检测出的眼部区域的图像。上下眼睑检测部31基于脸部特征点检测结果的外眼角及内眼角的位置，从眼部区域中对假定上眼睑和下眼睑进行检测。上下眼睑检测部31将假定上眼睑和下眼睑的检测结果输出至控制部16。上下眼睑检测部31例如使用索贝尔Sobel滤波器或拉普拉斯Laplacian滤波器这种一般性图像处理滤波器来从眼部区域中检测边缘。接着，上下眼睑检测部31使用外眼角及内眼角的位置、以及边缘检测的结果，来检测曲线。所检测出的两条曲线成为假定上眼睑和下眼睑的线。对于曲线检测，使用霍夫变换等一般性算法。在步骤ST32中，开眼度计算部32从控制部16接受由上下眼睑检测部31所得到的假定上眼睑和下眼睑的检测结果。在假定上眼睑和下眼睑相一致的情况下步骤ST32“是”，开眼度计算部32前进至步骤ST33。另一方面，在假定上眼睑和下眼睑不一致的情况下步骤ST32“否”，开眼度计算部32将其内容通知给控制部16。若控制部16接受该通知则前进至步骤ST15及步骤ST34。在步骤ST33中，由于上下眼睑检测部31所检测出的假定上眼睑与下眼睑相一致，因此开眼度计算部32判定为驾驶员正在闭眼。开眼度计算部32将开眼度计算为0％。顺带一提，假定上眼睑和下眼睑相一致的情况下，眼部区域内仅存在图7A所示的分割区域A。接着步骤ST15的步骤ST34中，由于上下眼睑检测部31所检测出的假定上眼睑和下眼睑不一致，因此开眼度计算部32判定为驾驶员在睁开眼睛并计算开眼度。开眼度计算时，假设在驾驶员的眉眼处化了浓妆的情况或有阴影的情况，开眼度计算部32使用在步骤ST15中所检测出的上眼睑。图15是说明上下眼睑检测部31的上下眼睑检测方法的图。在图15所示的眼部区域260的图像例中，将真正上眼睑263及下眼睑262作为检测对象。然而，在比真正上眼睑263靠上侧处有化妆或阴影的区域。因此，在上下眼睑检测部31实施了边缘检测和曲线检测的情况下，会导致将化妆或阴影的区域的边界误检测为假定上眼睑261。因此，开眼度计算部32使用上眼睑检测部15所检测出的真正上眼睑263而不是上下眼睑检测部31所检测出的假定上眼睑261，来计算开眼度。例如，开眼度计算部32使用眼睑检测装置10本身在校准中所获取到的通常状态下的驾驶员的眼睛的信息，来计算通常状态的眼睛区域的纵向的距离，并将该距离设为开眼度100％的基准距离。开眼度计算部32经由控制部16接受由上下眼睑检测部31所得到的下眼睑的检测结果、以及由上眼睑检测部15所得到的上眼睑的检测结果。开眼度计算部32计算下眼睑与上眼睑之间的距离，并将计算出的距离与基准距离进行比较来计算开眼度。在步骤ST34中，开眼度计算部32对1％～100％的开眼度进行计算。顺带一提，在开眼度为1％～99％的情况下，在眼部区域内图7A、图7B及图7C所示的分割区域A、B、C全部存在。另一方面，开眼度是100％的情况下，在眼部区域内仅存在图7B所示的分割区域B。图16A、图16B及图16C是说明开眼度计算部32的开眼度计算方法的图。如图16A那样，在眼部区域260内图7A、图7B及图7C所示的分割区域A、B、C全部存在的情况下，上眼睑检测部15将分割区域B的配置图案a、b的边界作为真正上眼睑263来进行检测。开眼度计算部32基于基准距离H、以及真正上眼睑263和下眼睑262之间的距离，来计算开眼度。图16A中开眼度为65％。如图16B那样，在基准距离H、与真正上眼睑263和下眼睑262之间的距离相等的情况下，开眼度计算部32将开眼度计算为100％。另外，开眼度计算部32可以在眼部区域260仅存在分割区域B的情况下将开眼度计算为100％，以代替在基准距离H、与真正上眼睑263和下眼睑262之间的距离相等的情况下将开眼度计算为100％。如图16C那样，在假定上眼睑261与下眼睑262相一致的情况下，开眼度计算部32将开眼度计算为0％。另外，开眼度计算部32可以在眼部区域260内仅存在分割区域A的情况下将开眼度计算为0％，以代替在假定上眼睑261与下眼睑262相一致的情况下将开眼度计算为0％。如上所述，实施方式3所涉及的眼睑检测装置10是具备上下眼睑检测部31的结构，上述上下眼睑检测部31基于脸部特征点从眼部区域中对假定上眼睑和下眼睑进行检测。上眼睑检测部15构成为在由上下眼睑检测部31检测出的假定上眼睑与下眼睑不一致的情况下，将上眼睑检测部15所检测出的上眼睑决定为真正上眼睑。由此，通常眉眼的人物自不必说，即使对眉眼处有化妆或阴影的人物也能高精度地检测上眼睑。并且，实施方式3所涉及的眼睑检测装置10是具备开眼度计算部32的结构，上述开眼度计算部32使用由上眼睑检测部15检测出的真正上眼睑、及由上下眼睑检测部31检测出的下眼睑来计算开眼度。由此，能对在眉眼处有化妆或阴影的人物的上眼睑高精度地进行检测，因此也能对该人物的开眼度高精度地进行检测。另外，实施方式3所涉及的眼睑检测装置10可以具备实施方式2中的边缘强度检测部21。根据该结构，通常眉眼的人物自不必说，即使对化了浓淡清楚的眼影或多个眼线这一特殊性妆容的人物、或在眉眼处有多个阴影的人物，也能对上眼睑高精度地进行检测。并且，也能对该人物的开眼度高精度地进行计算。实施方式4.实施方式4中，使用开眼度的计算结果来判定瞌睡。图17是表示本发明的实施方式4所涉及的瞌睡判定装置40的结构例的框图。图17所示的瞌睡判定装置40具备实施方式3所涉及的眼睑检测装置10和瞌睡判定部41。瞌睡判定部41由图2A所示的处理电路101来实现。或者，瞌睡判定部41通过由图2B所示的处理器102执行储存于存储器103的程序来实现。瞌睡判定部41从实施方式3所涉及的眼睑检测装置10的开眼度计算部32接受开眼度计算结果。瞌睡判定部41基于开眼度计算结果对驾驶员是否正在打瞌睡进行判定。例如在预先规定的期间例如，数秒闭眼状态持续的情况下，瞌睡判定部41判定驾驶员正在打瞌睡。如上所述，实施方式4所涉及的瞌睡判定装置40是具备瞌睡判定部41的结构，上述瞌睡判定部41基于实施方式3的眼睑检测装置10、以及由眼睑检测装置10所计算出的开眼度来判定瞌睡状态。根据该结构，能对眉眼处有化妆或阴影的人物的上眼睑及开眼度高精度地进行检测，因此能对该人物的瞌睡高精度地进行判定。上述实施方式1～4中表示了拍摄部1、眼睑检测装置10及瞌睡判定装置40搭载于车辆的示例，但并不限于此，例如可以仅将拍摄部1搭载于车辆，而眼睑检测装置10及瞌睡判定装置40设置于车辆外。该情况下，例如，车内的拍摄部1与车外的眼睑检测装置10及瞌睡判定装置40可以通过无线通信收发信息。眼睑检测装置10及瞌睡判定装置40通过无线通信接收拍摄部1所拍摄的图像，来检测上眼睑，或计算开眼度，或判定瞌睡，并将其结果通过无线通信发送至驾驶员监控装置等车载装置。此外，本发明可以在其发明范围内对各实施方式进行自由组合，或对各实施方式的任意构成要素进行变形，或省略各实施方式的任意的构成要素。并且，以本发明的各实施方式中所说明的眼睑检测装置10及瞌睡判定装置40为对象的人物并不限于车辆的驾驶员，可以是包含铁路、船舶或飞机等在内的移动体的驾驶员。可以期待通过将眼睑检测装置10及瞌睡判定装置40适用于驾驶员监控装置，从而驾驶员监控装置可对不同性别及不同种族的驾驶员的多样的使用情况进行正常动作。工业上的实用性本发明所涉及的眼睑检测装置及瞌睡判定装置能对上眼睑高精度地进行检测，因此适用于对驾驶员的状态进行监视的驾驶员监控装置等。标号说明1拍摄部10眼睑检测装置11图像获取部12脸部检测部13脸部特征点检测部14眼部区域检测部15上眼睑检测部16控制部21边缘强度检测部31上下眼睑检测部32开眼度计算部40瞌睡判定装置41瞌睡判定部100摄像头101处理电路102处理器103存储器201、250、260眼部区域202、203亮度值搜索开始位置204、205、231～236边界211～224分割区域241、251、252上眼睑242误检测出的上眼睑261假定上眼睑262下眼睑263真正上眼睑

权利要求：1.一种眼睑检测装置，其特征在于，包括：脸部特征点检测部，该脸部特征点检测部根据拍摄图像来检测外眼角及内眼角以作为脸部特征点；眼部区域检测部，该眼部区域检测部基于所述脸部特征点根据所述拍摄图像对包含上眼睑区域及眼睛区域的眼部区域进行检测；以及上眼睑检测部，该上眼睑检测部针对每个将所述眼部区域分割成多个区域而得的分割区域，基于在分割区域内排列的像素的亮度值的配置图案来对上眼睑区域与眼睛区域的边界进行检测，并连接针对每个所述分割区域所检测出的所述边界来设为上眼睑。2.如权利要求1所述的眼睑检测装置，其特征在于，所述分割区域是连接所述眼部区域的一端至相反侧的一端的区域。3.如权利要求1所述的眼睑检测装置，其特征在于，所述上眼睑检测部在一个所述分割区域内，使用第一阈值及值比所述第一阈值大的第二阈值，将具有所述第一阈值以上且小于所述第二阈值的亮度值的像素连续排列的配置图案设为所述上眼睑区域，将具有小于所述第一阈值的亮度值的像素及具有所述第二阈值以上的亮度值的像素连续排列的配置图案、或具有小于所述第一阈值的亮度值的像素连续排列的配置图案、或具有所述第二阈值以上的亮度值的像素连续排列的配置图案设为所述眼睛区域。4.如权利要求1所述的眼睑检测装置，其特征在于，包括上下眼睑检测部，该上下眼睑检测部基于所述脸部特征点从所述眼部区域中检测假定上眼睑和下眼睑，在由所述上下眼睑检测部检测出的所述假定上眼睑和所述下眼睑不一致的情况下，所述上眼睑检测部将所述上眼睑检测部所检测出的所述上眼睑决定为真正上眼睑。5.如权利要求1所述的眼睑检测装置，其特征在于，包括边缘强度检测部，该边缘强度检测部在由所述上眼睑检测部检测出多个上眼睑的情况下，对所述多个上眼睑各自的亮度值的变化程度进行检测，所述上眼睑检测部将所述多个上眼睑中、由所述边缘强度检测部检测出的亮度值的变换程度最大的上眼睑决定为真正上眼睑。6.如权利要求4所述的眼睑检测装置，其特征在于，包括开眼度计算部，该开眼度计算部使用由所述上眼睑检测部检测出的所述真正上眼睑、及由所述上下眼睑检测部检测出的所述下眼睑来计算开眼度。7.一种瞌睡判定装置，其特征在于，包括：如权利要求6所述的眼睑检测装置；以及瞌睡判定部，该瞌睡判定部基于由所述眼睑检测装置计算出的开眼度来对瞌睡状态进行判定。8.一种眼睑检测方法，其特征在于，包括下述步骤：脸部特征点检测部根据拍摄图像检测外眼角及内眼角以作为脸部特征点；眼部区域检测部基于所述脸部特征点根据所述拍摄图像对包含上眼睑区域及眼睛区域的眼部区域进行检测；以及上眼睑检测部针对每个将所述眼部区域分割成多个区域而得的分割区域，基于在分割区域内排列的像素的亮度值的配置图案来检测上眼睑区域与眼睛区域的边界，并连接针对每个所述分割区域所检测出的所述边界来设为上眼睑。

百度查询： 三菱电机株式会社 眼睑检测装置、瞌睡判定装置、及眼睑检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD