申请/专利权人：东芝电梯株式会社

申请日：2018-07-27

公开（公告）日：2020-12-01

公开（公告）号：CN109879130B

主分类号：B66B5/00(20060101)

分类号：B66B5/00(20060101);B66B13/02(20060101);G06K9/32(20060101);G06K9/46(20060101);G06K9/00(20060101)

优先权：["20171206 JP 2017-234250"]

专利状态码：有效-授权

法律状态：2020.12.01#授权;2019.07.09#实质审查的生效;2019.06.14#公开

摘要：本发明的影像检测系统能够准确地检测拍摄影像中映入的影子或光。本发明的一实施方式的影像检测系统具备摄像装置101、边缘提取部103、特定边缘提取部105、候选区域提取部106及检测对象区域判定部107。边缘提取部103从由摄像装置101获得的影像中提取表示特征不同的区域的交界线的边缘。特定边缘提取部105对预先从背景影像中提取到的边缘与从输入影像中提取到的边缘进行比较，提取至少包含同时存在于两影像中的残留边缘的特定边缘。候选区域提取部106从输入影像中提取预先设定的检测对象区域的候选。检测对象区域判定部107根据特定边缘从候选区域中判定检测对象区域。

主权项：1.一种影像检测系统，其特征在于，具备：摄像装置，其设置在任意位置；边缘提取部，其从由该摄像装置获得的影像中提取表示特征不同的区域的交界线的边缘；特定边缘提取部，其对由该边缘提取部预先从背景影像中提取到的边缘与从输入影像中提取到的边缘进行比较，提取至少包含同时存在于两影像中的残留边缘的特定边缘；候选区域提取部，其从上述输入影像中提取预先设定的检测对象区域的候选区域；以及检测对象区域判定部，其根据由上述特定边缘提取部提取到的特定边缘，从由上述候选区域提取部提取到的候选区域中判定上述检测对象区域,上述检测对象区域判定部针对上述候选区域将上述候选区域的不包括轮廓的内部中上述残留边缘多于预先设定的阈值的区域判定为上述检测对象区域。

全文数据：影像检测系统本申请以日本专利申请2017-234250申请日期：2017年12月6日为基础，自该申请享受优先权。本申请通过参考该申请而包含该申请的全部内容。技术领域本发明的实施方式涉及一种用于电梯的门控制等的影像检测系统。背景技术在利用摄像机检测人物而进行门控制的系统中，必须将拍摄影像中映入的影子去除掉。此处，作为影子的判定方法，有如下方法：对拍摄对象的背景施加格子图样等纹理，将输入影像中留有背景纹理的暗淡区域判定为影子。此外，有根据背景影像与输入影像的亮度比来判定影子的方法。发明内容然而，使用背景纹理背景图样的方法在无法自由设定背景的图样的情况下无法运用。此外，在摄像机的分辨率较低而无法捕捉背景纹理背景图样的情况下也无法运用。对背景影像与输入影像的亮度进行比较的方法是将变暗的区域判定为影子，因此，例如存在将穿着暗色服装的人误判定为影子的情况。本发明要解决的问题在于提供一种能够准确地检测拍摄影像中映入的影子或光的影像检测系统。本发明的一实施方式的影像检测系统具备摄像装置、边缘提取部、特定边缘提取部、候选区域提取部及检测对象区域判定部。边缘提取部从由摄像装置获得的影像中提取表示特征不同的区域的交界线的边缘。特定边缘提取部对预先从背景影像中提取到的边缘与从输入影像中提取到的边缘进行比较，提取至少包含同时存在于两影像中的残留边缘的特定边缘。候选区域提取部从输入影像中提取预先设定的检测对象区域的候选。检测对象区域判定部根据特定边缘从候选区域中判定检测对象区域。根据上述构成的影像检测系统，能够准确地检测拍摄影像中映入的影子或光。附图说明图1为表示第1实施方式的影像检测系统的构成的框图。图2为表示第1实施方式中的由影像处理装置执行的影子区域检测处理的流程图。图3为用以说明上述影子区域检测处理的背景影像和输入影像的概念图。图4为用以说明第1实施方式中的背景输入影像与边缘区域的关系的图。图5为表示用以说明第1实施方式中的各种边缘的具体例的图。图6为表示第2实施方式的影像检测系统的构成的框图。图7为表示第2实施方式中的由影像处理装置执行的影子区域检测处理的流程图。图8为用以说明第2实施方式中的各种边缘的判定条件的图。图9为用以说明第2实施方式的变形例的背景影像和输入影像的概念图。图10为表示第3实施方式的影像检测系统的构成的框图。图11为表示第3实施方式中的由影像处理装置执行的影子区域检测处理的流程图。图12为用以说明第3实施方式中的均匀区域的分割的概念图。图13为表示第4实施方式中的由影像处理装置执行的光部分区域检测处理的流程图。图14为用以说明上述光部分区域检测处理的背景影像和输入影像的概念图。图15为用以说明第4实施方式中的背景输入影像与边缘区域的关系的图。图16为用以说明第4实施方式中的各种边缘的具体例。图17为表示第5实施方式中的由影像处理装置执行的光部分区域检测处理的流程图。图18为用以说明第5实施方式中的各种边缘的判定条件的图。图19为用以说明第5实施方式的变形例的背景影像和输入影像的概念图。图20为表示第6实施方式中的由影像处理装置执行的光部分区域检测处理的流程图。图21为用以说明第6实施方式中的均匀区域的分割的概念图。图22为表示作为应用例的电梯的乘坐检测系统的构成的图。图23为表示由上述乘坐检测系统的摄像机拍摄到的影像的一例的图。具体实施方式本发明的影像检测系统例如用于电梯的门、大厦的自动门等的开闭控制。该影像检测系统具有检测由摄像机拍摄到的影像中映入的影子或光的功能。下面，分为以影子为检测对象的情况和以光为检测对象的情况来进行说明。第1实施方式图1为表示第1实施方式的影像检测系统的构成的框图。本实施方式中的影像检测系统具备摄像装置101和影像处理装置102。摄像装置101例如为车载摄像机等小型的监视用摄像机。摄像装置101具有广角镜头，能够1秒钟连续拍摄数帧例如30帧秒的影像。例如，若是电梯，则摄像装置101设置于轿厢的门上部附近，在规定的拍摄范围内拍摄乘坐至轿厢内的使用者。再者，摄像装置101的设置位置不限于电梯的轿厢，只要是能够利用本系统的地方，哪儿都可以。此处，在第1实施方式中，是以拍摄影像中映入的影子为检测对象。影像处理装置102中，作为用以检测影子的功能，配备有边缘提取部103、背景边缘存储部104、特定边缘提取部105、候选区域提取部106及检测对象区域判定部107。边缘提取部103从由摄像装置101逐次拍摄的影像中提取边缘。所谓“边缘”，除了影像内的直线、曲线以外，还意指颜色、亮度、图样等特征不同的区域间的交界线。该边缘的提取通过现有方法来进行即可。例如，可使用Sobel边缘滤波、Canny边缘滤波。或者，也可通过像素的亮度值的离散的差异来求区域的交界位置。背景边缘存储部104中存储由边缘提取部103从背景影像中提取到的边缘的信息影像上的坐标位置等。“背景影像”是在不存在人、物等的环境下拍摄到的影像，作为用以与后文叙述的输入影像进行比较的基准影像加以使用。“输入影像”是检测时拍摄到的影像，有时包含人、物还有影子或光等。特定边缘提取部105对从背景影像中提取到的边缘与从输入影像中提取到的边缘进行比较，提取成为检测对象区域的条件的特定边缘。在第1实施方式中，“检测对象区域”是存在人、物的影子的区域。“特定边缘”至少包含同时存在于背景影像和输入影像中的残留边缘。特定边缘提取部105具有残留边缘提取部105a，对背景影像的边缘与输入影像的边缘进行比较，从这些边缘当中提取同时存在于两影像中的残留边缘作为影子区域的判定所需的特定边缘。候选区域提取部106从输入影像中提取预先设定为检测对象区域的影子区域的候选以下称为影子候选区域。再者，关于影子候选区域的提取，例如使用公知的背景差分法或者下述文献的方法即可。“ShadowDetection:ASurveyandComparativeEvaluationofRecentMethods”A.Saninetal.PatternRecognition-2012检测对象区域判定部107根据由特定边缘提取部105提取到的残留边缘从由候选区域提取部106提取到的影子候选区域中判定影子区域。接着，对第1实施方式的动作进行说明。图2为表示由影像处理装置102执行的影子区域检测处理的流程图。图3为用以说明上述影子区域检测处理的背景影像和输入影像的概念图。在图3的例子中，设想的是隔着一对柱子分成房间的内侧与外侧的环境。例如，若是电梯的轿厢，则柱子为门框，内侧为厢室内侧，外侧为大厅参考图23。摄像装置101设置在房间的出入口上部，从房间的内侧朝向外侧对规定范围内进行拍摄。在第1实施方式中，是以影子区域为检测对象区域。作为初始设定，预先在不存在人、物等的环境下获取到背景边缘。具体而言，首先，通过摄像装置101来获取背景影像并导入至影像处理装置102步骤S101。影像处理装置102的边缘提取部103例如使用Sobel边缘滤波、Canny边缘滤波等从该背景影像中提取表示特征不同的区域的交界线的边缘步骤S102。边缘提取部103将上述边缘相关的信息存储到背景边缘存储部104中步骤S103。图3所示的背景影像201中不含人、物等，从该背景影像201提取的边缘202也不含人、物等。再者，此处，为方便起见，仅描绘有较大的框，但实际上是提取更复杂的线条、曲线等作为边缘202。接着，在检测时，通过摄像装置101来获取输入影像并导入至影像处理装置102步骤S104。输入影像是在存在人、物等的环境下拍摄到的。与上述背景影像时一样，影像处理装置102的边缘提取部103从该输入影像中提取表示特征不同的区域的交界线的边缘步骤S105。再者，实际上是将1秒钟数帧例如30帧秒的输入影像逐次导入至影像处理装置102，对这些输入影像进行影子区域的检测处理。在图3的例子中，第1输入影像211中房间内存在人的腿脚，提取到包含该人的腿脚的边缘212。另一方面，第2输入影像221中房间内存在人或物的影子，提取到包含该影子的边缘222。当提取到输入影像的边缘时，特定边缘提取部105对背景边缘存储部104中存储的背景影像的边缘与该输入影像的边缘进行比较。特定边缘提取部105从输入影像中提取同时存在于两影像中的残留边缘作为影子区域的判定所需的特定边缘步骤S106。对于图3所示的第1输入影像211，由于人的腿脚挡住了背景，因此获得部分中断的残留边缘213。此外，通常而言，存在于影子下的背景不会消失，因此，对于第2输入影像221，获得包含背景和影子的残留边缘223。另一方面，候选区域提取部106例如使用背景差分法等公知的方法从输入影像中提取影子候选区域步骤S107。在图3的例子中，第1输入影像211中提取人的腿脚作为影子候选区域214，第2输入影像221中提取映入有影子的部分作为影子候选区域224。检测对象区域判定部107根据由特定边缘提取部105提取到的残留边缘在由候选区域提取部106提取到的影子候选区域中判定影子区域步骤S108。在该情况下，区域内部充分含有残留边缘的区域会被判定为影子区域。在图3的例子中，从第1输入影像211获得的影子候选区域214内没有残留边缘，从第2输入影像221获得的影子候选区域224内含有残留边缘。因而，提取从第2输入影像221获得的影子候选区域224作为影子区域225。参考图4及图5，对影子区域的判定处理进行详细说明。图4为用以说明背景输入影像与边缘区域的关系的图。背景影像中，以纵轴来分类有边缘的区域与没有边缘的区域，输入影像中，以横轴来分类有边缘的区域与没有边缘的区域。图5为用以说明各种边缘的具体例，展示了作为背景的房间内混存有腿脚和影子的状态。图4中，a栏表示同时存在于背景影像和输入影像中的边缘残留边缘。在图5的例子中，影子下能看见的背景的部分e1、未被前景挡住的背景的各部分e2相当于残留边缘。此处所说的“前景”是指覆盖在背景影像上的输入影像。b栏表示背景影像中以边缘的形式存在但被前景覆盖的部分消失边缘。在图5的例子中，前景将背景挡住的部分e3相当于消失边缘。c栏为背景影像中不存在边缘但输入影像中出现了边缘的部分追加边缘。在图5的例子中，前景的轮廓以外的边缘e4、前景的轮廓e5、影子的轮廓e6相当于追加边缘。d栏表示背景影像中、输入影像中都不存在边缘的区域。在图5的例子中，前景的内部e7、背景的内部e8、影子的内部e9相当于无边缘区域。此处，提取比作为背景的房间暗的区域作为影子候选区域。在该影子候选区域内，判定内部缺乏残留边缘的区域不是影子、判定内部有足够的残留边缘的区域为影子即可。关于残留边缘的足够与否的判定，例如使用预先设定的阈值TH。即，在残留边缘的像素数E为“E≥TH”的情况下，判定为残留边缘足够多的区域。否则，判定为残留边缘极少的区域。·阈值TH的决定方法例如将像下式所示那样对影子候选区域的面积S乘以根据影像尺寸、环境等加以设定的系数W而得的值作为TH。TH＝S*W再者，关于上述判定方法，已利用实际影像、通过多次实验确认了影子区域内大量存在残留边缘这一情况。如此，根据第1实施方式，通过提取同时存在于背景影像和输入影像中的残留边缘，能够检测影像中包含的影子区域。因而，例如若是利用拍摄影像来检测人物的系统，即便拍摄影像中映入有影子，也能将其排除而仅将人物准确地检测出来。此外，由于背景不需要纹理格子图案等图样，因此，还能应对无法自由设定背景的图样的情况或者摄像机的分辨率较低而无法捕捉背景纹理的情况。再者，为了从拍摄影像中稳定地提取更多的边缘，例如可对柱子与地板等的交界线实施涂装、标记来加以强调，或者使用不同地板材料来强调交界线。强调交界线的涂装、标记能够相对容易地进行，因此成本效益高。第2实施方式接着，对第2实施方式进行说明。在上述第1实施方式中，是着眼于同时存在于背景影像和输入影像中的残留边缘来判定影子区域，而在第2实施方式中，除了残留边缘以外，还考虑消失边缘和追加边缘来判定影子区域。图6为表示第2实施方式的影像检测系统的构成的框图。再者，对与上述第1实施方式中的图1的构成相同的部分标注同一符号并省略其说明。与上述第1实施方式一样，第2实施方式以拍摄影像内存在的影子为检测对象。此处，特定边缘提取部105中，除了残留边缘提取部105a以外，还设置有消失边缘提取部105b和追加边缘提取部105c。消失边缘提取部105b提取存在于背景影像中但不存在于输入影像中的消失边缘。追加边缘提取部105c提取不存在于背景影像中但存在于输入影像中的追加边缘。特定边缘提取部105对从背景影像中提取到的边缘与从输入影像中提取到的边缘进行比较，提取上述3种边缘残留边缘、消失边缘、追加边缘作为影子区域的判定所需的特定边缘。检测对象区域判定部107根据由特定边缘提取部105提取到的上述3种边缘从由候选区域提取部106提取到的候选区域中判定影子区域。接着，对第2实施方式的动作进行说明。图7为表示第2实施方式中的由影像处理装置102执行的影子区域检测处理的流程图。再者，步骤S201～S205的处理与图2的步骤S101～S105的处理相同，因此省略其说明。当提取到输入影像的边缘时，特定边缘提取部105对背景边缘存储部104中存储的背景影像的边缘与该输入影像的边缘进行比较。特定边缘提取部105根据该比较结果从输入影像中提取残留边缘、消失边缘、追加边缘作为影子区域的判定所需的特定边缘步骤S206。残留边缘是同时存在于背景影像和输入影像中的边缘参考图4的a、图5的e1、e2。消失边缘是背景影像中存在但被输入影像的前景覆盖而消失的边缘参考图4的b、图5的e3。追加边缘是背景影像中不存在但输入影像中出现的边缘参考图4的c、图5的e4、e5、e6。另一方面，候选区域提取部106例如使用背景差分法等公知的方法从输入影像中提取影子区域的候选影子候选区域步骤S207。检测对象区域判定部107根据由特定边缘提取部105提取到的上述3种边缘在由候选区域提取部106提取到的影子候选区域中判定影子区域步骤S208。在该情况下，判定方法根据边缘的种类而不同。即，如图8所示，对于残留边缘而言，是将影子候选区域的内部充分含有残留边缘的区域判定为影子区域。对于消失边缘而言，是将影子候选区域的内部未充分含有消失边缘的区域判定为影子区域。对于追加边缘而言，是将判定影子候选区域的内部未充分含有追加边缘的区域判定为影子区域。反过来，判定影子候选区域的内部未充分含有残留边缘的区域、充分含有消失边缘的区域、充分含有追加边缘的区域为前景而非影子区域。关于边缘的足够与否的判定，例如使用针对各种边缘中的每一种预先设定的阈值TH1、TH2、TH3。即，在残留边缘的像素数E1为“E1≥TH1”的情况下，判定为残留边缘足够多的区域。否则，判定为残留边缘极少的区域。在消失边缘的像素数E2为“E2≥TH2”的情况下，判定为消失边缘足够多的区域。否则，判定为消失边缘极少的区域。在追加边缘的像素数E3为“E3≥TH3”的情况下，判定为追加边缘足够多的区域。否则，判定为追加边缘极少的区域。·阈值TH1、TH2、TH3的决定方法例如像下式所示那样对影子候选区域的面积S分别乘以根据影像尺寸、环境等加以设定的系数W1、W2、W3，将所得的这些值作为TH1、TH2、TH3。TH1＝S*W1TH2＝S*W2TH3＝S*W3此处，根据拍摄环境等的不同，上述3种边缘未必全部都会被提取到，因此，使用上述3种边缘中的至少1种来判定影子区域即可。在该情况下，可仅使用1种2种明显多于或少于其他边缘的边缘。·使用上述3种边缘中的1种的情况例如，在仅使用消失边缘的情况下，消失边缘的足够与否的判定如下。即，在消失边缘的像素数E2为“E2≥TH2”的情况下，判定为消失边缘足够多的区域，在这之外的情况下，判定为消失边缘极少的区域即可。在上述步骤S208的判定处理中，若消失边缘较少，则判定为影子，若消失边缘较多，则判定为前景不是影子即可。·使用上述3种边缘中的2种的情况例如，在使用残留边缘和消失边缘的情况下，这些边缘的足够与否的判定如下。在残留边缘的像素数E1为“E1≥TH1”的情况下，判定为残留边缘足够多的区域。在消失边缘的像素数E2为“E2≥TH2”的情况下，判定为消失边缘足够多的区域。在这之外的情况下，判定为残留边缘、消失边缘边缘极少的区域。在上述步骤S208的判定处理中，若残留边缘较多、消失边缘较少，则判定为影子，若残留边缘较少、消失边缘较多，则判定为前景。除此之外判定为前景不是影子即可。再者，在图8的组合中，将“残留边缘较多、消失边缘较少”判定为影子，将“残留边缘较少、消失边缘较多”判定为前景不是影子。在这之外的情况下，也就是说，例如在“残留边缘较多、消失边缘较多”或者“残留边缘较少、消失边缘较少”的情况下，可判定为影子，也可判定为前景。但是，考虑到将“前景人”误判定为影子而例如将门关闭这一情况，优选判定为“前景”。此处，追加边缘在前景的轮廓、影子的轮廓中都存在。因此，追加边缘当中处于候选区域的轮廓近旁的追加边缘不用于是否为影子的判定，将候选区域的内部有足够多的追加边缘的区域判定为不是影子前景。变形例图9为用以说明第2实施方式的变形例的背景影像和输入影像的概念图，设想了2个影子重叠的环境。现在，设定背景影像301中存在源于外部光线的影子a。从该背景影像301中提取到的边缘302包含对应于影子a的边缘。此处，在输入影像311中，当新的影子b重叠至影子a时，获得将影子a和影子b作为1个影子的边缘312。在该情况下，背景的影子a与输入的影子b由于出现于相同地板区域内，因此亮度值大致相同，其交界不会产生边缘亮度差。影子a与影子b的交界部分的边缘消失，获得图示那样的残留边缘313。此外，在从输入影像311获得的影子候选区域314内，在影子a与影子b的交界部分包含消失边缘。在图8的判定条件下，消失边缘较多的区域会被判定为前景不是影子。因此，在像图9的例子那样输入影像311的影子b的轮廓出现消失边缘的情况下，误判定为前景的可能性升高。因此，对于消失边缘而言，通过将影子候选区域的“不包括轮廓的内部”作为对象，能够防止将影子b误判定为前景不是影子这一情况。如此，根据第2实施方式，通过在考虑残留边缘之外还考虑消失边缘、追加边缘，即便在例如背景的边缘在影子下消失、仅靠残留边缘无法进行判定这样的情况下，也能使用消失边缘或追加边缘来判定影子区域。第3实施方式接着，对第3实施方式进行说明。在第3实施方式中，在影子候选区域中分割亮度分布类似的接近区域，将它们提取为影子候选区域。图10为表示第3实施方式的影像检测系统的构成的框图。再者，对与上述第1实施方式中的图1的构成相同的部分标注同一符号并省略其说明。与上述第1实施方式一样，第3实施方式以拍摄影像内存在的影子为检测对象。此处，影像处理装置102中，除了上述第1实施方式的构成以外，还配备有均匀区域分割部108。均匀区域分割部108在由候选区域提取部106提取到的影子候选区域中分割亮度分布类似的接近区域。检测对象区域判定部107根据由特定边缘提取部105提取到的残留边缘在由均匀区域分割部108分割出的各候选区域中判定影子区域。接着，对第3实施方式的动作进行说明。图11为表示第3实施方式中的由影像处理装置102执行的影子区域检测处理的流程图。再者，步骤S301～S307的处理与图2的步骤S101～S107的处理相同，因此省略其说明。在第3实施方式中，当通过候选区域提取部106获得影子候选区域时，通过均匀区域分割部108在影子候选区域中单独提取亮度分布类似的接近区域作为1个影子候选区域步骤S308。图12表示具体例。现在，设定针对像图12的a所示那样人的腿脚与影子连在一起的输入影像401而提取到该图b所示那样的影子候选区域402。在该例中，人的腿脚裤子和鞋子和影子被提取为1个影子候选区域402。此处，若利用亮度分布类似的区域来分割影子候选区域402，则像该图c所示那样获得3个区域403a、403b、403c作为影子候选区域403。区域403a对应于裤子，区域403b对应于鞋子。区域403c对应于影子，具有残留边缘。检测对象区域判定部107在由均匀区域分割部108获得的各候选区域中判定影子区域步骤S309。在该情况下，像上述第1实施方式中说明过的那样，区域内部充分含有残留边缘的候选会被判定为影子区域。在图12c的例子中，区域403a、403b内没有残留边缘，区域403c内部含有残留边缘。因而，如该图d所示，区域403c最终被提取为影子区域404。如此，根据第3实施方式，在拍摄影像中人的区域与影子的区域连在一起的情况下，不是在这整个区域内判定是否为影子，而是在分割为亮度分布类似的区域之后各自进行判定，由此，能够仅将影子的区域准确地检测出来。再者，在上述步骤S309的判定处理中，通过像上述第2实施方式那样不仅使用残留边缘还使用消失边缘和追加边缘，能够更准确地判定影子的区域。第4实施方式接着，对第4实施方式进行说明。在上述第1至第3实施方式中，对检测拍摄影像内存在的影子的情况进行了说明，而在第4实施方式中，是对检测拍摄影像内存在的光的情况进行说明。此处所说的“光”例如是指由照明设备局部性地射入至房间内的光注光、太阳光从房间的间隙等局部性地射入的光等。这种局部性的光与人、物的影子一样，有时也会对利用摄像机的检测动作产生影响。例如，在房间内有光局部性地照到的区域的情况下，有时无法在拍摄影像上判别该区域是光部分的区域还是穿着白色服装的人的区域。下面，对判定这种光部分的区域的处理进行详细说明。再者，装置构成与上述第1实施方式中的图1的构成基本相同，因此省略图示。但在图1的构成中，检测对象区域不是影子区域而是局部性地存在光的区域以下称为光部分区域。候选区域提取部106提取该光部分区域的候选。关于光部分候选区域的提取，例如提取通过公知的背景差分法获得的差分区域当中变得比过去的背景亮的区域即可。检测对象区域判定部107根据由特定边缘提取部105提取到的残留边缘从由候选区域提取部106提取到的光部分候选区域中判定光部分区域。接着，对第4实施方式的动作进行说明。图13为表示第4实施方式中的由影像处理装置102执行的光部分区域检测处理的流程图。图14为用以说明上述光部分区域检测处理的背景影像和输入影像的概念图，与图3一样，设想了隔着一对柱子分成房间的内侧与外侧的环境。但是，此处设定房间的内侧和外侧处于稍微暗淡的状态。处理的基本流程与上述第1实施方式的图2相同。但在第4实施方式中，是以光部分区域为检测对象区域。如上所述，所谓“光部分区域”，是指局部性地存在光的区域，与影子一样，会对利用摄像机的检测动作产生影响。作为初始设定，预先在不存在人、物等的环境下获取到背景边缘。具体而言，首先，通过摄像装置101来获取背景影像并导入至影像处理装置102步骤S401。影像处理装置102的边缘提取部103例如使用Sobel边缘滤波、Canny边缘滤波等从该背景影像中提取表示特征不同的区域的交界线的边缘步骤S402。边缘提取部103将上述边缘相关的信息存储到背景边缘存储部104中步骤S403。图14所示的背景影像501中不含人、物等，从该背景影像501中提取的边缘502也不含人、物等。再者，此处，为方便起见，仅描绘有较大的框，但实际上是提取更复杂的线条、曲线等作为边缘502。接着，在检测时，通过摄像装置101来获取输入影像并导入至影像处理装置102步骤S404。输入影像是在存在人、物等的环境下拍摄到的。与上述背景影像时一样，影像处理装置102的边缘提取部103从该输入影像中提取表示特征不同的区域的交界线的边缘步骤S405。再者，实际上是将1秒钟数帧例如30帧秒的输入影像逐次导入至影像处理装置102，对这些输入影像进行光部分区域的检测处理。在图14的例子中，第1输入影像511内存在穿着明亮颜色例如白色的裤子和鞋子的人的腿脚，提取到包含该人的腿脚的边缘512。另一方面，第2输入影像521内局部性地存在例如照明设备的光、日光等，提取到包含该光部分的边缘522。当提取到输入影像的边缘时，特定边缘提取部105对背景边缘存储部104中存储的背景影像的边缘与该输入影像的边缘进行比较，由此提取同时存在于两影像中的残留边缘作为光部分区域的判定所需的特定边缘步骤S406。对于图14所示的第1输入影像511，由于人的腿脚挡住了背景，因此获得局部性地中断的残留边缘513。此外，通常而言，存在于光下的背景不会消失，因此，对于第2输入影像521，获得包含背景和光部分的残留边缘523。另一方面，候选区域提取部106例如使用背景差分法等公知的方法从输入影像中提取光部分候选区域步骤S407。在图14的例子中，第1输入影像511中提取人的腿脚作为光部分候选区域514，第2输入影像521中提取映入有光的部分作为光部分候选区域524。检测对象区域判定部107根据由特定边缘提取部105提取到的残留边缘在由候选区域提取部106提取到的光部分候选区域中判定光部分区域步骤S408。在该情况下，区域内部充分含有残留边缘的候选区域会被判定为光部分区域。在图14的例子中，从第1输入影像511获得的光部分候选区域514内没有残留边缘，从第2输入影像521获得的光部分候选区域524内含有残留边缘。因而，从第2输入影像521获得的光部分候选区域524被提取为光部分区域525。参考图15及图16，对光部分区域的判定处理进行详细说明。图15为用以说明背景输入影像与边缘区域的关系的图。与图4一样，背景影像中，以纵轴来分类有边缘的区域与没有边缘的区域，输入影像中，以横轴来分类有边缘的区域与没有边缘的区域。但是，此处是以光部分区域而非影子区域为检测对象区域。图16为用以说明各种边缘的具体例，展示了作为背景的房间内混存有腿脚和光的状态。图15中，a栏表示同时存在于背景影像和输入影像中的边缘残留边缘。在图16的例子中，光下能看见的背景的部分e11、未被前景挡住的背景的各部分e12相当于残留边缘。此处所说的“前景”是指覆盖在背景影像上的输入影像。b栏表示背景影像中以边缘的形式存在但被前景覆盖的部分消失边缘。在图16的例子中，前景将背景挡住的部分e13相当于消失边缘。c栏是背景影像中不存在边缘但输入影像中出现了边缘的部分追加边缘。在图16的例子中，前景的轮廓以外的边缘e14、前景的轮廓e15、光部分的轮廓e16相当于追加边缘。d栏表示背景影像中、输入影像中都不存在边缘的区域。在图16的例子中，前景的内部e17、背景的内部e18、光部分的内部e19相当于无边缘区域。此处，提取比作为背景的房间亮的区域作为光候选区域。在该光候选区域中，判定内部缺乏残留边缘的区域不是光部分、判定内部有足够的残留边缘的区域为光部分即可。残留边缘的足够与否的判定与上述第1实施方式相同，例如针对预先设定的阈值TH，在残留边缘的像素数E为“E≥TH”的情况下，判定为残留边缘足够多的区域，否则判定为残留边缘极少的区域即可。再者，也可在将检测对象设为影子的情况下和设为光的情况下改变上述阈值TH。如此，根据第4实施方式，在将映入有光的区域作为检测对象区域的情况下，与上述第1实施方式一样，也可以通过提取同时存在于背景影像和输入影像中的残留边缘来检测影像中包含的光部分区域。因而，例如若是利用拍摄影像来检测人物的系统，例如即便检测范围内存在照明设备的光、日光，也能将它们排除而仅将人物准确地检测出来。再者，在第4实施方式中，也可以采用与上述第1实施方式组合来检测影子和光两方的构成。第5实施方式接着，对第5实施方式进行说明。在上述第4实施方式中，是着眼于同时存在于背景影像和输入影像中的残留边缘来判定光部分区域，而在第5实施方式中，除了残留边缘以外，还考虑消失边缘和追加边缘来判定光部分区域。再者，装置构成与上述第2实施方式中的图6的构成基本相同，因此省略图示。但在图6的构成中，检测对象区域不是影子区域而是光部分区域。候选区域提取部106提取该光部分区域的候选。此外，特定边缘提取部105中，除了残留边缘提取部105a以外，还设置有消失边缘提取部105b和追加边缘提取部105c。消失边缘提取部105b提取存在于背景影像中但不存在于输入影像中的消失边缘。追加边缘提取部105c提取不存在于背景影像中但存在于输入影像中的追加边缘。特定边缘提取部105对从背景影像中提取到的边缘与从输入影像中提取到的边缘进行比较，提取上述3种边缘残留边缘、消失边缘、追加边缘作为光部分区域的判定所需的特定边缘。检测对象区域判定部107根据由特定边缘提取部105提取到的上述3种边缘从由候选区域提取部106提取到的候选区域中判定光部分区域。接着，对第5实施方式的动作进行说明。图17为表示第5实施方式中的由影像处理装置102执行的光部分区域检测处理的流程图。再者，步骤S501～S505的处理与图13的步骤S401～S405的处理相同，因此省略其说明。当提取到输入影像的边缘时，特定边缘提取部105对背景边缘存储部104中存储的背景影像的边缘与该输入影像的边缘进行比较，由此提取残留边缘、消失边缘、追加边缘作为光部分区域的判定所需的特定边缘步骤S506。残留边缘是同时存在于背景影像和输入影像中的边缘参考图15的a、图16的e11、e12。消失边缘是背景影像中存在但被输入影像的前景覆盖而消失的边缘参考图15的b、图16的e13。追加边缘是背景影像中不存在但输入影像中出现的边缘参考图15的c、图16的e14、e15、e16。另一方面，候选区域提取部106例如使用背景差分法等公知的方法从输入影像中提取光部分区域的候选光部分候选区域步骤S507。检测对象区域判定部107根据由特定边缘提取部105提取到的上述3种边缘，在由候选区域提取部106提取到的光部分候选区域中判定光部分区域步骤S508。在该情况下，判定方法根据边缘的种类而不同。即，如图18所示，对于残留边缘而言，是将光部分候选区域的内部充分含有残留边缘的区域判定为光部分区域。对于消失边缘而言，是将光部分候选区域的内部未充分含有消失边缘的区域判定为光部分区域。对于追加边缘而言，是将光部分候选区域的内部未充分含有追加边缘的区域判定为光部分区域。反过来，判定光部分候选区域的内部未充分含有残留边缘的区域、充分含有消失边缘的区域、充分含有追加边缘的区域为前景而非光部分区域。边缘的足够与否的判定与上述第2实施方式相同，例如使用针对各种边缘中的每一种预先设定的阈值TH1、TH2、TH3。再者，也可在将检测对象设为影子的情况下和设为光的情况下改变上述阈值TH1、TH2、TH3。此处，根据拍摄环境等的不同，上述3种边缘未必全部都会被提取到，因此，使用上述3种边缘中的至少1种来判定光部分区域即可。在该情况下，可仅使用1种2种明显多于或少于其他边缘的边缘。再者，在图18的组合中，将“残留边缘较多、消失边缘较少”判定为光部分，将“残留边缘较少、消失边缘较多”判定为前景不是光部分。在这之外的情况下，也就是说，例如在“残留边缘较多、消失边缘较多”或者“残留边缘较少、消失边缘较少”的情况下，可判定为光部分，也可判定为前景。但是，考虑到将“前景人”误判定为光部分而例如将门关闭这一情况，优选判定为“前景”。此处，追加边缘在前景的轮廓、光部分的轮廓中都存在。因此，追加边缘当中处于候选区域的轮廓近旁的追加边缘不用于是否为光部分的判定，将候选区域的内部有足够多的追加边缘的区域判定为不是光部分前景。变形例图19为用以说明第5实施方式的变形例的背景影像和输入影像的概念图，设想了2个光重叠的环境。现在，设定背景影像601中例如因房间内设置的照明设备等而预先存在光a的部分。从该背景影像601中提取到的边缘602包含对应于光a的边缘。此处，在输入影像611中，例如当因外部的照明设备、车辆的前灯等而使得新的光b重叠至光a时，获得将光a和光b作为1个光部分的边缘612。在该情况下，背景的光a与输入的光b因出现于相同地板区域，因此亮度值大致相同，其交界不会产生边缘亮度差。光a与光b的交界部分的边缘消失，获得图示那样的残留边缘613。此外，在从输入影像611获得的光部分候选区域614内，在光a与光b的交界部分包含消失边缘。在图18的判定条件下，消失边缘较多的区域会被判定为前景不是光部分。因此，在像图19的例子那样输入影像611的光b的轮廓出现消失边缘的情况下，误判定为前景的可能性升高。因此，与图8中说明过的影子重叠的情况一样，对于消失边缘而言，通过将光部分候选区域的“不包括轮廓的内部”作为对象，能够防止将光b误判定为前景不是光部分这一情况。如此，根据第5实施方式，通过在考虑残留边缘之外还考虑消失边缘、追加边缘，即便在例如背景的边缘在光下消失、仅靠残留边缘无法进行判定这样的情况下，也能使用消失边缘或追加边缘来判定光部分区域。再者，在第5实施方式中，也可以采用与上述第2实施方式组合来检测影子和光两方的构成。第6实施方式接着，对第6实施方式进行说明。在第6实施方式中，在光部分候选区域中分割亮度分布类似的接近区域，将它们提取为光部分候选区域。再者，装置构成与上述第3实施方式中的图10的构成基本相同，因此省略图示。但在图10的构成中，检测对象区域不是影子区域而是光部分区域。候选区域提取部106提取该光部分区域的候选。此外，均匀区域分割部108在由候选区域提取部106提取到的光部分候选区域中分割亮度分布类似的接近区域。检测对象区域判定部107根据由特定边缘提取部105提取到的残留边缘在由均匀区域分割部108分割出的各候选区域中判定光部分区域。接着，对第6实施方式的动作进行说明。图20为表示第6实施方式中的由影像处理装置102执行的光部分区域检测处理的流程图。再者，步骤S601～S607的处理与图13的步骤S401～S407的处理相同，因此省略其说明。在第6实施方式中，当通过候选区域提取部106获得光部分候选区域时，通过均匀区域分割部108在光部分候选区域中单独提取亮度分布类似的接近区域作为1个光部分候选区域步骤S608。图21表示具体例。现在，设定针对像图21的a所示那样人的腿脚与光的射入连在一起的输入影像701而提取到该图b所示的那样的光部分候选区域702。在该例中，设想的是人的腿脚裤子和鞋子呈明亮颜色例如白色、且此处射入有例如外部的照明设备的光的状态。在这种情况下，人的腿脚和光的射入部分被提取为1个光部分候选区域702。此处，若利用亮度分布类似的区域来分割光部分候选区域702，则像该图c所示那样获得3个区域703a、703b、703c作为光部分候选区域703。区域703a对应于裤子，区域703b对应于鞋子。区域703c对应于光部分，具有残留边缘。检测对象区域判定部107在由均匀区域分割部108获得的各候选区域中判定光部分区域步骤S609。在该情况下，像上述第4实施方式中说明过的那样，区域内部充分含有残留边缘的候选会被判定为光部分区域。在图21的c的例子中，区域703a、703b内没有残留边缘，区域703c内部含有残留边缘。因而，如该图d所示，区域703c最终被提取为光部分区域704。如此，根据第6实施方式，在拍摄影像中人的区域与光部分的区域连在一起的情况下，不是在这整个区域内判定是否为光部分，而是在分割为亮度分布类似的区域之后各自进行判定，由此，能够仅将光部分的区域准确地检测出来。再者，在上述步骤S609的判定处理中，通过像上述第5实施方式那样不仅使用残留边缘还使用消失边缘和追加边缘，能够更准确地判定光部分区域。此外，在第6实施方式中，也可以采用与上述第3实施方式组合来检测影子和光两方的构成。应用例接着，对将本发明的影像检测系统运用于电梯的情况进行说明。图22为表示电梯的乘坐检测系统的构成的图。再者，此处以1台轿厢为例进行说明，但多台轿厢也是同样的构成。在轿厢11的出入口上部设置有相当于本系统的摄像装置101的摄像机12。具体而言，以将摄像机12的镜头部分朝向候梯厅15侧的方式设置在覆盖轿厢11的出入口上部的门楣板11a中。摄像机12例如为车载摄像机等小型的监视用摄像机。摄像机12具有广角镜头，能够连续拍摄1秒钟数帧例如30帧秒的影像。在轿厢11到达各楼层而开门时，以包括轿厢11内的轿厢门13附近的状态在内的方式拍摄候梯厅15的状态。此时的拍摄范围调整为L1+L2L1＞＞L2。L1为候梯厅侧的拍摄范围，从轿厢门13朝向候梯厅15例如为3m。L2为轿厢侧的拍摄范围，从轿厢门13朝向轿厢背面例如为50cm。再者，L1、L2为纵深方向的范围，宽度方向与纵深方向正交的方向的范围至少比轿厢11的横宽大。再者，在各楼层的候梯厅15内，在轿厢11的到达口开闭自如地设置有候梯厅门14。候梯厅门14在轿厢11到达时卡合至轿厢门13来进行开闭动作。动力源门马达处于轿厢11侧，候梯厅门14只是跟随轿厢门13进行开闭。在以下的说明中，设定轿厢门13打开时候梯厅门14也打开、轿厢门13关闭时候梯厅门14也关闭。由摄像机12拍摄到的各影像画面由相当于本系统的影像处理装置102的影像处理装置20实时地加以解析处理。再者，图22中，为方便起见，是将影像处理装置20从轿厢11中取出来加以展示的，但实际上影像处理装置20与摄像机12一起收纳在门楣板11a中。此处，影像处理装置20中配备有存储部21和使用者检测部22。存储部21具有用以逐次保存由摄像机12拍摄到的影像、而且暂时保持使用者检测部22的处理所需的数据的缓冲区。使用者检测部22着眼于由摄像机12拍摄到的在时间序列上连续的多张影像当中离轿厢门13最近的人、物的运动来检测有无有乘坐意愿的使用者。该使用者检测部22若在功能上加以划分，则由运动检测部22a、位置推断部22b及乘坐意愿推断部22c构成。运动检测部22a以区块单位来比较各影像的亮度而检测人、物的运动。此处所说的“人、物的运动”是指候梯厅15的人物、轮椅等移动体的运动。位置推断部22b从由运动检测部22a针对各影像中的每一影像检测到的有运动的区块中提取离轿厢门13最近的区块，将该区块的距轿厢门13的中心门横宽的中心的候梯厅方向的坐标位置图5所示的Y坐标推断为使用者的位置脚部位置。乘坐意愿推断部22c根据由位置推断部22b推断出的位置的时间序列变化来判定该使用者有无乘坐意愿。再者，这些功能运动检测部22a、位置推断部22b、乘坐意愿推断部22c可设置在摄像机12中，也可设置在轿厢控制装置30中。轿厢控制装置30连接于未图示的电梯控制装置，与该电梯控制装置之间收发候梯厅呼梯、轿厢召唤等各种信号。所谓“候梯厅呼梯”，是指通过各楼层的候梯厅15内设置的未图示的候梯厅呼梯按钮的操作加以登记的呼叫信号，包含登记楼层和目的地方向的信息。所谓“轿厢召唤”，是指通过轿厢11的厢室内设置的未图示的目的地呼叫按钮的操作加以登记的呼叫信号，包含目的地楼层的信息。此外，轿厢控制装置30具备门开闭控制部31。门开闭控制部31对轿厢11到达候梯厅15时的轿厢门13的门开闭进行控制。详细而言，在轿厢11已到达候梯厅15时，门开闭控制部31打开轿厢门13，并在经过规定时间后关门。但是，在轿厢门13处于打开状态时由影像处理装置20的使用者检测部22检测到有乘坐意愿的人物的情况下，门开闭控制部31会禁止轿厢门13的关门动作而维持打开状态。图23为表示由摄像机12拍摄到的影像的一例的图。图中的E0表示位置推断区域，yn表示检测到使用者的脚部位置的Y坐标。摄像机12设置在轿厢11的出入口上部。因而，在轿厢11于候梯厅15开门时，拍摄候梯厅侧的规定范围L1和轿厢内的规定范围L2。此处，若利用摄像机12，则检测范围扩大，位于离轿厢11略远的位置的使用者也能检测出来。但另一方面，有可能会误检测只是通过候梯厅15的人物不乘坐轿厢11的人物而打开轿厢门13。因此，将由摄像机12拍摄到的影像划分为一定尺寸的区块，检测有人、物的运动的区块并追踪该有运动的区块，由此判定是否为有乘坐意愿的使用者。在这种构成中，若对影像处理装置20设置好本系统的影像处理装置102的各功能并通过上述各实施方式中说明过的方法从摄像机12的拍摄影像中判定影子的区域或者光部分的区域，则能够仅将有乘坐意愿的使用者准确地检测出来而反映到门的开闭控制中。再者，本发明的影像检测系统不限于上述的电梯的门的开闭控制，例如对于大厦的自动门的开闭控制也能以与上述相同的方式地加以运用。此外，不限于门的开闭控制，可以运用于检测影子或光部分来进行某种控制的所有系统。根据以上叙述过的至少1种实施方式，可以提供一种能够准确地检测拍摄影像中映入的影子或光的影像检测系统。再者，虽然对本发明的若干实施方式进行了说明，但这些实施方式是作为例子提出的，并非意欲限定发明的范围。这些新颖的实施方式能以其他各种形态加以实施，可以在不脱离发明的主旨的范围内进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围和主旨内，而且包含在权利要求书中记载的发明及其均等的范围内。

权利要求：1.一种影像检测系统，其特征在于，具备：摄像装置，其设置在任意位置；边缘提取部，其从由该摄像装置获得的影像中提取表示特征不同的区域的交界线的边缘；特定边缘提取部，其对由该边缘提取部预先从背景影像中提取到的边缘与从输入影像中提取到的边缘进行比较，提取至少包含同时存在于两影像中的残留边缘的特定边缘；候选区域提取部，其从上述输入影像中提取预先设定的检测对象区域的候选；以及检测对象区域判定部，其根据由上述特定边缘提取部提取到的特定边缘，从由上述候选区域提取部提取到的候选区域中判定上述检测对象区域。2.根据权利要求1所述的影像检测系统，其特征在于，上述检测对象区域判定部将上述候选区域当中上述残留边缘多于预先设定的阈值的区域判定为上述检测对象区域。3.根据权利要求2所述的影像检测系统，其特征在于，在上述候选区域的不包括轮廓的内部上述残留边缘多于上述阈值的情况下，上述检测对象区域判定部判定为上述检测对象区域。4.根据权利要求1所述的影像检测系统，其特征在于，上述特定边缘提取部包含如下操作，即，除了提取上述残留边缘以外，还提取存在于上述背景影像中但不存在于上述输入影像中的消失边缘和不存在于上述背景影像中但存在于上述输入影像中的追加边缘，上述检测对象区域判定部根据上述残留边缘、上述消失边缘、上述追加边缘中的至少1种以上的组合，从上述候选区域中判定上述检测对象区域。5.根据权利要求4所述的影像检测系统，其特征在于，上述检测对象区域判定部将上述残留边缘多于预先设定的第1阈值的区域、上述消失边缘少于预先设定的第2阈值的区域、或者上述追加边缘少于预先设定的第3阈值的区域判定为上述检测对象区域。6.根据权利要求5所述的影像检测系统，其特征在于，在上述候选区域的不包括轮廓的内部上述残留边缘多于上述第1阈值、上述候选区域的不包括轮廓的内部上述消失边缘少于上述第2阈值、或者上述候选区域的不包括轮廓的内部上述追加边缘少于上述第3阈值的情况下，上述检测对象区域判定部判定为上述检测对象区域。7.根据权利要求1所述的影像检测系统，其特征在于，具备将上述候选区域分割为亮度分布类似的均匀区域的均匀区域分割部，并且，上述检测对象区域判定部针对由上述均匀区域分割部分割出的每一区域来进行上述检测对象区域的判定。8.根据权利要求1至7中任一项所述的影像检测系统，其特征在于，上述检测对象区域包含存在人或物的影子的区域。9.根据权利要求1至7中任一项所述的影像检测系统，其特征在于，上述检测对象区域包含局部性地存在光的区域。

百度查询： 东芝电梯株式会社 影像检测系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD