申请/专利权人：上海大学

申请日：2019-01-07

公开（公告）日：2023-07-18

公开（公告）号：CN110378179B

主分类号：G06V40/10

分类号：G06V40/10;G06V10/28;G06V10/25;G06T7/136;G06T7/187;G06T7/194

优先权：["20180502 CN 2018104075306"]

专利状态码：有效-授权

法律状态：2023.07.18#授权;2019.11.19#实质审查的生效;2019.10.25#公开

摘要：本发明公开了一种基于红外热成像的地铁逃票行为检测方法及系统。本方法包括如下步骤：检测行人是否进入闸机图像行人检测范围；利用自动更新背景进行红外热成像图像背景差分，提取行人红外热成像俯视图图像；对提取到的行人红外热成像俯视图图像进行形态学处理，得到基于自动更新合适的阈值的二值化行人通过闸机口的俯视图图像；对二值化的行人俯视图图像进行并行感兴趣子区域ROI提取，设置ROI区域与闸机口个数N相同，获得N个相互独立的二值化闸机通道行人俯视图；对N个相互独立的二值化闸机通道行人俯视图二值图像分别进行连通区域标记，获取行人参数；对N个闸机口逃票行为判定。采用本发明能够有效的识别并避免逃票行为。

主权项：1.一种基于红外热成像的地铁逃票行为检测方法，其特征在于具体操作步骤如下：步骤S1，基于深度学习的行人检测：CNN提取图像特征，SVM对特征分类，检测行人是否进入闸机图像行人检测范围；步骤S2，利用自动更新背景进行红外热成像图像背景差分，提取行人红外热成像俯视图图像；步骤S3，对提取到的行人红外热成像俯视图图像进行形态学处理，得到基于自动更新阈值的二值化行人通过闸机口的俯视图图像；步骤S4：对二值化的行人俯视图图像进行并行感兴趣子区域ROI提取，设置并行感兴趣子区域ROI与闸机口个数N相同，获得N个相互独立的二值化闸机通道行人俯视图；步骤S5：对N个相互独立的二值化闸机通道行人俯视图二值图像分别进行连通区域标记，获取行人参数；所述行人参数为行人位置信息；步骤S6：对N个闸机口逃票行为判定；所述步骤S6中，同时对N个闸机出口进行两种逃票判定：a，检测是否有人并行正身或者斜身并行逃票；b，检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过；所述逃票判定a方法步骤包括：设行人二值图像连通区域的中心为对于m×n的二值图像，使用下式求物体的中心位置： 其中B[i，j]为图像在坐标点[i，j]处的灰度值，A为图像零阶矩，和为图像一阶矩；确定N个并排闸机位置的纵坐标Y0，两行人形心纵坐标Y1、Y2，计算行人与闸机纵向位置关系D2＝Y0-Y2D1＝Y0-Y1；若D1是负数且D2是负数则判断两人都过闸机，若D1＞D2则D1在D2前面，由此判断行人在前后位置；若D1的值小于某额定值γ，则进入图像处理判定开启；若对任意Dp＞γ，则将对象标记丢失，重新进行图像标记，等待D1触发图像处理判定开启，图像触发判定开启基于检测行人俯视图闸机出口处范围由第一阈值δ＝1.5m矩形范围判定，行人离开则取消标记，连通域标记重新标记；找到前一个人的连通域的标记L1，找到后一个人的连通域的标记L2，如果有第三人依次类推，判断行人个数；获取图像中标记L1的每一个像素点的坐标a[i，j]，获取图像中标记L2的每一个像素点的坐标b[i，j]；对任意i，j，使在{a[i，j]-b[i，j]}2中找出最小值Dmin，行人间最短距离；找到最小值Dmin对应的L1，L2行人的具体坐标[X1，Y1]＝amin[i，j]与[X2，Y2]＝bmin[i，j]，用欧几里德距离：计算两连通域最短距离；依据两连通域最短距离Dmin＝dEuc与两行人并行距离最短值ρ相比较，若Dmin≤ρ，则判断两行人距离过近，若两行人L1，L2同时在闸机口δ＝1.5m矩形范围内，L1，L2行人的具体形心坐标且或者在两行人L1，L2同时在闸机口δ范围内，但L1，L2行人连通域L1，L2重合，L2消失，只含有一个连通域在两行人并行接触时形心则判定在闸机口位置发生并行正身或者斜身平行逃票；检测ROIn分割提取的区域的值n，判断第n个闸机出现逃跑行为，并警报；所述逃票判定方法b步骤包括：1.1一幅二值图像区域的面积或零阶矩为：计算行人进入闸机入口的行人俯视区域的面积A1，计算行人在闸机口处人形俯视区域的面积A2；检测行人俯视图闸机出口处范围由第一阈值δ矩形范围判定，该第一阈值δ矩形范围基于每个通行闸机口行人的形心与闸机并排线的距离界定；若行人进入第一阈值δ矩形范围内，则采集并处理到的二值图像行人俯视图的面积记为A2；1.2设定面积比系数αi，令将采集到的每一帧图像分别与行人进入闸机入口的行人俯视区域面积A1进行比较，①得到一系列的αi值，若αi大于第二阈值β则判断行人有下蹲或跨越逃票嫌疑，并检测该行人连通域标号，得到该行人标号为Li；②取该行人形心坐标，判断形心坐标是否在闸机出口处第一阈值δ范围内；③若同时满足以上两个条件，则触发时间定时器中断，开始计时，超出计时时间θ时，判断行人有迟滞行为，即判定行人下蹲逃票或者双腿跪在闸机门上翻越，或双腿跪在棍上翻越，同时识别ROIn区域所在闸机位置n，判定在第n闸机发现行人逃票行为；④若③没有判定逃票，则进行基于连通域标记的形心在闸机两侧的坐标计算距离并除以两形心的时刻差得到平均速率，在捕捉到面积突变αi超过第二阈值β且平均速率超出正常步行速率ω0时，即判定助跑式翻越闸机行为，同时识别ROIn区域所在闸机位置n，判定在第n闸机发现行人逃票行为。

全文数据：基于红外热成像的地铁逃票行为检测方法及系统技术领域本发明属于图像处理技术领域控领域，具体涉及一种基于红外热成像的地铁逃票行为检测方法及系统。背景技术传统的行为检测有很多方案，但受一些客观因素所限，比如人带面具或穿各种颜色衣服伪装，胖瘦，高低，携带大型箱包，物品遮挡或妨碍了正常普通单目摄像头对图像的正常处理，用普通摄像头不易检测出来带行李背包的人是否逃票，如果衣服和周边环境相同且蒙面的人，很难检测有人尾随逃票或者下蹲逃票。总之，普通摄像头检测误报率高或者很难立刻准确判断是否有人尾随逃票，需要有在职人员现场查看，范围有限，人力成本高。而红外热成像仪能忽视人带面具，穿各种颜色衣服伪装，胖瘦，高低的各种影响图像处理的难点，无视体重，携带大型箱包，物品的影响，获取的是人体温度的图像，将人独立于物体区别开来，使图像便于利用图像算法处理，大大增强了方法的实用性。随着研究的深入，图像模式识别，机器计算机视觉等技术在近年来有了长足的发展，各种智能算法的提出为解决实际工程问题提供了理论保障；而随着我国地铁快速发展，现在越来越多的人乘坐地铁，亟需一种方法完善地铁监控系统，维护国家财产，保持人们有序乘坐地铁，减少或杜绝逃票事件迫在眉睫，这就为一种监控地铁逃票行为检测方法显得尤为重要；同时相应的监控摄像系统遍布了生产生活中的许多角落，这就为本发明提出的监控地铁逃票行为检测方法提供了硬件基础和实现条件。现有地铁监控系统，尚没有解决行人逃票这一问题。所以应社会的需求监控地铁逃票行为检测方法是必要的。发明内容本发明的目的在于克服现有技术中所存在的上述不足，提供一种基于红外热成像的地铁逃票行为检测方法及系统，以解决现有技术中的上述缺陷，其可根据行人俯视红外热成像图比较准确地克服了正常图像中无法克服的携带大型装备，箱包造成的人体俯视图图像采集的难度，从而准确分析判断行人逃票的情况。为达到上述目的，本发明的构思是：一种基于红外热成像的地铁逃跑检测方法，检测设备包括热成像图像采集设备、图像处理计算机，检测系统包括以下四个模块，图像采集模块：用于采集行人热成像俯视图；图像处理模块：用于提取行人二值连通域距离与面积变化；逃票判断模块：进行并行式逃票与蹲跨式逃票判定；语音报警模块：用于语音提示行人与工作人员逃票行为，将根据判断结果，触发报警。根据上述发明构思，本发明采用下述技术方案：一种基于红外热成像的地铁逃票行为检测方法，检测方法包括按顺序执行的下列步骤：步骤S1，基于深度学习的行人检测，检测行人是否进入闸机图像行人检测范围；步骤S2，利用自动更新背景进行红外热成像图像背景差分，提取行人红外热成像俯视图图像；步骤S3，得到基于自动更新阈值的二值化行人通过闸机口的俯视图图像，对二值化行人俯视图图像进行形态学处理；步骤S4：对二值化的行人俯视图图像进行并行感兴趣子区域ROI提取，设置ROI区域与闸机口个数N相同，获得N个相互独立的二值化闸机通道行人俯视图；步骤S5：对N个相互独立的二值化闸机通道行人俯视图二值图像分别进行连通区域标记，获取行人参数；步骤S6：对N个闸机口逃票行为判定；具体地，步骤S1中利用自动更新背景进行背景差分，提取行人俯视图方法包括：首先获取运动目标区域和噪音组成的差分图像dx，y，t；得到运动目标需要依据阈值分割的方法进一步处理；将计算结果在一定阈值r限制下进行二值化，判断出当前图像中出现的偏离背景模型值较大的那些象素，则为出现的运动目标像素；具体地，对背景图像进行及时更新采用基于核函数密度估计的背景模型构造方法；选用的核函数为高斯函数X1，…，Xn为一像素点的N个连续的采样值，在t时刻得到该点像素值为Xt的概率用核函数的密度估计来计算；将视频序列中相邻两帧的差分作为样本；取得M个背景样本，获得核函数为高斯函数的背景估计值，进一步判断是否属于运动目标；进一步的，在本发明的一个优选实施例中，利用自动图像分割提取法基于类间方差法分割图像，其方法：在二值化的时候采用OTSU算法来自动选取阈值进行二值化；OTSU最大类间方差法将灰度图像转换为二值图像，获取一个阈值；采用基于最大方差自动获取阈值的方法进行ROI提取；先考虑图像只存在目标和背景2个区域的情况，设图像fx,y的像素按灰度级用阈值T分为C0和C1两部分，则：C0＝{f1x，y|fmin≤fx，y≤T}C1＝{f2x，y|fmax≤fx，y≤T}式中：fmin，fmax分别为图像fx，y中灰度的最小值和最大值。设Ni是灰度值为ifmin≤f≤fmax像素数；图像fx，y总的像素为N＝∑iNi各灰度级出现的概率为C0部分出现的总概率为：其均值为：C1部分出现的总概率为：两个区域的平均灰度为u0和u1，整幅图像的平均灰度为u，计算类间方差区域间的方差为：σ2T＝P0TuT-u0T2+P1TuT-u1T2]；当被分割的2个区域的方差达到最大时，可以认为是2个区域的最佳分离状态，由此可以确定最佳阈值T在0.08～0.15之间。二值化处理图像，即：具体地，图像形态学处理方法：用一个结构元素3×3扫描图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为1，则该像素为1，否则为0。中心及领域有一个点不是黑点，该点就被腐蚀成白点，如果都为0，则该像素为0，否则为1，消弭狭窄的间断，消除小的孔洞。优选地，步骤S4：并行感兴趣子区域ROI提取方法包括：运用并行ROI特征区域提取，针对每个闸机口进行独立的检测，在减轻运算负担的条件下，将N条闸机通道分割开来，独立进行行人图像处理与检测；使用OpenCV进行并行感兴趣子区域ROI提取，同时对多个子区域进行处理，设置一个感兴趣区域，创建一个和源图像属性相同的子图像，大小为感兴趣区域大小并设定相同的原点标准，设定感兴趣区域的数据区域，对图像数据进行处理；优选地，步骤S5：通过二值图像连通区域标记方法包括：图像初步标记：为每个像素赋予临时标记，并且将临时标记的等价关系记录在等价表中；整理等价表，将具有等价关系的临时标记全部等价为其中的最小值；对连通区域以自然数顺序重新编号，得到临时标记与最终标记之间的等价系；图像代换：对图像进行逐像素代换，将临时标记代换为最终标记.经过3个环节处理后，算法输出标记后的图像，图像中连通域按照由上到下，由左至右出现的顺序被标以连续的自然数；根据权利要求1所述的一种基于地铁逃票行为检测方法，其中，所述行人参数包括：行人形心位置，行人俯视图面积，闸机线位置。具体地，确定所述行人参数包括：1对所述经过处理的二值图像标定闸机在位置为一条直线；2获取行人形心位置，由形心位置接近闸机附近δ阈值内作为逃票初始判定a、b依据，根据形心位置与闸机线位置确定行人前后位置；3根据形心位置与闸机线位置确定行人前后位置；4计算连通域最短距离进行逃票判定；5获取行人俯视图面积；6根据标记行人俯视图面积前后比值，进行逃票判定；所述步骤S6中，利用同时对N个不同区域即N个闸机出口进行两种种逃票判定：a，检测是否有人并行正身或者斜身并逃票；b，检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过；具体地，所述逃票判定a方法包括：设区域1的中心为对于m×n的二值图像，物体的中心位置与物体的质心相同，因此可以使用下式求物体的中心位置，物体的位置为：其中B[i，j]为图像在坐标点[i，j]处的灰度值，A为图像零阶矩，和为图像一阶矩,和是区域相对于左上角图像的中心坐标；已知图像中N个闸机并排的的纵坐标在实际图像中其实是一条直线Y0，则需根据D2＝Y0-Y2D1＝Y0-Y1；若D1是负数且D2是负数则判断两人都为过闸机，若D1≥D2,则D1在D2前面，由此判断行人在前后位置；若D1的值小于某额定值，则进入图像处理判定开启；若对任意Di＞γ，则将对象标记丢失，重新进行图像标记，等待D1触发图像处理判定开启，行人离开则取消标记，连通域标记重新标定；找到前一个人的连通域的标记L1，找到后一个人的连通域的标记L2，如果有第三人依次类推,判断行人个数；获取图像中标记L1的每一个像素点的坐标a[i,j],获取图像中标记L2的每一个像素点的坐标b[i,j]；对任意i，j，使在{a[i，j]-b[i，j]}2中找出最小值Dmin，行人间最短距离；找到最小值Dmin对应的L1，L2行人的具体坐标[X1，Y1]＝amin[i，j]与[X2，Y2]＝bmin[i，j]，用欧几里德距离：计算两连通域最短距离；1依据两连通域最短距离Dmin＝dEuc与两行人并行距离最短值ρ相比较，若Dmin≤ρ，则判断两行人距离过近，若两行人L1，L2同时在闸机口δ范围内，即L1，L2行人的具体形心坐标且2或者在两行人L1，L2同时在闸机口δ范围内，但L1，L2行人连通域L1，L2重合，L2消失，只含有一个连通域在两行人并行接触时形心则可判定在闸机口位置发生并行或者斜身平行逃票。检测ROIn分割提取的区域的值n，即可判断第n个闸机出现逃跑行为，并警报。具体地，所述逃票判定方法b步骤包括：计算二值图像连通域值为1的个数既为其人体俯视平面图的面积，相对于上一系列帧图像的面积比例，若相对于站立面积的面积比大于一个系数β，则判断报警。1.1一幅二值图像区域的面积或零阶矩为：计算行人刚进入闸机人形俯视区域的面积A1，计算行人在闸机口处人形俯视区域的面积A2；检测行人俯视图闸机出口处范围由阈值δ判定，该阈值δ基于每个通行闸机口行人的形心与闸机并排线的距离界定。若行人进入阈值δ范围内，则采集并处理到的二值图像行人俯视图的面积记为A2。1.2设定面积比系数αi，令将采集到的每一帧图像分别与刚进入闸机入口的行人俯视图面积A1进行比较，①得到一系列的αi值，若αi大于阈值β则判断行人有下蹲或跨越逃票嫌疑，并检测该行人连通域标号，得到该行人标号为Li；②取该时刻行人形心坐标，判断形心坐标是否在闸机出口处阈值δ范围内；③若同时满足以上两个条件，则触发时间定时器中断，开始计时，超出计时时间θ时，判断行人有迟滞行为，即可判定行人下蹲逃票或者双腿跪在闸机门棍上翻越，同时识别ROIn区域所在闸机位置n，判定在第n闸机发现行人逃票行为。④，若③没有判定逃票，则进行基于连通域标记的形心在闸机两侧的坐标计算距离并除以两形心的时刻差得到平均速率，在捕捉到面积突变即αi超过阈值β且平均速率超出正常步行速率ω0时，即判定助跑式翻越闸机行为，同时识别ROIn区域所在闸机位置n，判定在第n闸机发现行人逃票行为。本发明还提供了一种基于红外热成像地铁逃票行为检测系统，应用于上述方法，其特征在于：包括一个图像采集模块经一个图像处理模块和一个逃票判断模块连接一个语音报警模块。所述图像采集模块：用于采集行人热成像俯视图，判断是否有行人到来，如果是，执行图像处理模块，如果否，则返回执行图像采集模块。所述图像处理模块：用于背景差分，形态学处理，提取行人二值连通域距离与面积变化，传递信息给逃票判定模块。所述逃票判定模块：进行并行式逃票与蹲跨式逃票判定所述语音报警模块：用于语音提示行人与工作人员逃票行为。本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著性技术进步：本发明根据行人俯视红外热成像图进行检测，克服了正常图像中无法克服的携带大型装备，箱包造成的人体俯视图图像采集的难度，从而准确分析判断行人逃票的情况。相比现有技术，减少了检测误报率，大幅提升了准确率。同时无需人工干预，可以自动分析判断行人逃票的情况，降低人力成本。附图说明图1是本发明实施例所示的一种地铁逃票行为检测系统图；图2是本发明实施例所示的一种地铁逃票行为检测方法流程示意图；图3是本发明实施例所示的判定方法a，检测是否有人并行正身或者斜身并逃票实例图；图4是本发明实施例所示的判定方法b，检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过示意图；图5本发明实施例所示的判定方法b，检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过实例图；图6是本发明实施例所示的判定方法b，检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过示意图；具体实施方式下面结合优选实施例，对本发明一种地铁逃票行为检测方法做进一步详细说明：实施例一：参见图二，本基于红外热成像的地铁逃跑行为检测方法，具体操作步骤如下：步骤S1，基于深度学习的行人检测：CNN提取图像特征，SVM对特征分类，检测行人是否进入闸机图像行人检测范围；步骤S2，利用自动更新背景进行红外热成像图像背景差分，提取行人红外热成像俯视图图像；步骤S3，对提取到的行人红外热成像俯视图图像进行形态学处理，得到基于自动更新合适的阈值的二值化行人通过闸机口的俯视图图像；步骤S4：对二值化的行人俯视图图像进行并行感兴趣子区域ROI提取，设置ROI区域与闸机口个数N相同，获得N个相互独立的二值化闸机通道行人俯视图；步骤S5：对N个相互独立的二值化闸机通道行人俯视图二值图像分别进行连通区域标记，获取行人参数；步骤S6：对N个闸机口逃票行为判定。实施例二：本实施例与实施例一基本相同，特别之处如下：所述步骤S4中，运用并行ROI特征区域提取，针对每个闸机口进行独立的检测，在减轻运算负担的条件下，将N条闸机通道分割开来，独立进行行人图像处理与检测。所述步骤S6中，同时对N个不同区域即N个闸机出口进行两种逃票判定：a，检测是否有人并行正身或者斜身并行逃票；b，检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过。所述逃票判定a方法步骤包括：设行人二值图像连通区域的中心为对于m×n的二值图像，使用下式求物体的中心位置：其中B[i，j]为图像在坐标点[i，j]处的灰度值，A为图像零阶矩，和为图像一阶矩；确定N个并排闸机位置的纵坐标Y0，两行人形心纵坐标Y1、Y2，计算行人与闸机纵向位置关系D2＝Y0-Y2D1＝Y0-Y1；若D1是负数且D2是负数则判断两人都过闸机，若D1≥D2,则D1在D2前面，由此判断行人在前后位置；若D1的值小于某额定值γ，则进入图像处理判定开启；若对任意Di＞γ，则将对象标记丢失，重新进行图像标记，等待D1触发图像处理判定开启，图像触发判定开启基于检测行人俯视图闸机出口处范围由阈值δ＝1.5m矩形范围判定，行人离开则取消标记，连通域标记重新标记；找到前一个人的连通域的标记L1，找到后一个人的连通域的标记L2，如果有第三人依次类推,判断行人个数；获取图像中标记L1的每一个像素点的坐标a[i,j],获取图像中标记L2的每一个像素点的坐标b[i,j]；对任意i，j，使在{a[i，j]-b[i，j]}2中找出最小值Dmin，行人间最短距离；找到最小值Dmin对应的L1，L2行人的具体坐标[X1，Y1]＝amin[i，j]与[X2，Y2]＝bmin[i，j]，用欧几里德距离：计算两连通域最短距离；依据两连通域最短距离Dmin＝dEuc与两行人并行距离最短值ρ相比较，若Dmin≤ρ，则判断两行人距离过近，若两行人L1，L2同时在闸机口δ＝1.5m矩形范围内，即L1，L2行人的具体形心坐标且或者在两行人L1，L2同时在闸机口δ范围内，但L1，L2行人连通域L1，L2重合，L2消失，只含有一个连通域在两行人并行接触时形心则可判定在闸机口位置发生并行或者斜身平行逃票检测ROIn分割提取的区域的值n，即可判断第n个闸机出现逃跑行为，并警报。所述逃票判定方法b步骤包括：计算二值图像连通域值为1的个数即为其人体俯视平面图的面积，相对于上一系列帧图像的面积比例，若相对于站立面积的面积比大于一个系数β，则判断报警；1.1一幅二值图像区域的面积或零阶矩为：计算行人刚进入闸机人形俯视区域的面积A1，计算行人在闸机口处人形俯视区域的面积A2；检测行人俯视图闸机出口处范围由阈值δ矩形范围判定，该阈值δ矩形范围基于每个通行闸机口行人的形心与闸机并排线的距离界定。若行人进入阈值δ矩形范围内，则采集并处理到的二值图像行人俯视图的面积记为A2。1.2设定面积比系数αi，令将采集到的每一帧图像分别与刚进入闸机入口的行人俯视图面积A1进行比较，①得到一系列的αi值，若αi大于阈值β则判断行人有下蹲或跨越逃票嫌疑，并检测该行人连通域标号，得到该行人标号为Li；②取该时刻行人形心坐标，判断形心坐标是否在闸机出口处阈值δ范围内；③若同时满足以上两个条件，则触发时间定时器中断，开始计时，超出计时时间θ时，判断行人有迟滞行为，即可判定行人下蹲逃票或者双腿跪在闸机门棍上翻越，同时识别ROIn区域所在闸机位置n，判定在第n闸机发现行人逃票行为。④，若③没有判定逃票，则进行基于连通域标记的形心在闸机两侧的坐标计算距离并除以两形心的时刻差得到平均速率，在捕捉到面积突变即αi超过阈值β且平均速率超出正常步行速率ω0时，即判定助跑式翻越闸机行为，同时识别ROIn区域所在闸机位置n，判定在第n闸机发现行人逃票行为。实施例三：本基于红外热成像的地铁逃跑检测系统，用于上述方法，其特征在于：包括一个图像采集模块1经一个图像处理模块2和一个逃票判断模块3连接一个语音报警模块4；所述图像采集模块：用于采集行人热成像俯视图所述图像处理模块：用于提取行人二值连通域距离与面积变化所述逃票判断模块：进行并行式逃票与蹲跨式逃票判定所述语音报警模块：用于语音提示行人与工作人员逃票行为。实施例四：本基于红外热成像的地铁逃跑检测方法，热成像图像采集设备：该设备布置于闸机正上方以采集行人俯视热成像图像，固定方式要满足远离固有频率，避免设备震动，并正好在闸机的并排正中，可以采集到每个闸机口的行人俯视图像。图像处理计算机：用于将采集到的热成像图像信号，进行处理，计算，判断，将判断结果，触发报警。步骤S1:基于深度学习的行人检测系统整体步骤包括：输入图像红外热成像行人俯视图；利用选择性搜索的快速模型FastModel提取预选区域；对提取到的区域调整为合适大小；提取3中区域图像的CNN特征；利用linearSVMs对CNN特征分类，判断是否为行人，且行人是否到达闸机区域。目前深度学习形容检测比较成熟，样本选择俯视行人数据库。步骤S2:利用自动更新背景进行红外热成像图像背景差分，提取行人红外热成像俯视图图像；步骤包括以下子步骤：首先获取运动目标区域和噪音组成的差分图像dx，y，t，即dx，y，t＝Ix，y，t-bx，y，t+nx，y，y得到运动目标需要依据某一判断原则进一步处理，最常用的方法为阈值分割的将计算结果在一定阈值r限制下进行二值化，判断出当前图像中出现的偏离背景模型值较大的那些象素，则为出现的运动目标像素对背景图像进行及时更新采用基于核函数密度估计的背景模型构造方法选用的核函数为高斯函数X1，…，Xn为一像素点的N个连续的采样值，在t时刻得到该点像素值为Xt的概率用核函数的密度估计来计算：KhXt-Xi＝ηXt-Xi,∑i式中Kh表示窗口宽度为h的核函数，N表示样本的个数。将视频序列中相邻两帧的差分作为样本：S为背景样本，I为视频帧图像，T为阈值，如果两帧图像的差小于某一阈值则视为背景样本，否则不参与运算。取得M个背景样本，核函数为高斯函数的背景估计为：根据PItx，y，利用下式来判断某一像素是否属于运动目标：Mtx，y为0则说明该点属于背景点，为1属于运动目标。利用巴特沃思低通滤波器BLPF进行进一步滤波:其中Ωd为滤波器的截止频率。步骤S3:红外热成像图像形态学处理步骤包括以下子步骤：1利用形态学图像处理中的闭操作:用一个结构元素3×3扫描图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为1，则该像素为1，否则为0。中心及领域有一个点不是黑点，该点就被腐蚀成白点，如果都为0，则该像素为0，否则为1，消弭狭窄的间断，消除小的孔洞。对一幅二值离散图像做二值运算:Em，n＝AΘB＝Mini，j∈1{Am-i，n-j-Bi，j+1}其中D为膨胀结果，Dm，n表示像素点m，n的取值0或1E为腐蚀结果，Em，n表示像素点m，n的取值0或1。在本实施例中，利用自动图像分割提取法基于类间方差法分割图像:步骤包括以下子步骤：2.1在二值化的时候采用OTSU算法来自动选取阈值进行二值化2.2OTSU最大类间方差法将灰度图像转换为二值图像，获取一个阈值2.3采用基于最大方差自动获取阈值的方法进行ROI提取2.4先考虑图像只存在目标和背景2个区域的情况，设图像fx,y的像素按灰度级用阈值T分为C0和C1两部分，则：C0＝{f1x，y|fmin≤fx，y≤T}C1＝{f2x，y|fmax≤fx，y≤T}式中：fmin，fmax分别为图像fx，y中灰度的最小值和最大值。设Ni是灰度值为ifmin≤f≤fmax像素数2.5图像fx，y总的像素为N＝∑iNi各灰度级出现的概率为C0部分出现的总概率为：其均值为：2.6C1部分出现的总概率为：2.7两个区域的平均灰度为u0和u1，整幅图像的平均灰度为u，计算类间方差区域间的方差为：σ2T＝P0TuT-u0T2+P1TuT-u1T2]2.8当被分割的2个区域的方差达到最大时，可以认为是2个区域的最佳分离状态，由此可以确定最佳阈值T在0.08～0.15之间，本实例中取T＝0.12.9二值化处理图像，即：步骤S4：并行感兴趣子区域ROI提取步骤包括以下子步骤：使用OpenCV进行并行感兴趣子区域ROI提取，同时对多个子区域进行处理，设置一个感兴趣区域，创建一个和源图像属性相同的子图像，大小为感兴趣区域大小并设定相同的原点标准，设定感兴趣区域的数据区域，对图像数据进行处理步骤S5：通过二值图像连通区域标记步骤包括以下子步骤：3通过二值图像连通区域标记，标记行人，用来监控并处理行人位置信息，该方法具体包括有如下步骤：3.1通过L＝bwlabelBW,n返回一个和BW大小相同的L矩阵，标记了BW中每个连通区域的类别标签，这些标签的值为1、2、num连通区域的个数，n的值为8选择按8连通寻找；3.2[L,num]＝bwlabelBW,n，num返回的就是BW中连通区域的个数，通过一次遍历图像，记下每一行或列中连续的团和标记的等价对；3.3用稀疏矩阵与DulmageMendelsohn分解算法用来消除等价对，然后通过等价对对原来的图像进行重新标记；上述步骤，可以完全标记ROIn区域行人的编号，例如第ROIn个闸机口行人甲俯视图L1＝1，行人乙俯视图L2＝2，图像矩阵为s＝[00000001100000000；00000111111100000；00000011111000000；00000000000000000；00000000000000000；00000002220000000；00000222222200000；00000022222000000；00000000000000000]；步骤S6逃票行为判定步骤包括以下子步骤：同时对N个不同区域即N个闸机出口进行两种逃票判定：a，检测是否有人并行正身或者斜身并行逃票b，检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过计算两人的距离，设区域1的中心为对于m×n的二值图像，物体的中心位置与物体的质心相同，因此可以使用下式求物体的中心位置，物体的位置为：其中B[i，j]为图像在坐标点[i，j]处的灰度值，A为图像零阶矩，和为图像一阶矩,和是区域相对于左上角图像的中心坐标；求出X1，Y1＝315，207X2，Y2＝135，201X4，Y4＝177，201X3，Y3＝86，200X5，Y5＝40，202已知图像中N个闸机并排的的纵坐标在实际图像中其实是一条直线Y0，则需根据D2＝Y0-Y2D1＝Y0-Y1若D1是负数且D2是负数则判断两人都为过闸机，若D1≥D2,则D1在D2前面，由此判断行人在前后位置若D1的值小于某额定值γ，则进入图像处理判定开启若对任意Di＞γ，则将对象标记丢失，重新进行图像标记，等待D1触发图像处理判定开启，行人离开则取消标记，连通域标记重新标定找到前一个人的连通域的标记L1，找到后一个人的连通域的标记L2，如果有第三人依次类推,判断行人个数获取图像中标记L1的每一个像素点的坐标a[i,j],获取图像中标记L2的每一个像素点的坐标b[i,j]对任意i，j，使在{a[i，j]-b[i，j]}2中找到最小值Dmin对应的L1，L2行人的具体坐标[X1，Y1]＝amin[i，j]与[X2，Y2]＝bmin[i，j]，用欧几里德距离：计算两连通域最短距离：图3中1和2最短距离S12＝108.1，图3中3和4最短距离S34＝27.45设修正系数为C，则实际距离为S12＝C*108.1，S34＝C*27.45。若两人的实际距离重合，则判断两人身体接触找到最小值Dmin对应的L1，L2行人的具体坐标a1＝amin[i，j]与b1＝bmin[i，j]；判断第来自ROIn中n等于2，则判断第2个闸机出口出现逃跑行为，并警报。计算二值图像连通域值为1的个数既为其人体俯视平面图的面积，相对于上一系列帧图像的面积比例，若相对于站立面积的面积比大于一个系数β，则判断报警1.1一幅二值图像区域的面积或零阶矩为：计算行人刚进入闸机人形俯视区域的面积A1，计算行人在闸机口处人形俯视区域的面积A2；检测行人俯视图闸机出口处范围由阈值δ判定，该阈值δ基于每个通行闸机口行人的形心与闸机并排线的距离界定。若行人进入阈值δ范围内，则采集并处理到的二值图像行人俯视图的面积记为A2。1.2设定面积比系数αi，令将采集到的每一帧图像分别与刚进入闸机入口的行人俯视图面积A1进行比较，①得到一系列的αi值，若αi大于阈值β则判断行人有下蹲或跨越逃票嫌疑，并检测该行人连通域标号，得到该行人标号为Li；②取该时刻行人形心坐标，判断形心坐标是否在闸机出口处阈值δ范围内；③若同时满足以上两个条件，则触发时间定时器中断，开始计时，超出计时时间θ时，判断行人有迟滞行为，即可判定行人下蹲逃票或者双腿跪在闸机门棍上翻越，同时识别ROIn区域所在闸机位置n，判定在第n闸机发现行人逃票行为。④，若③没有判定逃票，则进行基于连通域标记的形心在闸机两侧的坐标计算距离并除以两形心的时刻差得到平均速率，在捕捉到面积突变即αi超过阈值β且平均速率超出正常步行速率ω0时，即判定助跑式翻越闸机行为，同时识别ROIn区域所在闸机位置n，判定在第n闸机发现行人逃票行为。

权利要求：1.一种基于红外热成像的地铁逃票行为检测方法，其特征在于具体操作步骤如下：步骤S1，基于深度学习的行人检测：CNN提取图像特征，SVM对特征分类，检测行人是否进入闸机图像行人检测范围；步骤S2，利用自动更新背景进行红外热成像图像背景差分，提取行人红外热成像俯视图图像；步骤S3，对提取到的行人红外热成像俯视图图像进行形态学处理，得到基于自动更新合适的阈值的二值化行人通过闸机口的俯视图图像；步骤S4：对二值化的行人俯视图图像进行并行感兴趣子区域ROI提取，设置ROI区域与闸机口个数N相同，获得N个相互独立的二值化闸机通道行人俯视图；步骤S5：对N个相互独立的二值化闸机通道行人俯视图二值图像分别进行连通区域标记，获取行人参数；步骤S6：对N个闸机口逃票行为判定。2.根据权利要求1所述的一种基于红外热成像的地铁逃票行为检测方法，其特征在于：所述步骤S4中，运用并行ROI特征区域提取，针对每个闸机口进行独立的检测，在减轻运算负担的条件下，将N条闸机通道分割开来，独立进行行人图像处理与检测。3.根据权利要求1所述的一种基于地铁逃票行为检测方法，其中，所述步骤S6中，同时对N个不同区域即N个闸机出口进行两种逃票判定：a，检测是否有人并行正身或者斜身并行逃票；b，检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过。4.根据权利要求3所述的一种基于红外热成像的地铁逃票行为检测方法，其中，所述逃票判定a方法步骤包括：设行人二值图像连通区域的中心为对于m×n的二值图像，使用下式求物体的中心位置：其中B[i，j]为图像在坐标点[i，j]处的灰度值，A为图像零阶矩，和为图像一阶矩；确定N个并排闸机位置的纵坐标Y0，两行人形心纵坐标Y1、Y2，计算行人与闸机纵向位置关系D2＝Y0-Y2D1＝Y0-Y1；若D1是负数且D2是负数则判断两人都过闸机，若D1≥D2，则D1在D2前面，由此判断行人在前后位置；若D1的值小于某额定值γ，则进入图像处理判定开启；若对任意Di＞γ，则将对象标记丢失，重新进行图像标记，等待D1触发图像处理判定开启，图像触发判定开启基于检测行人俯视图闸机出口处范围由阈值δ＝1.5m矩形范围判定，行人离开则取消标记，连通域标记重新标记；找到前一个人的连通域的标记L1，找到后一个人的连通域的标记L2，如果有第三人依次类推，判断行人个数；获取图像中标记L1的每一个像素点的坐标a[i，j]，获取图像中标记L2的每一个像素点的坐标b[i，j]；对任意i，j，使在{a[i，j]-b[i，j]}2中找出最小值Dmin，行人间最短距离；找到最小值Dmin对应的L1，L2行人的具体坐标[X1，Y1]＝amin[i，j]与[X2，Y2]＝bmin[i，j]，用欧几里德距离：dEuc＝[X1，Y1]，计算两连通域最短距离；依据两连通域最短距离Dmin＝dEuc与两行人并行距离最短值p相比较，若Dmin≤p，则判断两行人距离过近，若两行人L1，L2同时在闸机口δ＝1.5m矩形范围内，即L1，L2行人的具体形心坐标且或者在两行人L1，L2同时在闸机口δ范围内，但L1，L2行人连通域L1，L2重合，L2消失，只含有一个连通域在两行人并行接触时形心则判定在闸机口位置发生并行或者斜身平行逃票；检测ROIn分割提取的区域的值n，即判断第n个闸机出现逃跑行为，并警报。5.根据权利要求3所述的一种基于红外热成像的地铁逃票行为检测方法，其中，所述逃票判定方法b步骤包括：计算二值图像连通域值为1的个数即为其人体俯视平面图的面积，相对于上一系列帧图像的面积比例，若相对于站立面积的面积比大于一个系数β，则判断报警；1.1一幅二值图像区域的面积或零阶矩为：计算行人刚进入闸机人形俯视区域的面积A1，计算行人在闸机口处人形俯视区域的面积A2；检测行人俯视图闸机出口处范围由阈值δ矩形范围判定，该阈值δ矩形范围基于每个通行闸机口行人的形心与闸机并排线的距离界定；若行人进入阈值δ矩形范围内，则采集并处理到的二值图像行人俯视图的面积记为A2；1.2设定面积比系数αi，令将采集到的每一帧图像分别与刚进入闸机入口的行人俯视图面积A1进行比较，①得到一系列的αi值，若αi大于阈值β则判断行人有下蹲或跨越逃票嫌疑，并检测该行人连通域标号，得到该行人标号为Li；②取该时刻行人形心坐标，判断形心坐标是否在闸机出口处阈值δ范围内；③若同时满足以上两个条件，则触发时间定时器中断，开始计时，超出计时时间θ时，判断行人有迟滞行为，即判定行人下蹲逃票或者双腿跪在闸机门棍上翻越，同时识别ROIn区域所在闸机位置n，判定在第n闸机发现行人逃票行为；④，若③没有判定逃票，则进行基于连通域标记的形心在闸机两侧的坐标计算距离并除以两形心的时刻差得到平均速率，在捕捉到面积突变即αi超过阈值β且平均速率超出正常步行速率ω0时，即判定助跑式翻越闸机行为，同时识别ROIn区域所在闸机位置n，判定在第n闸机发现行人逃票行为。6.一种基于红外热成像地铁逃票行为检测系统，用于根据权利要求1所述的基于红外热成像地铁逃票检测方法其特征在于：包括一个图像采集模块1经一个图像处理模块2和一个逃票判断模块3连接一个语音报警模块4；所述图像采集模块：用于采集行人热成像俯视图所述图像处理模块：用于提取行人二值连通域距离与面积变化所述逃票判断模块：进行并行式逃票与蹲跨式逃票判定所述语音报警模块：用于语音提示行人与工作人员逃票行为。

百度查询： 上海大学 基于红外热成像的地铁逃票行为检测方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD