申请/专利权人：华南理工大学

申请日：2018-12-15

公开（公告）日：2023-05-23

公开（公告）号：CN109784176B

主分类号：G06V20/58

分类号：G06V20/58;G06V10/25;G06V10/26;G06V10/56;G06V10/764;G06V10/774

优先权：

专利状态码：有效-授权

法律状态：2023.05.23#授权;2019.06.14#实质审查的生效;2019.05.21#公开

摘要：本发明公开车载热成像行人检测RoIs提取方法与装置。所述方法包括通过十字扫描算法求取图像像素的低、高阈值，利用自适应双阈值分割算法实现RoIs生成；离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标和在线度量RoIs空间灰度分布，滤除不具备对称性的RoIs；离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标和在线度量RoIs动态特性，滤除不具备动态性的RoIs。所述装置包括：RoIs生成模块和RoIs过滤模块；所述过滤模块包括第一级过滤器和第二级过滤器。本方法能够在兼顾行人检测召回率的前提下，提高行人检测精度并降低系统计算开销。

主权项：1.车载热成像行人检测RoIs提取方法，其特征在于，通过十字扫描算法求取图像像素的低、高阈值，利用自适应双阈值分割算法实现RoIs的生成；离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标，在线度量RoIs空间灰度分布，滤除图像中不具备对称性的RoIs；离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标，在线度量RoIs动态特性，滤除图像中不具备动态性的RoIs；所述对称性判别指标是以SCUTDataset的训练集S0-S5作为基准数据集，离线统计数据集中行人的目标最大池化特征，并截取最大池化特征的95％置信度区间的上界截点；所述在线度量RoIs空间灰度分布包括纵向五等分RoIs或已标注行人目标的外接矩形，从上至下15、25和25占比区域分别定义为头部、上躯干和腿部；对头部、上躯干和腿部分别求取部位池化特征，从三个部位池化特征中选取最大值作为RoIs最大池化特征；所述滤除图像中不具备对称性的RoIs的过程是逐个RoIs求最大池化特征与对称性判别指标的差值，差值0则滤除图像中不具备对称性的RoIs；所述动态性判别指标是以SCUTDataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的腿部跨度总变化量ch，并截取ch的95％置信度区间的下界截点；所述在线度量RoIs动态特性包括纵向划分RoIs或已标注行人目标的外接矩形，从上至下划分为三等份，取最下13占比区域为RoIs或行人目标的腿部；以腿部跨度d、腿部跨度变化量和腿部跨度总变化量ch标记每个RoIs，d为行人目标两腿外侧边缘的距离，为相邻两帧间对应RoIs腿部跨度的变化量，ch为一个RoIs首次出现至当前“帧历时”内腿部跨度变化量的累加和；计算RoIs的d、和ch；所述滤除图像中不具备动态性的RoIs的过程是逐个RoIs求ch与动态性判别指标的差值，差值0则滤除图像中不具备动态性的RoIs。

全文数据：车载热成像行人检测RoIs提取方法和装置技术领域本发明涉及行人检测，更具体地，涉及车载热成像行人检测RoIs提取方法和装置。背景技术车载热成像行人检测技术指使用红外热像仪作为视觉传感器，捕获车载交通场景的图像视频，在计算机或嵌入式平台使用机器学习等方法，识别图像视频中存在的所有行人目标，并以最小外接矩形框的坐标信息标识每个行人在图像上的位置。此过程包含两个关键阶段：RoIs提取和RoIs分类检测，其中影响检测精度和计算开销的重要因素是RoIs提取的质量和数量。在RoIs提取环节，生成RoIs的质量对后续分类检测环节影响较大,为了获得质量更高的RoIs,需要研究效果较好的RoIs生成算法。此外,为了满足高召回率要求，通常的RoIs提取算法获得较多数量的RoIs，但是图像中的行人目标属于稀有事物，即大部分RoIs仅包含背景信息，且其中一些背景区域的信息和行人的特征差异很大，如果对所有RoIs都使用分类器识别，则计算开销不容乐观，因此需要提出既能减少待检测RoIs数量又能兼顾召回率的方法。相对计算机而言，车载嵌入式平台具有明显的计算性能瓶颈，很多已发表的行人检测方法，特别是运用深度学习算法的技术，无法应用到此类平台，对实际应用的检测率和实时性造成影响。例如德州仪器公司生产的DM6437车载平台，该平台具有较强的稳定性，但是其处理器为单核、主频最高处理速度每秒仅有600Mhz，基于“HOG特征+线性SVM”分类器对单个RoIs的处理时间约为3毫秒，在计算性能方面远远无法和普通计算机相比。在行人检测推广到实际应用的过程中，需要找到权衡计算开销和检测性能的解决方案。在RoIs提取阶段，目前发表的一部分方法是根据图像中目标的特性规律筛选行人可能存在的前景区域。例如：现有技术1：GeJ,LuoY,TeiG.Real-TimePe`estrianDetectionandTrackingatNighttimeforDriver-AssistanceSystems.[J].IntelligentTransportationSystemsIEEETransactionson,2009,102:283-298。根据同一水平线上行人目标像素相较于周围背景亮度更高的经验，通过计算每个像素局部邻域内的分割阈值上限和下限，对近红外图像提取RoIs。现有技术2：UijlingsJRR,SandeKEAVD,GeversT,etal.SelectiveSearchforObjectRecognition[J].InternationalJournalofComputerVision,2013,1042:154-171。提出选择性搜索方法，主要思想是根据可见光图像不同的颜色空间先对图像进行小的相似区域分割，再根据区域合并算法从颜色、纹理、大小等方面将相似度高的小区域合并为大区域。现有技术3：ChengMM,LinWY.BING:BinarizedNormedGradientsforObjectnessEstimationat300fps[J]IEEEConferenceonComputerVisionandPatternRecognition,2014,414:3286-3293。提出BING方法，根据局部区域内闭合轮廓，快速寻找包含完整物体的RoIs。现有技术1生成的RoIs存在行人目标与干扰物体黏连的问题，并且现有技术2-3方法平均在单幅图像中得到约2000个RoIs，对后续分类器性能要求很高；现有技术3方法在计算机中的单幅图像处理时间约为0.003s，但是要实现96％以上的召回率要求1000个以上的RoIs，仍然对实时性造成威胁。但是现有技术1-3提供了一种值得参考的思路，即通过计算开销相对小的方法获取RoIs，然后提前滤除一些非行人RoIs，达到减少待检测RoIs数量的目的。目前公开可用的热成像行人检测基准数据集非常稀缺，本发明使用实验室发布的数据集SCUTDatasethttp:www2.scut.edu.cncvscut_fir_pedestrian_dataset。该数据集面向广州市的交通道路场景，包含100个红外热成像视频，总帧数大约为20万，标注的行人Ground-Truth信息数量有40万左右，具有不同行人目标类型，如“单一走路行人、单一骑车行人”等。与其他公开的热成像行人检测数据集如KAISTDataset相比，具有图像帧数、Ground-Truth信息类型和数量、道路场景类型等方面的优势。综上所述，虽然车载热成像行人检测方法取得了一定成果，但是由于计算瓶颈和分类器性能之间的实时性和准确率权衡问题，许多方法不能发挥正常性能甚至无法使用。为了满足实际应用的要求，迫切需要在检测精度、检测时间方面做出进一步改进。发明内容本发明提供车载热成像行人检测RoIs提取方法和装置，旨在促进解决受计算性能瓶颈和样本质量缺陷导致的检测精度下降和无法满足实时性等问题。本发明通过如下技术方案实现。为了达到上述发明目的，根据本发明提供的感兴趣区域RegionsofInterest,RoIs提取方法，包括：通过十字扫描算法求取图像像素的低、高阈值，利用自适应双阈值分割算法实现RoIs生成，所述自适应双阈值分割算法属业界公认的专用算法；离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标，在线度量RoIs空间灰度分布，滤除图像中不具备对称性的RoIs；离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标，在线度量RoIs动态特性，滤除图像中不具备动态性的RoIs；将保留的RoIs送入分类器进行精细检测。10、根据本发明的另一方面，十字扫描算法包括：从图像左上角起逐像素扫描输入的热成像图像，计算当前像素表示为x,y，其中坐标以图像左上角为基准，x表示横坐标取值，y表示纵坐标取值的线性邻域均值表示为Sx,y；进一步地，计算当前x,y的Haar-like算子表示为Hx,y；进一步地，求取当前像素的低阈值和高阈值。使用自适应双阈值分割算法生成RoIs，并记录RoIs的横坐标x、纵坐标y、宽w和高h。根据本发明的另一方面，计算当前x,y的线性邻域均值Sx,y包括：以当前x,y为起点，水平方向向左、向右截取w个像素，计算所界定范围内的2w+1个像素的灰度值的均值；如果当前x,y处于图像边缘，计算Sx,y时用以x,y为中心的对称位置的像素灰度值填补向左或向右缺失的邻域像素的灰度值。根据本发明的另一方面，计算当前x,y的Haar-like算子Hx,y包括：分别以x-1,y、x+1,y为起点，竖直方向向上、向下各截取h个像素，在所界定范围内计算向下h个像素的灰度值之和与向上h个像素的灰度值之和的差，并计算这个差值的均值；如果当前x,y处于图像边缘，计算Hx,y时以x,y右侧或左侧邻域的像素灰度值填补向上或向下缺失的邻域像素的灰度值。根据本发明的另一方面，计算当前x,y的低阈值和高阈值，低阈值指当前x,y的Sx,y、Hx,y与偏移量表示为α之和，高阈值指低阈值与偏移量表示为β之和；进一步地，偏移量α、β分别为整数。根据本发明的另一方面，所述对称性判别指标是以SCUTDataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的最大池化特征，并截取最大池化特征的95％置信度区间的上界截点；进一步地，所述在线度量RoIs空间灰度分布包括纵向五等分RoIs或已标注行人目标的外接矩形，从上至下定义15、25和25占比区域为头部、上躯干和腿部；进一步地，对头部、上躯干和腿部分别求取部位池化特征，并从三部位池化特征中选取最大值作为RoIs最大池化特征；进一步地，所述滤除图像中不具备对称性的RoIs的过程是逐个RoIs求最大池化特征与对称性判别指标的差值，差值0则滤除图像中不具备对称性的RoIs。根据本发明的另一方面，按部位求取池化特征包括：基于RoIs或外接矩形水平对称轴划分各部位为大小相等的矩形区域A和A’；进一步地，分别在A和A’区域内部取三个子块，逐子块计算灰度均值，按区域选取子块最大灰度均值，按部位计算区域间最大灰度均值之差并取绝对值作为RoIs的部位池化特征；进一步地，子块的长、宽大于所属区域长、宽的12但小于区域长、宽，三子块的位置两两存在重叠但不完全重叠。根据本发明的另一方面，所述动态性判别指标是以数据集SCUTDataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的腿部跨度总变化量ch，并截取ch的95％置信度区间的下界截点；进一步地，所述在线度量RoIs动态特性包括纵向划分RoIs或已标注行人目标的外接矩形，从上至下划分三等份，取最下13占比区域为RoIs或已标注行人目标的腿部；进一步地，以腿部跨度d、腿部跨度变化量和腿部跨度总变化量ch标记每个RoIs，d为行人目标两个腿部外侧边缘的距离，为相邻两帧间对应RoIs腿部跨度的变化量，ch为一个RoIs首次出现至当前“帧历时”内腿部跨度变化量的累加和；进一步地，计算RoIs的d、和ch；进一步地，所述滤除图像中不具备动态性的RoIs的过程是逐个RoIs求ch与动态性判别指标的差值，差值0的RoIs。在步骤230中，第二级过滤器730包括度量RoIs动态特性和统计数据集中行人目标动态性指标，滤除不具备动态性的RoIs。更详细地，包括：步骤231：获取RoIs动态性判别指标。以SCUTDataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的ch，并取其95％置信度区间的下界截点作为指标，本公开的RoIs生成方法，获得的RoIs动态性变化较大，许多明显非行人RoIs的动态性与实际行人目标差别较大，离线统计数据集中行人目标的ch的95％置信度区间为[10，20]。其中，被统计样本来自数据集SCUTDataset的行人Ground-Truth信息，且目标标注类型为“单一走路行人”和“单一骑车行人”。步骤232：定义RoIs或已标注行人目标的腿部。对于图5a所示RoIs，纵向三等分RoIs，取下13占比区域为RoIs的腿部，如图5b所示。步骤233：标记RoIs。以腿部跨度d、腿部跨度变化量和腿部跨度总变化量ch标记每个RoIs，d为行人两个腿部外侧边缘的距离，为相邻两帧间对应RoIs腿部跨度的变化量，ch为一个RoIs首次出现至当前“帧历时”内腿部跨度变化量的累加和。步骤234：计算RoIs的d，和ch。具体地，计算d：依据公式7计算腿部区域在竖直方向的灰度值投影直方图，即自左至右逐像素统计列像素灰度值之和，得到列像素灰度值之和序列，如图5c所示，依据公式8从第二像素起自左至右逐像素计算当前列像素灰度值之和与前一列像素灰度值之和的差值，获得一阶差值序列，如图5d所示，求出一阶差值序列最小值的标记与最大值的标记之差的绝对值作为RoIs的d，如图5e所示。其中Vx代表RoIs的腿部区域在第x列的像素灰度值之和，H代表腿部区域的高度，fx,y代表图5b在像素点x,y处的灰度值。其中Gx代表腿部区域的列像素灰度值之和在x处的一阶梯度值。计算实时匹配当前帧与前一帧的RoIs，若前一帧RoIs高、宽不小于当前帧RoIs高、宽的12，且前一帧RoIs横、纵坐标与当前帧RoIs横、纵坐标的距离分别小于当前帧RoIs高、宽的12，则当前帧当前RoIs与前一帧对应RoIs的d值之差的绝对值即为当前帧当前RoIs的未能匹配前一帧RoIs的当前帧RoIs首次出现的RoIs存在计算ch：依据公式9，当前帧当前RoIs的与前一帧相应RoIs的ch之和为当前帧当前RoIs的ch。未能匹配前一帧RoIs的当前帧RoIs首次出现的RoIs存在ch＝0，首次匹配到前一帧RoIs的当前帧RoIs存在否则其中chi为当前帧当前RoIs的腿部跨度总变化量，chi-1为前一帧相应RoIs的腿部跨度总变化量。步骤235：滤除不具备动态性的RoIs。逐个RoIs求ch与动态判别指标的差值，滤除差值0即不具备对称性的RoIs；第二级RoIs过滤器730滤除不具备动态性的RoIs。具体为离离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标，在线度量RoIs动态特性，所述动态性判别指标指以SCUTDataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的ch，并截取其95％置信度区间的下界截点；进一步地，所述在线度量RoIs动态特性包括纵向划分RoIs，从上至下三等分RoIs，取最于下13占比区域为RoIs的腿部；进一步地，以腿部跨度d、腿部跨度变化量和腿部跨度总变化量ch标记每个RoIs，d为行人两个腿部外侧边缘的距离，为相邻两帧间对应RoIs腿部跨度的变化量，ch为一个RoIs首次出现至当前“帧历时”内腿部跨度变化量的累加和；进一步地，计算RoIs的d、和ch；进一步地，逐RoIs求取ch与动态性判别指标的差值，滤除差值0的RoIs。更详细的描述上面已经介绍，在此不再赘述。在步骤830，过滤不具备动态性的RoIs。其中，所述动态性判别指标即以SCUTDataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的ch，并截取其95％置信度区间的下界截点；在线度量RoIs动态性包括步骤：纵向划分RoIs，划分为三等份，取最下13占比区域为RoIs的腿部；进一步地，以腿部跨度d、腿部跨度变化量和腿部跨度总变化量ch标记每个RoIs，d为行人两腿外侧边缘的距离，为相邻两帧间对应RoIs腿部跨度的变化量，ch为一个RoIs首次出现至当前“帧历时”内腿部跨度变化量的累加和；进一步地，计算RoIs的d、和ch；进一步地，进一步地，逐RoIs求取ch与动态性判别指标的差值，滤除差值0即不具备动态性的RoIs。更详细的描述上面已经介绍，在此不再赘述。在步骤840，使用分类器对过滤后的RoIs进行分类检测。上述内容是结合具体的实施方式对本发明进行的详细说明，但并不能认定本发明的具体实施只限于此内容。对于本发明所属技术领域的普通技术人员而言，在不脱离本发明的原理和精神的前提下，还可以对这些实施进行若干调整、修改、替换和或变型。本发明的保护范围由所附权利要求及其等同内容限定。

权利要求：1.车载热成像行人检测RoIs提取方法，其特征在于，通过十字扫描算法求取图像像素的低、高阈值，利用自适应双阈值分割算法实现RoIs的生成；离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标，在线度量RoIs空间灰度分布，滤除图像中不具备对称性的RoIs；离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标，在线度量RoIs动态特性，滤除图像中不具备动态性的RoIs。2.根据权利要求1所述的RoIs提取方法，其特征在于，所述十字扫描算法包括：从图像左上角起逐像素扫描输入的热成像图像，计算当前像素x,y坐标取值的线性邻域均值Sx,y，其中坐标以图像左上角为基准，x表示横坐标，y表示纵坐标；计算当前x,y的Haar-like算子Hx,y；求取当前像素的低阈值和高阈值；使用自适应双阈值分割算法生成RoIs，并记录RoIs的横坐标x、纵坐标y、宽w和高h。3.根据权利要求2所述的RoIs提取方法，其特征在于，所述线性邻域均值Sx,y以当前x,y为起点，水平方向向左、向右截取w个像素，计算所界定范围内的2w+1个像素的灰度值的均值；如果当前x,y处于图像边缘，计算Sx,y时用以x,y为中心的对称位置的像素灰度值填补向左或向右缺失的邻域像素的灰度值，所述计算当前x,y的Haar-like算子Hx,y分别以x-1,y、x+1,y为起点，竖直方向向上、向下分别截取h个像素，在所界定范围内计算向下h个像素的灰度值之和与向上h个像素的灰度值之和的差，并计算这个差值的均值；如果当前x,y处于图像边缘，计算Hx,y时以x,y右侧或左侧邻域的像素灰度值填补向上或向下缺失的邻域像素的灰度值。4.根据权利要求2所述的RoIs提取方法，其特征在于，所述低阈值指当前x,y的Sx,y、Hx,y与偏移量a之和；所述高阈值指低阈值与偏移量b之和；所述偏移量a、b为整数。5.根据权利要求1所述的RoIs提取方法，其特征在于，所述对称性判别指标是以SCUTDataset的训练集S0-S5作为基准数据集，离线统计数据集中行人的目标最大池化特征，并截取最大池化特征的95%置信度区间的上界截点；所述在线度量RoIs空间灰度分布包括纵向五等分RoIs或已标注行人目标的外接矩形，从上至下15、25和25占比区域分别定义为头部、上躯干和腿部；对头部、上躯干和腿部分别求取部位池化特征，从三个部位池化特征中选取最大值作为RoIs最大池化特征；所述滤除图像中不具备对称性的RoIs的过程是逐个RoIs求最大池化特征与对称性判别指标的差值，差值0则滤除图像中不具备对称性的RoIs。6.根据权利要求5所述的RoIs提取方法，其特征在于，所述求取RoIs的部位池化特征是基于RoIs水平对称轴划分各部位为大小相等的矩形区域A和A’，分别在A和A’区域内部各取三个子块，逐子块计算灰度均值，按区域选取子块最大灰度均值，按部位计算区域间最大灰度均值之差并取绝对值作为RoIs的部位池化特征，子块的长、宽大于所属区域长、宽的12但小于区域长、宽，三子块位置两两存在重叠但不完全重叠。7.根据权利要求1所述的RoIs提取方法，其特征在于，所述动态性判别指标是以SCUTDataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的腿部跨度总变化量ch，并截取ch的95%置信度区间的下界截点；所述在线度量RoIs动态特性包括纵向划分RoIs或已标注行人目标的外接矩形，从上至下划分为三等份，取最下13占比区域为RoIs或行人目标的腿部；以腿部跨度d、腿部跨度变化量Ñd和腿部跨度总变化量ch标记每个RoIs，d为行人目标两腿外侧边缘的距离，Ñd为相邻两帧间对应RoIs腿部跨度的变化量，ch为一个RoIs首次出现至当前“帧历时”内腿部跨度变化量的累加和；计算RoIs的d、Ñd和ch；所述滤除图像中不具备动态性的RoIs的过程是逐个RoIs求ch与动态性判别指标的差值，差值0则滤除图像中不具备动态性的RoIs。8.根据权利要求7所述的RoIs提取方法，其特征在于，计算RoIs的d方式为：自左至右逐像素统计RoIs列像素灰度值之和，从第二像素起逐像素计算当前列像素灰度值之和与前一列像素灰度值之和的差值，获得一阶差值序列，自左至右以自然数标记这个一阶差值序列值，求出序列中最小值的标记值与最大值的标记值之差的绝对值即为RoIs的d；计算Ñd：实时匹配当前帧与前一帧的RoIs，若前一帧RoIs高、宽不小于当前帧RoIs高、宽的12，且前一帧RoIs横、纵坐标与当前帧RoIs横、纵坐标的距离分别小于当前帧RoIs高、宽的12，则当前帧当前RoIs与前一帧对应RoIs的d值之差的绝对值即为当前帧当前RoIs的Ñd；计算ch：当前帧当前RoIs的Ñd与前一帧相应RoIs的ch之和为当前帧当前RoIs的ch；未能匹配前一帧RoIs的当前帧RoIs即首次出现的RoIs存在Ñd=ch=0，首次匹配到前一帧RoIs的当前帧RoIs存在ch=Ñd，否则ch≥Ñd。9.车载热成像行人检测RoIs提取装置，其特征在于，包括：RoIs生成模块和RoIs过滤模块；RoIs生成模块通过十字扫描算法求取图像像素的低、高阈值，利用自适应双阈值分割算法实现RoIs生成；所述RoIs过滤模块包括第一级过滤器和第二级过滤器；第一级过滤器包括离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标，在线度量RoIs空间灰度分布，滤除图像中不具备对称性的RoIs；第二级过滤器包括离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标，在线度量RoIs动态特性，滤除图像中不具备动态性的RoIs。

百度查询： 华南理工大学 车载热成像行人检测RoIs提取方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD