申请/专利权人：华南理工大学

申请日：2020-02-29

公开（公告）日：2023-05-23

公开（公告）号：CN111368704B

主分类号：G06V40/10

分类号：G06V40/10;G06V20/58;G06V10/26;G06V10/774;G06V10/764

优先权：

专利状态码：有效-授权

法律状态：2023.05.23#授权;2020.07.28#实质审查的生效;2020.07.03#公开

摘要：本发明公开了基于头部特征点的车载热成像行人检测RoIs提取方法。所述方法包括：逐帧逐行人提取训练数据已标注行人的头部中心点，按95％置信度逐帧统计训练数据行人头部中心点获取帧头部区域；逐帧提训练数据行人头部特征点，定义并训练头部特征点RoIs模型；利用帧头部区域裁减出当前图像帧，然后计算得到当前图像帧的双阈值分割二值图，两者合并获得当前帧头部特征点区域；采样并筛选当前帧头部特征点区域获得当前帧头部特征点；利用训练完的头部特征点RoIs模型计算获得当前帧头部特征点RoIs并与当前帧双阈值分割RoIs合并生成当前帧RoIs；度量和调整当前帧RoIs。本发明能够有效避免由于遮挡、分割粘连、分割断裂等因素导致的RoIs丢失，提高行人检测性能。

主权项：1.基于头部特征点的车载热成像行人检测RoIs提取方法，其特征在于，包括以下步骤：步骤一、逐帧逐行人提取训练数据已标注行人的头部中心点，按95％置信度逐帧统计训练数据行人头部中心点获取帧头部区域；步骤二、逐帧提取训练数据行人头部特征点，定义并训练头部特征点RoIs模型；包括以下步骤：S2.1、定义头部特征点RoIs模型；定义头部特征点RoIs模型如式4所示： 其中，x,y,w,h分别表示头部特征点RoIs的左上角像素位置x,y和像素宽w像素高h；μ为统计训练数据获得的行人外接矩形的宽高比，α,β,γ为头部特征点RoIs模型的参数；步骤S2.2中，所述逐帧提取训练数据行人头部特征点，利用SURFSpeedUpRobustFeature算法逐帧提取特征点，描述为xp,yp,rp,tp,lp，xp,yp表示第p个特征点位置，rp表示第p个特征点以xp,yp为圆心的半径，0rp≤51；tp表示第p个特征点的响应值，tp阈值为δ，δ取值由实验获得；lp表示第p个特征点的拉普拉斯值；lp0时，所提取的特征点为极亮点，当且仅当tpδ和lp0，特征点xp,yp,rp,tp,lp为行人头部特征点；下标p表示特征点序号，p＝1,2,3,……,NP，1≤NP41；步骤S2.3中，所述训练头部特征点RoIs模型，集合Sα、Sβ和Sγ分别提供头部特征点RoIs模型参数α、β、γ的取值，集合S为Sα、Sβ和Sγ的笛卡尔积，如式5所示： 定义损失函数如式6所示，损失函数最小化寻优即遍历S并轮询训练数据，通过NS次轮询定位GT最大成功匹配个数所对应的Sk记作Skm；第k次遍历S取出Sk代入式4获得RSki,q；逐帧轮询训练数据，逐GTi,j按q匹配RSki,q记录第i帧成功匹配GT的个数；进而累计第k次轮询训练数据成功匹配GT的个数；逐GTi,j按q匹配RSki,q即按q顺序计算GTi,j与RSki,q的交并比，提取最大IoU记作Umax，若Umax≥η，则这次匹配是一次成功匹配，η∈{0.5,0.6,0.7,0.8,0.9}；第i帧GTi,j成功匹配RSki,q的个数不大于NGi；其中，RSki,q为第i帧第q个头部特征点RoIs，序号q＝1,2,3,…,NHi，NHi为第i帧头部特征点RoIs的个数，1≤NHi21；Sk表示S的第k个元素，即第k组α,β,γ取值，k＝1,2,3,…,NS； 其中，LossSk表示取Sk时的损失值；O·表示IoU计算公式，1{·}为指示函数，当maxORSki,q,Gi,j＜η，则1{·}＝1，否则1{·}＝0；αkα表示集合Sα的第kα个元素，βkβ表示集合Sβ的第kβ个元素，γkγ表示集合Sγ的第kγ个元素；步骤三、利用步骤一中得到的帧头部区域裁减出当前图像帧，计算得到当前图像帧的双阈值分割二值图，合并裁剪得到的当前图像帧及当前图像帧的双阈值分割二值图获得当前帧头部特征点区域；利用步骤一中得到的帧头部区域裁减出当前图像帧，采用自适应双阈值分割算法计算得到当前图像帧的双阈值分割二值图，合并裁剪得到的当前图像帧及当前图像帧的双阈值分割二值图获得当前帧头部特征点区域，如式7所示： 其中，Ip表示当前帧头部特征点区域，Ipx,y表示当前帧头部特征点区域位置x,y的像素值，Idt表示双阈值分割二值图，Idtx,y＝＝1表示Idt位置x,y为前景点，Ix,y表示当前帧位置x,y的像素值，位置x,y位于步骤一中得到的帧头部区域即Tkmin矩形区域内；步骤四、采样并筛选当前帧头部特征点区域获得当前帧头部特征点；步骤五、利用步骤二中训练完的头部特征点RoIs模型计算获得当前帧头部特征点RoIs并与当前帧双阈值分割RoIs合并生成当前帧RoIs；步骤六、度量和调整当前帧RoIs，度量和调整当前帧RoIs包括IoU度量调整和前景关联度量调整；所述IoU度量调整即逐个计算当前帧双阈值分割RoIsRdtp依次与当前帧Nh个头部特征点的IoUUpq，若Upq0.5，则删除当前获得当前帧的保留RoIs即集合R，如式9所示： 其中，p为Rdt的序号，p＝1,2,3,…,Ndt,1≤Ndt21；q为的序号，q＝1,2,3,…,Nh,1≤Nh21；S2.2、逐帧提取训练数据行人头部特征点；S2.3、利用步骤S2.2中提取的行人头部特征点训练头部特征点RoIs模型。

全文数据：

权利要求：

百度查询： 华南理工大学 基于头部特征点的车载热成像行人检测RoIs提取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD