申请/专利权人：吉林大学

申请日：2023-10-30

公开（公告）日：2024-01-16

公开（公告）号：CN117409182A

主分类号：G06V10/22

分类号：G06V10/22;G06V10/25;G06V10/764;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.02.02#实质审查的生效;2024.01.16#公开

摘要：本发明提供了一种联合KCF与Yolov5的OCC系统目标识别与跟踪方法，首先采用Yolov5算法预测目标初始位置，跟踪目标为m行n列即m×n个可独立发光和熄灭的LED灯组成的LED阵列，通过非极大抑制算法获得最优预测结果；随后，利用KCF算法对LED阵列进行实时跟踪，确定LED阵列当前时刻位置并记录其当前时刻的输出响应值；当输出响应值满足设定阈值时，表示KCF算法输出结果可靠，采用其输出结果作为跟踪结果；当输出响应值不满足设定阈值时，采用Yolov5算法预测LED阵列位置，识别和定位到LED阵列后继续采用KCF算法进行实时跟踪；本方法通过结合KCF与Yolov5算法，解决了在目标发生遮挡后误跟踪和目标丢失的问题提高了系统鲁棒性，在正确识别和跟踪目标的基础上算法开销较小。

主权项：1.一种联合KCF与Yolov5的OCC系统目标识别与跟踪方法，首先采用Yolov5算法预测跟踪目标的初始位置坐标信息，跟踪目标为m行n列即m×n个可独立发光和熄灭的LED灯组成的LED阵列，通过非极大抑制算法获得最优预测结果；随后，利用KCF算法对LED阵列进行实时跟踪，确定LED阵列当前时刻的位置坐标信息并记录其当前时刻的输出响应值；当输出响应值满足设定阈值时，表示KCF算法输出结果可靠，采用其输出结果作为跟踪结果；当输出响应值不满足设定阈值时，表示LED阵列可能被遮挡，在这种情况下重新采用Yolov5算法对LED阵列位置坐标信息进行更新，识别和定位到LED阵列后继续采用KCF算法进行实时跟踪，达到实时识别和跟踪LED阵列的目的；其特征在于，本方法的具体步骤如下：步骤一、构建LED阵列数据集：过程1在室外环境下采集LED阵列数据集；在数据采集过程中，相机保持固定不动，LED阵列在距离相机0m-80m的范围内进行移动，同时LED阵列中的某个或某些个可独立发光和熄灭的LED灯会随机发光或熄灭，得到在不同距离和光照条件下的LED阵列数据集；过程2利用LabelImg平台对得到的LED阵列数据集进行人工锚框标注，标注信息由类别和位置两部分组成，标注LED阵列的类别为“LED”；标注LED阵列的真实位置坐标信息为xmin,ymin,xmax,ymax，将真实位置坐标信息以矩形框的形式绘制在图像上，记该矩形框为真实目标框，其中xmin,ymin表示LED阵列的左上角坐标，xmax,ymin表示LED阵列右上角坐标，xmin,ymax表示LED阵列左下角坐标，xmax,ymax表示LED阵列的右下角坐标；过程3将标注好的数据集划分为训练集、验证集和测试集三部分，分别用于模型的训练和测试；其中，训练集占整个数据集的70％，用于训练模型并学习数据中的特征；验证集占整个数据集的20％，用于验证模型的性能和泛化能力，并对模型进行调整和优化；测试集占整个数据集的10％，用于评估模型的最终性能和准确率；步骤二、将训练集图像输入Yolov5模型进行训练优化模型至收敛：过程1基于Yolov5s网络构建目标识别模型提取图像特征矩阵和预测目标位置，基于Yolov5s网络构建目标识别模型包括输入模块、特征提取模块、特征融合模块和检测模块四个部分；首先，训练集数据送入输入模块，输入模块采用Mosaic方法进行数据增强，随机选取图像拼接基准点坐标xc,yc,其中xc∈0,1280，yc∈0,1280；从训练集中选取四张图像，随机将四张图像缩放为原图像尺寸的0.5-2.0倍；以xc,yc为中心，四张图像按照左上、右上、左下、右下的顺序拼接为一张尺寸为1280×1280的图像A；对图像A进行自适应图片缩放操作，将图像A尺寸固定为640×640；其次，将图像A送入特征提取模块，特征提取模块由Focus结构和CSP1_X结构组成，对图像A进行特征提取；图像A依次经过Focus结构、CBL结构、CSP1_1结构、CBL结构和CSP1_3结构提取图像A中的特征矩阵a1；a1继续向下传输，依次经过CBL结构和CSP1_3结构提取特征矩阵a2；a2继续向下传输，依次经过CBL结构和SPP结构提取特征矩阵a3；然后，将特征提取模块提取到的特征矩阵a1、a2和a3送入特征融合模块，特征融合模块采用FPN+PAN结构，将提取到的特征矩阵进行融合；将a3依次送入CSP2_1结构和CBL结构提取特征矩阵b1；b1进行上采样处理后与a2进行拼接合并为一个特征矩阵，继续向下传输，依次经过CSP2_1结构和CBL结构提取特征矩阵b2；b2经过上采样后与a1进行拼接合并为一个特征矩阵，经过CSP2_1模块提取特征矩阵b3；b3经过CBL结构与b2进行拼接合并为一个特征矩阵，经过CSP2_1结构提取特征矩阵b4；b4经过CBL结构与b1进行拼接合并为一个特征矩阵再经过CSP2_1结构提取特征矩阵b5；最后，将特征融合模块融合后的特征矩阵b3、b4和b5送入检测模块，将b3送入Conv层，输出k1个在80×80尺度上的预测结果；将b4送入Conv层，输出k2个在40×40尺度上的预测结果；将b5送入Conv层，输出k3个在20×20尺度上的预测结果；预测结果包括k＝k1+k2+k3个LED阵列预测位置坐标信息x1,y1,w1,h1，x2,y2,w2,h2，x3,y3,w3,h3，…，xk,yk,wk,hk、置信度p1，p2，p3，…，pk和预测类别φ1，φ2，φ3，…，φk，将预测位置坐标信息以矩形框的形式绘制在图像A上，记该矩形框为预测目标框；过程2建立损失函数L，使用损失函数L计算模型输出的预测结果，得到预测结果的误差，其计算公式为：L＝Lcls+Lbbox+Lobj1式中，Lcls表示分类损失函数；Lbbox表示边界框损失函数；Lobj表示置信度损失函数；分类损失Lcls的计算公式为：Lcls＝-α1-pcγlogpc2式中，α为一个可学习的权重参数，用于平衡不同类别的损失，取值为0.25；pc表示预测目标框内预测类别是否为“LED”，即当预测目标框中的预测类别为“LED”时，pc＝1，预测目标框中的预测类别不为“LED”时，pc＝0；γ为超参数，取值为2；置信度损失Lobj的计算公式为： 式中，S2表示输入图像的网格数；r表示每个网格生成预测目标框的数量；τ为正样本权重参数，取值为0.65；gi,j表示第i个网格中第j个预测目标框中的预测类别是否为“LED”，即当第i个网格中第j个预测目标框中的预测类别为“LED”时，gi,j＝1，当第i个网格中第j个预测目标框中的预测类别不为“LED”时，gi,j＝0；zi,j表示模型预测的第i个网格中第j个预测目标框中的预测类别为“LED”的概率；边界框损失Lbbox的计算公式为： b＝xi,yi,wi,hi6 d2b,bgt＝xi-xgt2+yi-ygt28式中，b＝xi,yi,wi,hi表示第i个网格中预测目标框的中心坐标值xi,yi、宽度wi和高度hi；bgt＝xgt,ygt,wgt,hgt表示真实目标框的中心坐标值xgt,ygt、宽度wgt和高度hgt；c表示预测目标框与真实目标框最小外接矩形的对角线长度；d2b,bgt表示预测目标框中心点与真实目标框中心点的欧几里得距离；IoU表示预测目标框和真实目标框的交集与并集之比，R表示真实目标框的面积，B表示预测目标框的面积；过程3通过步骤二的过程1得到三个不同尺度下的预测结果x1,y1,w1,h1，x2,y2,w2,h2，x3,y3,w3,h3，…，xk,yk,wk,hk、p1，p3，p3，…，pk和φ1，φ2，φ3，…，φk后，由式5计算得出该轮预测结果误差损失函数Li，即训练集上的损失；反向传播应用链式求导法则计算Li对模型参数的梯度值并根据梯度值对模型参数进行更新，重新进入步骤二的过程1和过程2计算损失函数Li+1，若Li+1＜Li则保存更新后的模型参数，迭代过程3300次至模型收敛，保存最后更新的模型参数，记为收敛模型；步骤三、利用收敛模型，预测LED阵列初始预测位置坐标信息：过程1读取sCMOS相机当前时刻的采集图像并将其送入收敛模型中，通过步骤二中的过程1输出在20×20、40×40和80×80三个不同尺度上的k个LED阵列预测目标框x1,y1,w1,h1，x2,y2,w2,h2，x3,y3,w3,h3，…，xk,yk,wk,hk和置信度p1，p2，p3，…，pk；过程2对k个预测目标框进行非极大值抑制算法处理：置信度pk由式4计算得出，根据置信度对预测目标框由高到低进行排序，选择置信度最高的对应预测目标框xg,yg,wg,hg，分别计算其与剩下k-1个预测目标框的IoU值，IoU值由式5计算得出，若IoU值大于0.5则删除该预测目标框与其对应的置信度，反之保留；重复此过程，直至k个预测目标框全部处理完；将最终保留的预测目标框xg,yg,wg,hg和其置信度pg记为候选目标框；过程3若pg≥0.6，表示该候选目标框可靠，输出其预测目标框xg,yg,wg,hg；若pg＜0.6，则表示该候选目标框不可靠，返回步骤三的过程1获得当前时刻LED阵列预测位置坐标信息，以提高目标跟踪的准确性；步骤四、利用KCF算法对LED阵列进行实时跟踪，输出其跟踪位置坐标信息：过程1将步骤三中输出的候选目标框xg,yg,wg,hg作为LED阵列的初始位置，对LED阵列初始位置区域图像S提取Hog特征向量h，具体过程如下：1图像预处理：对S进行灰度化，利用Gamma校正法对S进行颜色空间归一化，降低S局部的阴影和光照变化造成的影响，计算公式为：Iou,v＝Iu,vβ9式中，Iu,v表示S中第u行第v列个像素点的像素值，Iou,v表示经过Gamma校正后的第u行第v列个像素点的像素值，β表示伽马值，取值为12；2计算S中每个像素点的梯度值：首先计算S中每个像素点水平方向梯度Gxu,v和竖直方向梯度Gyu,v：Gxu,v＝Iou+1,v-Iou-1,v10Gyu,v＝Iou,v+1-Iou,v-111然后，以如下公式计算每个像素点的梯度强度值G和梯度方向θ： 同时梯度方向具有如下的性质：θ∈[0,π]；3将S以8×8大小划分单元格，计算每个单元格内的特征向量：S大小为wg×hg，设置单元格大小为8×8，则S被划分为S′＝wg8×hg8个单元格，将梯度方向以每20°为一个区间平均划分为9个梯度方向区间范围，其集合为：U＝{U1,U2,...,U9}，统计每个单元格内这9个区间的梯度直方图，计算公式为： 式中，Qb表示第b个单元格的特征向量，b的取值范围为b∈{b|1≤b≤S′,b∈N}，N为自然数；Uq表示第q个区间的梯度方向范围，q的取值范围为q∈{q|1≤q≤9,q∈N}；θt表示第t个像素点的梯度方向，t的取值范围为t∈{t|1≤t≤64,t∈N}；Gt表示第t个像素点的梯度强度值；得到S′个9×1的特征向量Q1Q1,1,Q1,2,Q1,3,...,Q1,9,Q2Q2,1,Q2,2,Q2,3,...,Q29,Q3Q3,1,Q3,2,Q3,3,...,Q3,9,…,QS′QS′,1,QS′,2,QS′,3,...,QS′,9；4将相邻的每2×2个单元格组合为一个块，以步长为8遍历S，S′个单元格被组合为S″＝wg8-1×hg8-1个块，计算每个块内的特征向量，即将4个9×1的特征向量组合为1个36×1的特征向量，得到S″个36×1的特征向量： 5将每个块内的特征向量进行拼接得到S的Hog特征向量：对得到的Q′1Q′1,1,Q′1,2,Q′1,3,...,Q′1,36，Q′2Q′2,1,Q′2,2,Q′2,3,...,Q′2,36，Q′3Q′3,1,Q′3,2,Q′3,3,...,Q′3,36，…,Q′S″Q′S″,1,Q′S″,2,Q′S″,3,...,Q′S″,36进行L2范数归一化，计算式为： 得到归一化后的特征向量Q″1Q″1,1,Q″1，2,Q″1,3,...,Q″1,36，Q″2Q″2,1,Q″2,2,Q″2,3,...,Q″2,36，Q″3Q″3,1,Q″3,2,Q″3,3,...,Q″3,36，…,Q″S″Q″S″,1,Q″S″,2,Q″S″,3,...,Q″S″,36；将得到的归一化后的特征向量Q″1Q″1,1,Q″1,2,Q″1,3,...,Q″1,36，Q″2Q″2,1,Q″2,2,Q″2,3,...,Q″2,36，Q″3Q″3,1,Q″3,2,Q″3,3,...,Q″3,36，…,Q″S″Q″S″,1,Q″S″,2,Q″S″,3,...,Q″S″,36合并为一个特征向量h＝Q″1,Q″2,Q″3,...,Q″S″，h即为S的Hog特征向量；过程2利用循环矩阵对特征向量h进行循环移位扩充训练样本，计算式为： 式中，表示特征向量h经过傅里叶变换后的输出结果；F表示离散傅里叶矩阵；H表示特征向量h生成的循环矩阵；利用循环矩阵的性质对图像进行循环移位操作后，能够得到h1,h2,h3,..,he共e个训练样本特征向量，为相关分类滤波器提供e个训练样本；过程3利用岭回归函数训练相关分类滤波器：相关分类滤波器的数学表达式为： 式中，hD表示第D个训练样本特征向量，ω表示权重系数，fhD表示对应hD的预测标签；通过岭回归函数进行求解寻找最优ω，使得fhD和其对应的样本标签之间的均方误差最下，损失函数如下： 式中，λ表示正则化系数，防止训练过程中过拟合；将式21以矩阵形式表示为： 式中，表示样本标签向量；当式21值为0时，对式22求导得到： 式中，I表示单位矩阵；将式17带入式23得到： 式中，表示的共轭，⊙表示点乘；根据循环矩阵求逆性质，对式24转换为特征值求逆得到： 利用反对角化性质，对式25求解得到： 利用循环矩阵卷积性质，对式26求解得到： 将ω转换为hD的高维矩阵的线性加权，则： 式中，aW表示第W个样本的对偶空间系数；同时引入核函数将其带入式23中，由此求解ω的问题就转化成了求解系数a的问题： 式中，a＝[a1,a2,a3,...,ae]表示ω所对应的对偶空间系数；令K表示核相关矩阵，利用对角化性质可得到： 式中，表示特征向量h的核自相关量，表示a的傅里叶变换；过程4由相关分类滤波器计算最大响应：将式30入公式20能够将相关滤波器的表达式转换为： 依次对训练样本特征向量h1,h2,h3,..,he计算其对应的响应值fh1,fh2,fh3,...,fhe,将最大响应值fhC作为当前时刻LED阵列跟踪位置坐标信息xC,yC,wC,hC；步骤五、判断LED阵列是否被遮挡：过程1若当前时刻的最大响应值fhC≥0.45，则表示当前输出的LED阵列跟踪位置坐标信息可靠，将其作为当前时刻LED阵列位置坐标信息xC,yC,wC,hC并输出；返回步骤四获取下一时刻LED阵列跟踪位置坐标信息，直至下一时刻的最大响应值fhC+1＜0.45为止；过程2若当前时刻的最大响应值fhC＜0.45，则表示当前输出的LED阵列跟踪位置坐标信息不可靠，LED阵列可能被遮挡，无法再依赖当前输出的LED阵列跟踪位置坐标信息；返回步骤三，获取下一时刻LED阵列预测位置坐标信息，直至下一时刻的最大响应值fhC+1≥0.45返回步骤五的过程1为止，达到实时识别和跟踪LED阵列的目的。

全文数据：

权利要求：

百度查询： 吉林大学 一种联合KCF与Yolov5的OCC系统目标识别与跟踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD