申请/专利权人：武汉大学

申请日：2021-11-19

公开（公告）日：2024-04-05

公开（公告）号：CN114120188B

主分类号：G06V20/40

分类号：G06V20/40;G06V40/10;G06V10/764

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2022.03.18#实质审查的生效;2022.03.01#公开

摘要：本发明公开了一种基于联合全局和局部特征的多行人跟踪方法，包括：首先对原始检测框进行融合，并对融合后的检测框进行关键点检测，根据关键点的置信度进行过滤来确定最终保留的关键点坐标；其次根据保留后的关键点坐标来生成新的检测框；接着对新的检测框进行特征提取，分别提取行人检测框的全局和局部特征，并设计一种基于联合全局和局部特征的度量方法来计算轨迹和检测框之间的相似度；最后执行跟踪管理策略，对轨迹进行更新和终止等相关操作得到最终的运动轨迹。本方法解决了拥挤场景中因为遮挡导致行人身份特征表达不准等问题，有效改善原始检测结果质量和提高行人身份特征表达能力，有效地改善了数据关联精度，提升了跟踪的准确度。

主权项：1.一种基于联合全局和局部特征的多行人跟踪方法，其特征在于，包括如下步骤：步骤1，采用公开数据集数据，获取每一帧的检测结果；步骤2，检测框融合；公开数据集上的检测结果可能存在漏检和误检问题，需要对其进行修正，得到更精确的检测结果，采用检测框融合，即对每一帧上两个检测框之间有效重叠率超过某个阈值的进行合并，得到新的第一检测框；步骤3，关键点检测；对于步骤2中融合得到新的检测框后，采用关键点检测，得到每个新检测框中包含大量的关键点；步骤4，关键点过滤；设定一个阈值，过滤置信度较低的关键点，如果某个行人关键点剩余量超过某个阈值，则认为其是正确的；步骤5，检测修正；根据新检测框里面所剩的关键点，重新得到新的第二检测框，并根据边界关键点，利用人体关键点与人体身高比例关系得到新修正后的检测框；步骤6，特征提取，即采用卷积神经网络对修正后的检测框进行特征提取；首先采用行人重识别PCB网络在行人重识别数据集上训练后，然后对修正后的检测框进行特征提取，其中PCB网络将行人按照水平和竖直方向分割成p块，并得到每一分块的特征向量，然后根据统计行人检测框每个分块里面是否有关键点来计算该行人的可见区域标签；步骤7，局部外观特征数据关联，利用步骤6中的方法对历史轨迹和t帧上某个目标检测框进行特征提取后，通过计算历史轨迹和t帧上某个目标检测框局部特征向量余弦距离来计算局部特征数据关联；步骤8，整体外观特征数据关联；利用步骤6中的方法对历史轨迹和t帧上某个目标检测框进行特征提取后，通过计算历史轨迹和t帧上某个目标检测框全局特征向量余弦距离来计算全局特征数据关联；步骤9，数据关联；步骤6-8中，已知历史轨迹和t帧上某个目标检测框的整体外观特征、局部外观特征和可见标签，则进行融合从而来计算数据关联，然后采用匈牙利匹配算法得到最优匹配结果；步骤10，跟踪管理；步骤S9中数据关联通过匈牙利算法求得最优解后，返回匹配成功的检测框和轨迹对、未匹配到轨迹的检测框、未匹配到检测框的轨迹；对于匹配到检测框的轨迹，则对轨迹更新；对于未匹配到检测框的跟踪轨迹状态设为轨迹中止状态；对于未匹配到轨迹的检测框，则认为该检测框是新的轨迹，初始化并加入到轨迹集合中；步骤11，重复步骤2-步骤10，直至所有帧都处理完，输出目标轨迹。

全文数据：

权利要求：

百度查询： 武汉大学 一种基于联合全局和局部特征的多行人跟踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD