申请/专利权人：西安交通大学;宁波市舜安人工智能研究院

申请日：2021-07-29

公开（公告）日：2024-04-02

公开（公告）号：CN113724291B

主分类号：G06T7/246

分类号：G06T7/246;G06V10/25;G06V10/778;G06V10/82;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2021.12.17#实质审查的生效;2021.11.30#公开

摘要：本发明属于计算机视觉领域，具体公开了一种多熊猫跟踪方法、系统、终端设备及可读存储介质，主要应用于视频序列中的多熊猫跟踪任务。针对由于熊猫姿势和遮挡导致的不准确检测问题，本发明的方法使用短期预测过滤算法对检测结果进行过滤，可以在一定程度上补充漏检的熊猫和过滤掉误检；针对熊猫个体由于外观相似导致的身份标签转换问题，本发明使用了针对熊猫的细粒度特征，可以用来作为熊猫个体的外观表示，用于在时间和空间上区别具有相似外观和细微差别的不同熊猫个体。

主权项：1.一种多熊猫跟踪方法，其特征在于，包括以下步骤：获取待多熊猫跟踪的视频中每个视频帧的熊猫个体检测结果集合；基于所述每个视频帧的熊猫个体检测结果集合，获得轨迹集合；基于短期预测网络，获得视频中每个视频帧的熊猫轨迹预测位置集合；基于过滤算法，通过所述每个视频帧的熊猫轨迹预测位置集合中的熊猫轨迹预测位置对所述每个视频帧的熊猫个体检测结果集合中的熊猫个体检测结果进行置信度优化，获得关联候选目标集合；每个视频帧中，提取所述关联候选目标集合中关联候选目标的局部特征和全局特征，利用局部特征和全局特征获得融合外观特征；每个视频帧中，基于所述融合外观特征将关联候选目标集合中的关联候选目标与轨迹集合中的轨迹关联，实现多熊猫跟踪；；其中，所述基于所述每个视频帧的熊猫个体检测结果集合，获得轨迹集合的步骤具体包括：视频中的第一视频帧，通过预设置信度阈值过滤掉置信度低于预设置信度阈值的熊猫个体检测结果，将剩余的熊猫个体检测结果初始化为轨迹，添加到轨迹集合；视频中的剩余视频帧，对每一帧的熊猫个体检测结果进行上下帧关联，关联在一起的熊猫个体检测结果形成轨迹，添加到轨迹集合；所述基于过滤算法，通过所述每个视频帧的熊猫轨迹预测位置集合中的熊猫轨迹预测位置对所述每个视频帧的熊猫个体检测结果集合中的熊猫个体检测结果进行置信度优化，获得关联候选目标集合的步骤具体包括：对于熊猫轨迹预测位置集合和熊猫个体检测结果集合计算IoU代价矩阵fc，计算方式如下：fc＝1-IoUSt,Dt，式中，IoU表示的是两个boundingbox之间的交并比；基于所述IoU代价矩阵fc通过匈牙利算法寻找熊猫轨迹预测位置和熊猫个体检测结果之间的最佳匹配，获得关联候选目标集合；所述基于所述IoU代价矩阵fc通过匈牙利算法寻找熊猫轨迹预测位置和熊猫个体检测结果之间的最佳匹配，获得关联候选目标集合的步骤具体包括：熊猫轨迹预测位置和熊猫个体检测结果之间的IoU大于阈值0.5时，表示二者之间不能匹配，通过匈牙利算法得到匹配的检测框和预测框对、未匹配检测框和未匹配预测框；如果一个熊猫个体检测结果能匹配到熊猫轨迹预测位置，将所述熊猫个体检测结果的置信度设置为0.9；将未匹配的熊猫轨迹预测位置加入到关联候选目标集合中；将置信度低于0.4的熊猫个体检测结果删除掉；所述基于所述融合外观特征将关联候选目标集合中的关联候选目标与轨迹集合中的轨迹关联，实现多熊猫跟踪的步骤具体包括：计算获得轨迹的外观特征Ftrk，计算方式为通过轨迹中的目标的外观特征组合形成；计算轨迹的外观特征Ftrk和熊猫个体检测结果外观特征Fd的距离矩阵，通过距离矩阵利用匈牙利算法进行轨迹和熊猫个体检测结果的关联；将剩余未匹配到的轨迹的外观特征Frtrk和熊猫轨迹预测位置的外观特征Fs计算距离矩阵，通过距离矩阵利用匈牙利算法进行熊猫轨迹预测位置和剩余未匹配到的轨迹关联。

全文数据：

权利要求：

百度查询： 西安交通大学;宁波市舜安人工智能研究院 多熊猫跟踪方法、系统、终端设备及可读存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD