申请/专利权人：山东大学

申请日：2023-07-26

公开（公告）日：2024-04-09

公开（公告）号：CN117011335B

主分类号：G06T7/246

分类号：G06T7/246;G06T7/277;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2023.11.24#实质审查的生效;2023.11.07#公开

摘要：本发明属于深度学习、信号处理技术领域，提供了一种基于自适应双解码器的多目标跟踪方法及系统，包括：对视频数据切分为帧，依次通过基于自适应双解码器的目标检测与外观特征提取模型提取其边界框与对应的外观特征；在外观信息关联匹配过程，计算已有轨迹和当前帧检测之间的外观相似度矩阵，通过匈牙利算法实现两两最大匹配；在运动信息关联匹配过程，通过基于宽度预测的噪声自适应卡尔曼滤波预测轨迹在当前帧的预测框，以扩张宽度的方式计算当前帧预测框和预测框之间的DIOU运动相似度矩阵，通过匈牙利算法实现最大匹配；将得到视频的每一帧中每个对象的ID编号和预测框。本发明对于众多领域和高级计算机视觉任务具有重要应用和研究价值。

主权项：1.一种基于自适应双解码器的多目标跟踪方法，其特征在于，包括：获取视频数据，将视频数据进行预处理，按帧切分为连续帧图片数据；基于连续帧图片数据和训练后的目标检测与外观特征提取模型，对当前帧进行感兴趣目标的检测以及外观特征提取，得到当前帧所有感兴趣目标的最新检测框及其对应的外观特征；其中，所述目标检测与外观特征提取模型的构建过程为：采用基于自适应双解码器结构的改进FairMOT，在现有的编解码器结构DLA34变体上，复制其解码器的最后一层IDA结构，即多层特征的再融合结构，解码器部分共有两层IDA结构，其中一层IDA结构用于检测任务，另一层IDA结构用于外观特征提取任务，还在两层IDA结构之后，分别连接了一个卷积块注意力结构；基于当前帧所有感兴趣目标的最新检测框及其对应的外观特征，和已有轨迹的外观特征和在当前帧的预测框进行外观信息匹配和运动信息匹配；通过比对所有已有轨迹的外观特征和当前帧所有最新预测框对应的外观特征，形成外观相似度矩阵；基于外观相似度矩阵，对所有已有轨迹的外观特征和当前帧所有最新检测框的外观特征进行两两之间的最大匹配；对于剩余未成功匹配的已有轨迹或当前帧最新检测结果，通过运动信息匹配，包括：通过卡尔曼滤波预测已有轨迹在当前帧的预测框，比对多个已有轨迹的卡尔曼预测框和当前帧多个最新预测框的重叠性度量，形成运动相似度矩阵，包括：通过基于宽度预测的噪声自适应卡尔曼滤波器预测出所有剩余已有轨迹在当前帧上的边框，得到已有轨迹在当前帧上的卡尔曼预测框；对当前帧上的卡尔曼预测框与剩余最新检测框的宽度进行扩张变换，并计算DIOU距离，从而得到运动相似度矩阵；基于运动相似度矩阵，进行卡尔曼预测框和剩余预测框之间的最大匹配；噪声尺度是一个常数矩阵；引入检测置信度对噪声尺度进行自适应调整；通过以下公式实现噪声协方差随着检测置信度的自适应改变： 其中，Rk为预设好的噪声协方差，ct表示检测器的置信度阈值，ck表示k状态下的检测置信度；直到所有的图片帧都处理完成，输出视频的每一帧中每个目标的ID编号与边界框信息。

全文数据：

权利要求：

百度查询： 山东大学 一种基于自适应双解码器的多目标跟踪方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD