申请/专利权人：华南理工大学

申请日：2021-07-14

公开（公告）日：2024-04-02

公开（公告）号：CN113673331B

主分类号：G06V20/10

分类号：G06V20/10;G06V10/774;G06T7/70;G06Q10/047;B25J9/16

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2021.12.07#实质审查的生效;2021.11.19#公开

摘要：本发明公开了一种基于多目标跟踪的移动机器人预见性导航方法，包括：1输入相机实时视频流，对图像帧作预处理；2通过在线多目标跟踪模型，采集历史轨迹点；3轨迹数据合规平稳性检验；4通过历史轨迹点，预测得到未来轨迹点；5通过ROS服务端节点，创建局部代价地图；6通过move_base导航节点，提前影响导航规划。本发明采用在线多目标跟踪结合时序预测模型进行行人轨迹预测的思路，对于动态环境下移动机器人导航过程中导航线频繁变化的情况，提供一种预见性导航的方法，利用预测得到的行人未来轨迹创建局部代价地图，更新加入到move_base导航节点，从而提前影响机器人的导航路径规划。

主权项：1.一种基于多目标跟踪的移动机器人预见性导航方法，其特征在于，包括以下步骤：1输入相机实时视频流，对图像帧作预处理；2将步骤1预处理后得到的图像帧输入开源的在线多目标跟踪JDE模型，采集历史轨迹点，得到多目标的历史轨迹数据集合，包括以下步骤：2.1将步骤1中预处理后得到的图像帧输入开源的在线多目标跟踪JDE模型，该在线多目标跟踪JDE模型通过特征金字塔网络FPN，从多尺度进行预测；2.2在训练过程中，在线多目标跟踪JDE模型以132、116和18的尺度对特征图分别进行降采样，建立多任务学习目标建模，作加权线性损失和 其中，m是预测头数，是i＝1,...,m且j＝α,β,γ下的损失权重，是i＝1,...,m且j＝α,β,γ下的损失值，α,β,γ是不同尺度分支的权重值；2.3对于采样得到的特征，在线多目标跟踪JDE模型根据每个目标的边界框和外观特征，通过匈牙利算法计算当前帧检测目标和已存在的目标轨迹之间的关联矩阵，再通过如下公式对轨迹进行更新：ft＝ηft-1+1-ηf'其中，f'是被关联目标的外观特征，ft是当前时刻检测目标的外观特征，ft-1是前一时刻检测目标的外观特征，η是自设的加权移动平均系数；2.4在线多目标跟踪JDE模型输出的单个目标的单点轨迹数据P为：Pfid,oid,x,y其中，fid表示图像帧ID，oid表示目标ID，x表示目标边界框下底边中心点横坐标，y表示目标边界框下底边中心点纵坐标；目标ID为v的轨迹数据集合Kv为：Kv＝{P1,P2,P3,...,PT}其中，T表示在采样周期内采集到的目标ID为v轨迹点的最大数量；2.5以设定帧数图像为一采样周期，整理得到该采样周期内捕获到的包含多个目标信息的历史轨迹数据集合M：M＝{K1,K2,K3,...,Kn}其中，集合Kn表示目标ID为n的目标的轨迹数据集合，n为该采样周期内捕获到的最大目标数；3对步骤2得到的多目标的历史轨迹数据集合进行合规平稳性检验，得到检验通过的多组数据；4收集步骤3中检验通过的多组数据，得到有效历史轨迹数据集合，通过有效历史轨迹数据集合，预测得到未来轨迹点集合；5通过ROS服务端节点，对步骤4中预测得到的未来轨迹点进行坐标系转换，创建局部代价地图，将创建好的局部代价地图发布到ROS话题\local_costmap上；6订阅ROS话题\local_costmap，通过move_base导航节点，提前影响导航规划。

全文数据：

权利要求：

百度查询： 华南理工大学 一种基于多目标跟踪的移动机器人预见性导航方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD