申请/专利权人：哈尔滨理工大学

申请日：2023-08-22

公开（公告）日：2024-03-29

公开（公告）号：CN117036408B

主分类号：G06T7/246

分类号：G06T7/246;G06V10/40;G06V10/26;G06V20/64;G06V10/74

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2023.11.28#实质审查的生效;2023.11.10#公开

摘要：本发明公开了一种动态环境下联合多目标跟踪的物体SLAM方法，完成在动态环境中对动态与静态对象的定位与建图任务。首先，为精确获得物体的运动区域，通过短时密集连接STDC网络进行语义分割得到运动物体掩膜，依据运动物体掩膜对特征点进行区分得到静态特征点与动态特征点。同时，将图像输入到单目3D目标检测SMOKE网络进行三维目标检测，并将检测结果输入到数据关联模块进行多目标跟踪。利用动静态特征点与数据关联后的目标位姿共同估计相机与动静态物体位姿。最后，依据动静态特征点、相机与动静态物体位姿进行跟踪优化，提升定位与建图精度。本方法与传统SLAM方法相比，有效提升了SLAM系统的鲁棒性，建立的地图语义明确、可解释性好。

主权项：1.一种动态环境下联合多目标跟踪的物体SLAM方法，其特征在于，包括以下步骤：S1、获取输入图像序列，包括RGB图像；S2、对输入帧的RGB图像进行ORB特征点的提取；S3、将输入帧的RGB图像输入短时密集连接STDC网络进行语义分割，得到含有运动物体语义信息的运动物体掩膜；S4、根据STDC网络获得的物体掩膜，将落在运动物体掩膜上的特征点判定为动态特征点，否则，判定为静态特征点；S5、将输入帧t的RGB图像输入单目3D目标检测SMOKE网络进行三维目标检测，得到该帧中所有目标的目标检测数据其中nt为检测到的物体的数量，每一个检测结果为一个8维向量x,y,z,l,w,h,θ,s，其中x,y,z为物体中心的三维坐标，l,w,h为物体长宽高，θ为朝向角，s为置信度；S6、对S5所得到的目标检测数据创建对象实例，结合卡尔曼滤波预测之前帧目标在当前帧的位置，使用匈牙利匹配算法进行数据关联以实现目标跟踪，具体步骤如下：S61、将目标轨迹状态建模为10维向量T＝x,y,z,θ,l,w,h,vx,vy,vz，其中vx,vy,vz分别代表目标在3D空间的速度；S62、在输入帧t中，对前一帧所有目标轨迹状态进行前向预测： 其中，xest,yest,zest为当前帧目标中心的预测坐标，mt-1为前一帧中的轨迹数，则目标轨迹状态在当前帧被相应的预测为： 其中，为当前帧目标轨迹状态的预测；S63、计算每一个预测轨迹与检测结果间的3D交并比IoU，并以此来构建维数为mt-1×nt的相似度矩阵；S64、判断每个3D交并比IoU是否小于阈值IoUmin，若小于，则匹配失败，否则匹配成功，得到数据关联的输出： 其中，Tmatch与Dmatch为匹配成功的轨迹与检测的数量，wt为成功匹配的轨迹与检测的数量，Tunmatch与Dunmatch为匹配失败的轨迹与检测的数量；S65、在Dmatch中根据每个轨迹的相应检测更新Tmatch中每个轨迹的状态，得到最终关联轨迹其中每个轨迹的更新状态为此处k∈{1,2,...,wt}，为与的加权平均值，权重由与的状态不确定性确定；S66、对Dunmatch在连续帧中匹配失败的次数进行计数，若大于Fmin帧就创建新的轨迹对象S67、对Tunmatch在连续帧中匹配失败的次数进行计数，若大于Agemax帧，则取消对其的跟踪；S7、使用S6得到的对象状态数据，结合S4中得到的动态与静态特征点构建图优化，包括以下步骤：S71、通过对S6得到的对象状态数据与S4得到的动态与静态特征点计算三维欧氏距离得到动态对象与静态对象的初始位姿，并将动态对象与静态对象的初始位姿设为静态对象节点与动态对象节点；S72、将S4中得到的动态与静态特征点设为动态点节点与静态点节点；S73、根据相机在t-1帧与t帧的位姿变换T和相机在t-1帧的位姿确定相机在t帧的初始位姿，并将其设为相机节点；S74、根据动态对象在t-1帧的位姿与t-1帧到t帧的时间戳确定动态对象在t帧的速度，并将其设为速度节点；S75、以静态点节点与相机节点为顶点构造静态投影边ecp，以相机节点与动态物体节点为顶点构造动态物体测量边eco-3D，以静态物体节点与静态点节点为顶点构造静态物体测量边eop，以相机节点、动态物体节点与动态点节点为顶点构造三元动态重投影边edp，以前一帧动态物体节点、当前帧动态物体节点与速度节点构造三元速度估计边emo；S76、对上述构造的图优化问题进行求解，获得当前帧相机、动静态特征点与动静态物体的优化后位姿。

全文数据：

权利要求：

百度查询： 哈尔滨理工大学 一种动态环境下联合多目标跟踪的物体SLAM方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD