申请/专利权人：东北大学

申请日：2023-11-30

公开（公告）日：2024-02-27

公开（公告）号：CN117606495A

主分类号：G01C21/28

分类号：G01C21/28;G01C21/30;G01C21/16;G01C22/00;G01B11/00;G01B11/24;G06T7/73;G06T5/50;G06T7/246;G06T7/41;G06N3/0464

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.15#实质审查的生效;2024.02.27#公开

摘要：本发明提供一种面向复杂和挑战场景的多传感器融合车辆定位方法，涉及车辆定位技术领域。基于视觉的全局定位模块利用CNN网络和图像纹理信息确定车辆准确的初始位置；基于激光的位姿跟踪模块接受该初始位置，并在此基础上将激光点云与全局地图匹配，获得准确的全局位姿；视觉惯性里程计模块提取实时图像帧的视觉特征点，采用视觉特征跟踪的方式，为车辆定位提供准确的帧间位姿；全局位姿图融合模块接受并对齐激光定位位姿和视觉惯性里程计的位姿，通过位姿图融合的方式融合两种位姿并实现车辆的位姿估计；全局位姿图融合模块试试检测原始点云的退化情况和视觉特征跟踪数目，动态调整融合权重，实现高精度和鲁棒的车辆定位性能。

主权项：1.一种面向复杂和挑战场景的多传感器融合车辆定位方法，其特征在于：所述方法包括：基于视觉的全局定位，利用CNN网络和图像纹理信息确定车辆准确的初始位置；首先接受相机图像，利用深度学习模型提取稳定的视觉特征，并与数据库中的图像进行检索，得到与当前帧最相似的一帧图像；然后利用双目相机的视差恢复当前特征点的深度，生成空间3D点，并将空间3D点投影到数据库的相似帧中构建重投影残差；最终通过优化求解重投影残差函数，得到车辆的全局位姿，并将全局位姿用于车辆定位的初始位姿；基于激光的位姿跟踪，接受车辆准确的初始位置，并在此基础上将激光点云与全局地图匹配，获得准确的全局位姿；首先考虑到车辆高速运动，对激光点云进行畸变补偿，获得相对激光点扫描时刻的无失真点云；然后将畸变补偿后的点云投影到全局激光地图中查找对应的近邻点，构建点到平面的距离残差函数；最后通过优化求解残差函数，实现基于激光的位姿跟踪；视觉IMU里程计，提取实时图像帧的视觉特征点，采用视觉特征跟踪的方式，为车辆定位提供准确的帧间位姿；首先使用传统几何的方式提取当前图像的视觉特征，并使用光流进行追踪，实现前后相邻帧与左右目图像之间的数据关联；然后根据数据的时间序列对齐图像与IMU数据，对IMU数据进行积分，得到相邻视觉帧之间的相对位置、速度和旋转；最终使用滑动窗口的方式求解车辆定位的帧间位姿，并迭代优化IMU的噪声；全局位姿图融合，接受并对齐激光定位位姿和视觉惯性里程计的位姿，通过位姿图融合的方式融合两种位姿并实现车辆的位姿估计，实时检测原始点云的退化情况和视觉特征跟踪数目，动态调整融合权重；首先根据时间序列对齐激光定位的位姿和视觉定位的位姿；然后实时检测激光雷达和相机传感器退化情况，当单一传感器退化时，将动态调节对应位姿的融合权重；最终，将视觉IMU里程计的位姿插入到激光定位位姿中，作为激光定位的帧间位姿，实现异构数据的位姿图融合。

全文数据：

权利要求：

百度查询： 东北大学 一种面向复杂和挑战场景的多传感器融合车辆定位方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD