申请/专利权人：中国人民解放军国防科技大学

申请日：2022-08-04

公开（公告）日：2024-04-19

公开（公告）号：CN115290084B

主分类号：G01C21/16

分类号：G01C21/16

优先权：

专利状态码：有效-授权

法律状态：2024.04.19#授权;2022.11.22#实质审查的生效;2022.11.04#公开

摘要：本发明公开一种基于弱尺度监督的视觉惯性组合定位方法和装置，该方法通过对载体运动过程中的视觉、惯性信息和激光点云信息进行采集，通过从图像和惯性数据中分别提取视觉特征向量与惯性特征向量在通道上进行融合，再对融合特征的时间相关性进行建模后得到准确的位置和姿态估计。同时从图像中估计像素级的深度图像，再对多个时间序列的光度误差进行建模，对觉惯性组合定位模型中的各个功能模块进行联合训练，以此来得到结构更细致的深度图像，并使用激光点云信息作为弱尺度监督信号约束得到具有全局一致绝对尺度的位姿参数。本发明应用于导航定位领域，能够有效地解决自监督学习的视觉惯性组合定位中全局绝对尺度难以估计问题。

主权项：1.一种基于弱尺度监督的视觉惯性组合定位方法，其特征在于，包括如下步骤：步骤1，获取载体采集的视觉图像序列、惯性数据序列与激光点云数据序列；步骤2，构建视觉惯性组合定位模型，并基于视觉惯性组合定位模型进行如下处理：对视觉图像序列中连续的第i帧图像与第i+1帧图像中提取出视觉特征向量，得到视觉特征向量序列；对惯性数据序列中第i帧图像与第i+1帧图像之间对应的惯性数据中提取出惯性特征向量，得到惯性特征向量序列，其中，视觉特征向量与惯性特征向量一一对应；对视觉特征向量序列与惯性特征向量序列进行时间序列建模，得到考虑了时间特性的融合特征向量序列，并基于融合特征向量序列得到载体的位姿信息与相邻帧图像之间的姿态变换矩阵；提取视觉图像序列中每一帧图像的深度信息，并基于激光点云数据序列中的激光点云数据相同帧图像的深度信息进行修正，得到具有全局一致绝对尺度的深度弱尺度监督信号；基于深度弱尺度监督信号与视觉惯性组合定位模型输出的相邻帧图像之间的姿态变换矩阵构建多个时间尺度上的光度误差，其过程为：获取第i-1帧图像与第i帧图像之间的第一光度误差，具体为：将第i帧图像作为第一源图像，将第i-1帧图像中的像素映射到第i帧图像上，生成第一目标图像，为： 式中，为第一目标图像上的像素点，K为相机内参数，为视觉惯性组合定位模型输出的第i-1帧图像到第i帧图像的姿态变换矩阵，Di为第i帧时间尺度对应的深度弱尺度监督信号，ρi-1为第i-1帧图像上的像素点；基于第一源图像与第一目标图像构建光度误差L1，为： 式中，ρi为第一源图像上的像素点，Iiρi表示相邻时间轴上的投影点ρi的像素坐标，m、n表示图像在长和宽方向的像素个数；获取第i-1帧图像与第i+1帧图像之间的第二光度误差；基于第一光度误差与第二光度误差构建多个时间尺度上的光度误差；步骤3，以多个时间尺度上的光度误差为视觉惯性组合定位模型的代价函数，自监督的训练视觉惯性组合定位模型；步骤4，将训练好的视觉惯性组合定位模型部署在载体上，实时预测输出载体的位姿信息与深度信息。

全文数据：

权利要求：

百度查询： 中国人民解放军国防科技大学 基于弱尺度监督的视觉惯性组合定位方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD