申请/专利权人：深圳大学

申请日：2023-12-19

公开（公告）日：2024-04-16

公开（公告）号：CN117422764B

主分类号：G06T7/70

分类号：G06T7/70;G06N3/0455;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2024.02.06#实质审查的生效;2024.01.19#公开

摘要：本发明公开了一种空地视角图像协同的车载系统定位方法、终端及存储介质，方法包括：获取空中影像，通过所述空中影像构建空中神经辐射场模型，并基于所述空中神经辐射场模型进行地面多视角影像反演；通过融合卷积神经网络与视觉自注意力模型对所述空中影像进行特征编码，根据编码得到的特征图的层级顺序进行渐进式迭代优化并计算位姿；采用空地影像融合的间断式回环检测与姿态校准方法对车载平台进行回环检测和位姿校准，并通过局部图优化和全局图优化方法对所述车载平台的轨迹进行优化，输出优化后的车载系统定位信息；本发明提出新的大视角差异下的视觉图像匹配的方法，提高空中影像与地面影像跨视角匹配和信息融合能力和精度。

主权项：1.一种空地视角图像协同的车载系统定位方法，其特征在于，包括：获取空中影像，通过所述空中影像构建空中神经辐射场模型，并基于所述空中神经辐射场模型进行地面多视角影像反演；通过融合卷积神经网络与视觉自注意力模型对所述空中影像进行特征编码，根据编码得到的特征图的层级顺序进行渐进式迭代优化并计算位姿；采用空地影像融合的间断式回环检测与姿态校准方法对车载平台进行回环检测和位姿校准，并通过局部图优化和全局图优化方法对所述车载平台的轨迹进行优化，输出优化后的车载系统定位信息；所述获取空中影像，通过所述空中影像构建空中神经辐射场模型，并基于所述空中神经辐射场模型进行地面多视角影像反演，包括：获取所述空中影像，采用基于空中神经辐射场模型加速训练与渲染方法，对空中神经辐射场场景进行建模，得到所述空中神经辐射场模型；采用空中影像姿态引导地面多视角位姿生成方法，将所述空中影像投影到地面，并将所述空中影像的角度信息赋予地面影像，生成所述地面影像的位姿；根据所述车载平台的实时位置和感知图像选取匹配的空中影像，并建立所述地面影像与反演影像的匹配关系；所述通过融合卷积神经网络与视觉自注意力模型对所述空中影像进行特征编码，根据编码得到的特征图的层级顺序进行渐进式迭代优化并计算位姿，包括：采用融合视觉自注意力与卷积神经网络的特征编码方法对所述空中影像进行编码，从所述空中影像中提取全局特征和局部特征；采用跨层连接的多级图像特征解码方法融合不同尺度特征图中的语义信息，并采用运动结构恢复方法对所述空中影像进行稀疏重建；采用由粗到细的渐进式迭代优化与位置计算方法，恢复地面影像的多个自由度相机位姿；所述采用空地影像融合的间断式回环检测与姿态校准方法对车载平台进行回环检测和位姿校准，并通过局部图优化和全局图优化方法对所述车载平台的轨迹进行优化，输出优化后的车载系统定位信息，包括：综合车载平台感知位姿、全球导航卫星系统位姿与跨视角匹配位姿的多模态信息，对所述车载平台进行回环检测和位姿校准；基于局部场景车载平台轨迹图优化方法对所述车载平台的轨迹进行局部图优化，并结合所述回环检测和所述位姿校准的结果进行全局轨迹优化，输出所述优化后的车载系统定位信息。

全文数据：

权利要求：

百度查询： 深圳大学 空地视角图像协同的车载系统定位方法、终端及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD