申请/专利权人：天津工业大学

申请日：2023-12-08

公开（公告）日：2024-03-22

公开（公告）号：CN117745961A

主分类号：G06T17/05

分类号：G06T17/05;G06T17/20;G06V10/80;G06V10/75;G06V10/764;G06V10/44;G06N3/0464;G01C22/00

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：一种长短线段整合的点线特征融合视觉惯性里程计方法。本发明提出了一种点线视觉里程计方法，通过设计短线拼接和长线融合策略进行姿态估计和场景重建，提高了线段检测阶段的特征处理性能和场景恢复程度。首先，设计两个约束条件对线特征进行筛选和分类，并在相邻两个关键帧方向一致、距离相近的前提下对线段进行融合。然后，通过合并两条短线的端点将原来的两次三角剖分操作减少为一次，并基于正确的线段选择和匹配策略对平行长线段进行三角剖分。然后，通过推导归一化平面上的雅可比矩阵，分析了线段的重投影误差模型。最后，将线和点的重投影误差结合到滑动窗口中，实现状态优化。公开数据集实验结果验证了该方法的有效性。

主权项：1.长短线段整合的点线特征融合视觉惯性里程计方法，其特征在于包括以下步骤：第1，系统概况该方法基于点特征融合了短线和长线；在数据预处理阶段执行光流跟踪、点和线特征提取以及IMU预积分；在系统前端，通过对线段的过滤和分类，设计了短线拼接和长线合并策略；在特征匹配后，进入后端优化阶段恢复场景信息；重投影误差、IMU运动约束、边缘化先验约束在滑动窗口中联合优化；第2，短线拼接和长线融合策略符号l1s1，e1和l2s2，e2表示由LSD检测的两条线，s1，e1，s2，e2是端点；首先，在LSD算法检测之后，对每一帧进行行方向判断： 其中x·代表端点的横坐标；当l1和l2方向相反时，后检测到的线段l2的起点和终点的坐标会交换，以保持与前一个线段l1相同的方向；然后，设置两个筛选条件来判断哪些线应该被处理并剔除干扰线，①是关于距离，在l1和l2的四个端点中选取两个最近的端点，令两个候选线段的距离小于设定的阈值；②关于角度，两条短线之间的角度必须是0或者π；检测到长线段后，定义为l3s3，e3和l4s4，e4的两条长线段将由与短线相同的两个标准筛选，其中l3和l4彼此平行，并且l3和l4的两对对应端点都低于距离阈值dt；第3，融合的线特征的三角化第3.1，短线三角化短线段l1s1，e1在两帧上的投影分别表示为l1′s1′，e1′和l1″s1″，e1″，s1′，e1′s1″，e1″是投影的线段的端点；短线段l2s2，e2在两个帧上的投影分别表示为l2′s2′，e2′和l2″s2″，e2″，同理s2′，e2′，s2″，e2″；l1和l2都是在现有方法下恢复的线段；在两个相邻帧之间进行线匹配后，图像线通过短线拼接条件进行过滤；对于平面∏1上选出的图像线l1″s1″，e1″和l2″s2″，e2″，它们通过短线拼接策略处理为新的线段s1″，e2″；类似地，根据短线拼接策略获得∏0平面上的图像线s1′，e1′；然后，对s1″，e2″和s1′，e1′实施三角化操作，恢复出空间线特征ls1，e2；第3.2，长线三角化长线l3s3，e3投影到平面∏0和∏1上，分别形成线特征l3′s3′，e3′和l3″s3″，e3″；s3′，e3′，s3″，e3″代表投影的线段的端点；另一条线l4s4，e4在平面∏0和∏1上的投影分别是l4″s4″，e4″和l4′s4′，e4′，同理s4′，e4′，s4″，e4″；对于现有的线特征匹配方法，由于距离较近，l3′容易和l4″出现误匹配，l3″和l4′同理；用长线融合策略处理这些长线；例如将l4′识别为l3′，l4″识别为l3″；然后，对l3′和l3″进行三角化操作，从而重构空间线l3s3，e3；最终，长线得到了正确地匹配，并且恢复出了唯一的空间线。

全文数据：

权利要求：

百度查询： 天津工业大学 长短线段整合的点线特征融合视觉惯性里程计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD