申请/专利权人：霞智科技有限公司

申请日：2023-11-29

公开（公告）日：2024-02-27

公开（公告）号：CN117612135A

主分类号：G06V20/58

分类号：G06V20/58;G06V10/80;G06V10/26;G06V10/764;G06V10/82;G06N3/0464

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.15#实质审查的生效;2024.02.27#公开

摘要：本发明公开了一种基于transform的点云和图像融合的行驶区域判断方法，涉及机器人感知算法领域，整个算法输入为一张RGB图像，一张深度图像，一组点云数据；根据采集的地面障碍物数据集，训练Segformer神经网络，使用基于Transformer的Segformer神经网络对RGB图像进行像素的语义分割预测；本发明通过使用Segformer图像语义分割神经网络，用RGB图像的地面信息转换成点云信息，弥补了黑色障碍物点云缺失导致无法判断该区域是障碍物还是地面的问题，提高实际结果的计算速度，提高的地面和障碍物识别准确度；通过叠加两幅costmap代价地图，结合了图像和点云判断输出的优劣势，更加准确的判断障碍物和地面信息，提高的地面和障碍物识别准确度。

主权项：1.一种基于transform的点云和图像融合的行驶区域判断方法，包括，其特征在于，包括以下步骤：S1、整个算法输入为一张RGB图像，一张深度图像，一组点云数据；S2、根据采集的地面障碍物数据集，训练Segformer神经网络，使用基于Transformer的Segformer神经网络对RGB图像进行像素的语义分割预测，得到一个地面和障碍物的二分类的灰度图像1，障碍物的像素点的值为1，地面的像素为0；S3、根据S2得到的灰度图像1，黑色障碍物部分因为在深度图像中没有值，无法得到点云信息，所以不能用像素点映射到3D点云上，但地面的像素可以，利用这一特点，把Transformer神经网络判断为地面的RGB图像像素的坐标x1,y1，进行坐标转化：从深度图像坐标x1,y1,d1转到点云坐标x2,y2,z2，公式1；通过截取一定高度的点，映射到2Dcostmap上，在costmap上把地面的像素点值标记为0，非地面的像素点值标记为1，记这张costmap为深度神经网络得到的第一张costmap；公式1：X＝Zu-cxfxY＝Zv-cyfyZ＝d其中X,Y,Z表示转换后的3D点的X，Y，Z，d表示深度，u,v表示所求点在RGB图像的坐标，cx,cy是图像平面上光学中心的坐标，fx,fy是两轴的焦距；S4、原始3D点云数据通过截取一定高度的点，映射到2Dcostmap上，记为第二张点云判断的costmap，低于一定高度a的地面的点为0，高于一定高度a的障碍物的点为1；这里有2种情况，对于正常的障碍物，在3D点云中是有点的，所以映射到2Dcostmap下是正常的1的值，而黑色障碍物是没有3D点的，所以通过点云高度映射后在2Dcostmap下是0的值；需要得到这个黑色障碍物为1，来满足导航时真实障碍物部分的costmap；S5、把第二张2D的costmap叠加到第一张，对障碍物为1的像素点做并集判断，只要两张costmap上有一张的像素值是1的障碍物像素，就判断为障碍物，映射到第三张合并的costmap，记为最终输出的costmap。

全文数据：

权利要求：

百度查询： 霞智科技有限公司 一种基于transform的点云和图像融合的行驶区域判断方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD