申请/专利权人：东南大学;北京农业信息技术研究中心

申请日：2021-10-12

公开（公告）日：2024-04-26

公开（公告）号：CN114004894B

主分类号：G06T7/80

分类号：G06T7/80;G01S7/497

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2022.02.22#实质审查的生效;2022.02.01#公开

摘要：本发明提出了基于三个相互垂直标定板的激光雷达与双目相机空间关系确定方法，利用已知内参的双目相机获取的左、右图像，并根据极线约束准则对左右图像中的内角点进行匹配，再利用最小二乘法求解标定板中角点世界坐标，提取三个平面参数；对于激光点云数据，使用基于激光点云的三次增长平面检测算法，提取三个平面参数；将相机提取的平面参数与激光提取的平面参数一一对应，从而确定两者之间的空间关系，即外参；同时，引入一种新的评价指标，即根据激光雷达与左相机的外参，将激光点云投影到左相机坐标系中，判断点云投影在前景中的百分比，从而有效、可靠的对标定结果进行评价。

主权项：1.基于三个标定板的激光雷达与双目相机空间关系确定方法，其特征在于：包括有如下步骤：S1.利用已知双目相机内参，可以得到左、右相机的内参Kl、Kr以及两者的旋转矩阵R和平移向量t，使用findChessboardCorners检测函数提取棋盘格中的角点，根据极线约束准则对左右图像中的内角点进行匹配，从而计算得到内角点在左相机下的坐标，再使用RANSAC算法拟合出三个平面的参数：S11.计算每个平面中的棋盘格内角点在左相机坐标系下的坐标：左、右相机的n个三维空间共视点为Pw，其投影为p，设空间点世界坐标为PiW＝[xi，yi，zi]T，左相机投影的像素坐标为右相机投影的像素坐标为 令将式1、2展开，并联立方程得： 利用最小二乘法即可求解出角点在世界坐标系下的坐标[xi，yi，zi]，S12.使用RANSAC算法拟合每个平面的平面参数：空间中的任一平面都可以用其上面的一点x，y，z以及它的法向量A，B，C来确定，即Ax+By+Cz+D＝0，将A，B，C，D称为平面参数，设左相机坐标系为世界坐标系，则左相机坐标系到世界坐标系的旋转矩阵Rl＝I，平移向量tl＝0，利用最小二乘法求解标定板中角点的世界坐标，即左相机坐标系下的坐标，再使用RANSAC算法拟合出三个平面的参数和S2.根据激光点云的曲率，并结合三次增长平面检测算法提取平面，以及获取三个平面参数：S21.设计了具有几何意义的曲率计算方法，求解点云的曲率：曲率为c计算公式：c＝180*acos|normPi-5，j，k-Pi，j，k·normPi+5，j，k-Pi，j，k|5其中Pi，j，k为i，j，k时所对应的点云坐标；norm函数表示将输入的向量进行单位化；符号“·”表示将两个向量点乘，S22.确定所有点的曲率，根据曲率将点云被划分两类点：有曲率点和无曲率点，S23.第一次区域增长，将A平面和B平面之间的相交区域都划归为角点，空间中平面点已经被聚类完，S24.第二次区域增长，将空间中的平面检测出来，特别是与激光光线垂直的平面，S25.第三次区域增长，提取点云中的地面，S26.使用RANSAC算法拟合每个平面的平面参数：步骤1：对于每个平面，选取任意3个点云，判断其是否共线，若共线则重新选取；若不共线则解算出其对应的原始平面A0x+B0y+C0z+D0＝0；步骤2：计算点云到该原始平面的距离，步骤3：设定阈值d0，若时，该点被当作有效点保存并计数，反之删除该点；重复步骤1-3，迭代M次，选取有效点数最大的平面进行估计，确定平面参数Al，Bl，Cl，Dl，从而确定激光坐标系下三个平面的参数分别记为和S3.将相机坐标系下三个平面的参数和激光点云提取的三个平面参数建立方程，求解激光雷达与左相机的外参：S31.利用SVD得到旋转矩阵，再利用线性方程直接求解平移矩阵，从而得到外参初值；根据步骤S1和S2可知：相机坐标系下三个平面的参数分别记为和激光坐标系下三个平面的参数分别记为和相机坐标系下的平面参数和激光坐标系下的平面参数有如下关系： 式6为ICP问题，使用SVD分解求解得到外参的旋转矩阵Rl，c令对W进行SVD分解，W＝U∑VT从而得到：式7为解线性方程问题，对系数矩阵直接求解即可得到平移矩阵tlc，经过对式6、7的求解从而得到外参初值，S32.利用初值，进行非线性优化得到最终结果；S4.搭设评价场景，根据激光雷达与左相机的外参，将激光点云投影到左相机坐标系中，进行评定：S41.搭设评价场景：通过一个白色面板和一个黑色面板的搭设场景，其中，白色面板为背景，黑色面板为前景，白色面板面积大于黑色面板面积，白色面板和黑色面板之间存在距离，S42.根据激光雷达与左相机的外参，将激光点云投影到左相机坐标系中，进行评定：确定激光雷达与左相机正前方的扇面，将所有距离黑色面板满足阈值d的点云集合成TD，总点数计为NTD；将所有投影在黑色面板且距离满足阈值d的点云集合成SD，总数计为NSD；外参校准的准确率Ap为： 其中，Ap的值越大表示激光雷达与双目相机的外参准确性越高。

全文数据：

权利要求：

百度查询： 东南大学;北京农业信息技术研究中心 基于三个标定板的激光雷达与双目相机空间关系确定方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD