申请/专利权人：清华大学苏州汽车研究院(吴江);清华大学

申请日：2020-09-08

公开（公告）日：2024-03-19

公开（公告）号：CN112085801B

主分类号：G06T7/80

分类号：G06T7/80;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2021.01.01#实质审查的生效;2020.12.15#公开

摘要：本发明公开了一种基于神经网络的三维点云和二维图像融合的校准方法，包括：获取图像的像素坐标，及激光雷达的体素坐标；建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；构建神经网络结构，所述神经网络结构包括矩阵乘积核和矩阵乘积层，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；将静态标定的外参矩阵作为初始值训练模型；使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合。该方法可以得到更加精确的外参矩阵，使得三维点云到二维图像的融合更加准确。

主权项：1.一种基于神经网络的三维点云和二维图像融合的校准方法，其特征在于，包括以下步骤：S01：获取图像的像素坐标，及激光雷达的体素坐标；S02：建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；S03：构建神经网络结构，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；所述外参矩阵采用梯度下降法进行网络的反向传播，所述内参矩阵的学习率为0，不做反向传播；所述S03中外参矩阵乘积核的乘积运算的步长为1，核大小为1个单位；S04：将静态标定的外参矩阵作为初始值训练模型；S05：使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合；设像素坐标为Y，点云坐标为X，则： 其中，Prect是内参矩阵，由相机标定得到； 是外参矩阵，外参矩阵的获取原理如下：首先定义激光坐标系：xw,yw,zw和相机坐标系：xc,yc,zc；激光坐标系转换为相机坐标系公式如下： 其中，R为3*3的旋转矩阵，t为3*1的平移矢量，即为外参矩阵。

全文数据：

权利要求：

百度查询： 清华大学苏州汽车研究院(吴江);清华大学 基于神经网络的三维点云和二维图像融合的校准方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD