申请/专利权人：大连理工大学

申请日：2023-11-27

公开（公告）日：2024-02-09

公开（公告）号：CN117541645A

主分类号：G06T7/70

分类号：G06T7/70;G06T7/33;G06T7/90;G06V10/44;G06V10/56;G06V10/147;G06V10/80

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.01#实质审查的生效;2024.02.09#公开

摘要：本发明属于环境感知与智能化工业检测技术领域，一种基于双重注意力机制特征融合的矿卡位姿检测方法，包括以下步骤：1矿卡数据集的建立，2矿卡彩色点云模板的构建，3矿卡位姿检测网络的搭建，4计算矿卡位姿。与已有技术相比，本发明具有以下优点：一是针对传统点云配准算法容易忽略除激光雷达传感器之外的摄像机获取的丰富视觉信息的问题，将颜色信息嵌入数据层用以提高实时点云配准的性能；二是本发明基于深度学习方法，具有出色的特征学习和模式识别能力，可以实习高精度的矿卡位姿检测。

主权项：1.一种基于双重注意力机制特征融合的矿卡位姿检测方法，其特征在于，包括以下步骤：步骤1、矿卡数据集的建立，通过激光雷达与相机搭建的三维彩色激光扫描系统来采集矿卡的点云与图像数据，完成鱼眼图像畸变矫正与点云图像数据融合，建立矿卡位姿检测深度学习网络数据集，具体包括以下子步骤：a鱼眼相机图像矫正，为了获取广阔的视野范围，相机选择使用鱼眼镜头进行采集，由于鱼眼镜头的特殊性质，拍摄的图片存在畸变效果，相机的径向畸变参数与切向畸变参数由Matlab标定工具箱得到，并用于矫正图像畸变；b矿卡三维彩色点云融合，在实际工作场景下，使用三维彩色激光扫描系统同步获取矿卡的一帧三维点云数据与对应的二维图像数据，记p＝[x,y,z]T为三维点云中一个激光点，其齐次坐标表示为q＝[u,v]T为图像中对应的一个像素点，激光坐标系下一个激光点p投影到像素坐标系下的像素点q，通过公式1进行描述， 式中，为三维激光坐标系到像素坐标系之间的集合映射关系，也称之为单应性矩阵，其中：A为相机内参矩阵，由相机标定获得，[Rt]为激光雷达与鱼眼相机的外参矩阵，使用点面标定方法获得，为二维像素坐标系下的像素点q＝[u,v]T的齐次坐标，为激光坐标系下的激光点p＝[x,y,z]T的齐次坐标，和分别表示单应性矩阵H的对应行向量；对真实场景的每一帧三维点云中的所有激光点都通过单应性矩阵进行投影，找到与之对应的投影像素点，将激光点进行染色，获取矿卡三维彩色点云P＝{Pt∣1≤t≤m}，m为三维彩色点云的帧数，每一帧三维彩色点云其中为第t帧下三维彩色点云中的一个彩色激光点，xi,yi,zi表示第i个点的坐标信息，ri,gi,bi表示对应投影像素点的三维颜色信息，n为三维彩色点云中彩色激光点的个数，完成构建包含1200幅不同角度下彩色矿卡点云数据集；步骤2、矿卡彩色点云模板的构建，使用迭代最近点ICP点云配准方法完成矿卡彩色点云模板的构建，具体包括以下子步骤：a使用激光雷达与鱼眼相机搭建的三维彩色激光扫描系统对矿卡进行扫描，通过围绕矿卡四周进行环形扫描，来获取矿卡连续彩色点云数据，覆盖了矿卡在各个角度的详细信息，具体操作为：以矿卡车头正前方3m处为起始位置，顺时针围绕矿卡每间隔10°进行一次扫描，获得一帧矿卡三维彩色点云，共采集36幅不同位置下矿卡三维彩色点云；b进行数据预处理，在进行矿卡彩色点云模板构建之前进行滤波分割处理，以精确提取和保留矿卡彩色点云数据，排除掉杂散噪声，对于一个彩色激光点满足xi∈[-20m,2m]，且yi∈[-20m,2m]，则保留这个彩色激光点，对于三维彩色点云中不包含关键特征的地面部分也进行裁剪，对于彩色激光点满足zi0.8m，则保留这个彩色激光点，随后利用MeanShift聚类算法进行聚类，将矿卡彩色点云分为不同簇，对每一簇彩色点云使用点特征直方图方法进行特征提取，根据特征值来判断是否为矿卡彩色点云进行保存，如果为矿卡彩色点云则进行保存，否则删除该簇彩色点云，接着，采用迭代最近点算法，对采集到的36幅矿卡彩色点云一一进行配准，全部转换到第一幅矿卡彩色点云坐标系下，完成矿卡三维彩色点云模板的构建，为了提高后续计算效率，对模板点云使用体素网格方法进行降采样和均匀化，将体素网格设置为0.2米，采样密度设置为1点体素网格，使得点云中采样点在空间分布上更加均匀；步骤3、矿卡位姿检测网络的搭建，构建一种基于双重注意力机制特征融合的矿卡位姿检测网络，计算矿卡位姿，网络包括特征提取模块、特征融合模块、位姿回归模块三部分，特征提取模块提取矿卡彩色点云与模板彩色点云特征，特征融合模块利用空间和通道注意力机制进行特征融合，位姿回归模块计算矿卡位姿，具体包括以下子步骤：a特征提取模块，特征提取模块用于从输入矿卡彩色点云Ps和模板彩色点云Pt中提取矿卡彩色点云特征gs和模板彩色点云特征gt，提取的特征被用作为特征融合模块的输入，特征提取模块包括两个平行子网络，每个子网络由一个5层多层感知器组成，输入特征尺寸为n*t，其中n是点云中点的数量为4096，t是特征维度为6，第一层隐藏层单元数为64，经过第一层处理后得到输出形状为4096,64二维数组，将这个输出作为第二层输入，以此类推，其中第三层、第四层隐藏层单元数为128，最后经过输出层得到输出形状为4096,1024二维特征数组，每层激活函数使用Leaky_ReLUb特征融合模块，该模块由空间注意力机制和通道注意力机制串联组成，在特征提取模块提取到矿卡彩色点云与模板彩色点云特征gs和gt后，插入通道注意力模块，通道注意力模块输入为gs，其中：gs的大小为4096×1024，接着使用全局最大池化和平均池化得到两个1×c的通道描述gs_cm和gs_ca，c是矿卡彩色点云与模板彩色点云特征gs和gt的特征通道维数，对于gs和gt，c都为1024；接着，将gs_cm和gs_ca分别送入一个两层共享全连接层，第一层神经元个数为512，激活函数为Leaky_ReLU，第二层神经元个数为1024，得到输出结果gs_rm和gs_ra，之后对这个两个结果进行相加然后使用sigmoid激活函数得到特征通道权重系数mc，最后通过mc×gs即可得到新特征g′s；空间注意力输入特征为通道注意力机制输出的特征g′s，接着在每一维特征上进行最大池化与平均池化得到g′s_m和g′s_a，之后将这两个结果进行拼接，使用一次卷积操作将特征通道数调整为1，然后使用sigmoid激活函数，获得了输入特征g′s每一个特征点的权值ms，最后将这个权值ms×g′s，即可获得矿卡彩色点云最终的特征g″s；最后在经过一个池化操作，池化层的参数为输入4096,1024特征，池化窗口大小为4096，1，无填充，使用最大池化，最终得到1，1024的特征向量，模板彩色点云特征gt提取原理同上；c位姿回归模块，位姿回归模块基于前面生成的矿卡彩色点云特征g″s和模板彩色点云特征g″t，通过使用全连接层计算最终的矿卡位姿，完成相邻两帧矿卡配准，位姿回归模块主要包含5个全连接层，第一层全连接输入为矿卡彩色点云特征g″s和模板彩色点云特征g″t的拼接，形状为1×2048，隐藏单元为1024，经过第一层全连接处理后输出形状为1×1024，将这个输出结果作为第二层全连接输入，得到输出为1×512，以此类推；最后全连接输出层输入为1×256，输出结果为1×7；其中，前三个参数表示平移向量后四个参数表示四元数矿卡彩色点云Ps和模板彩色点云Pt之间的位姿关系表示为Ti＝[ti|ri]；步骤4、计算矿卡位姿，将步骤1采集到的矿卡数据集输入到网络中进行训练，初始学习率设置为0.001，批量大小设为8，训练200遍，通过训练获得网络模型，将步骤2中获取的矿卡模板彩色点云与采集到的矿卡彩色点云输入到矿卡位姿检测网络模型中，由特征提取模块负责提取特征，首先通过5层MLP将输入点云由4096×6转换为一个4096×1024维的特征数组，之后通过双重注意力机制进行特征融合，最后通过最大池化操作，完成矿卡彩色点云由4096×6到1×1024的特征向量转换；最后将两个1×1024维特征拼接成1×2048维的特征，将拼接后的1×2048输入到位姿解码模块中，该解码模块使用不同维度全连接层预测相对位姿，获得旋转矩阵与平移量，全连接层共有4个隐藏层，维度分别为1024，512，512，256，输出层维度为7，即平移向量与四元数的组合，为求解的矿卡位姿参数。

全文数据：

权利要求：

百度查询： 大连理工大学 基于双重注意力机制特征融合的矿卡位姿检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD