申请/专利权人：轻客小觅机器人科技(成都)有限公司

申请日：2019-10-29

公开（公告）日：2024-04-09

公开（公告）号：CN111047636B

主分类号：G06T7/55

分类号：G06T7/55;G05D1/243;G05D1/644;G05D1/43;G05D109/10

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2020.09.01#专利申请权的转移;2020.05.15#实质审查的生效;2020.04.21#公开

摘要：本发明涉及基于主动红外双目视觉的避障系统和避障方法，其中避障系统包括：视差图计算模块，用以计算双目图像的视差图；三维点云生成模块，所述视差图遍历所述双目图像，得到三维点云；三维点云障碍物检测模块；所述三维点云障碍物检测模块包括滤波模块和地面检测模块；所述地面检测模块对经过所述滤波模块滤波后的三维点云计算地面点云；将滤波后的三维点云减去地面点云得到障碍物点云。本发明在计算视差图时，只考虑像素梯度比较大的点，计算半稠密点云，大大减少了计算量，保证了实时性。

主权项：1.一种基于主动红外双目视觉的避障系统，其特征在于包括：双目校正模块；双目校正模块根据离线标定的双目内参和双目外参对双目图像进行去畸变和立体矫正操作，得到校正后的双目图像，传输至视差图计算模块；双目内参具体是指相机投影矩阵K1和K2以及畸变系数D1和D2；双目外参具体是指左右双目的旋转矩阵R和平移向量t；视差图计算模块，用以计算双目图像的视差图；以第一目图像中的视差待计算点为基准选定第一图像块；在第二目图像中，计算与第一图像块相似度最大的图像块作为第二图像块；计算第一图像块和第二图像块的视差值得到视差图；之后视差图计算模块将视差图传输至三维点云生成模块；以左目图像I作为第一目图像，以右目图像r作为第二目图像，并以左目相机的光学坐标系作为参考坐标系，也即相机前视时，X轴朝右、Y轴朝下、Z轴朝前，则具体有：遍历左目图像I中的每一个像素点，针对每一个像素点，计算其x方向的梯度lx和y方向的梯度ly；梯度lx和梯度ly的计算方法如下：Ix＝Ix+1,y-Ix,y1Iy＝Ix,y+1-Ix,y2计算梯度幅值Mx,y；梯度幅值Mx,y的计算方法为： 当梯度幅值Mx,y大于设定阈值T1时，此梯度幅值Mx,y所对应的像素点为视差待计算点pl；在左目图像I中，以视差待计算点pl为中心，取设定面积S1的第一图像块Bl；设定面积S1为16×16个像素点；在右目图像r中，以视差待计算点pl为基准点，以设定阈值T2为搜索范围，向左搜索；设定阈值T2为64像素；在搜索的过程中，以路过的每一个像素点为中心，都取设定面积S2的第二图像块Br；设定面积S2＝设定面积S1，均为16×16个像素点；根据SAD度量算法计算第一图像块Bl和第二图像块Br的相似度；其计算公式为：DBl,BrSAD＝∑|Blx,y-Brx,y|4根据WinnerTakesAllWTA原则，取相似度最大的像素点，作为右目图像r中的对应点pr，计算视差待计算点pl和对应点pr的视差值dp，视差值dp的计算方法是：dp＝pl-pr5视差待计算点pl没有涵盖图像所有像素点，所以其他像素点没有计算视差值，将这些没有计算视差值的像素点设置为零，得到视差图；三维点云生成模块，通过视差图遍历所述双目图像，得到三维点云；三维点云障碍物检测模块；所述三维点云障碍物检测模块包括滤波模块和地面检测模块；所述地面检测模块对经过所述滤波模块滤波后的三维点云计算地面点云；将滤波后的三维点云减去地面点云得到障碍物点云；根据相机的内参焦距f和外参基线B，计算视差图上每个像素点对应的深度，即Z坐标，其计算公式如下： 根据Z坐标和相机的内参焦距f，计算每个像素点对应的X坐标和Y坐标，其计算公式如下： 式7和式8中，u表示双目相机的像素坐标系中像素点横坐标，v表示像素坐标系中像素点纵坐标标，cx表示在相机坐标系也即光心坐标系中像素点的横坐标，cy表示在相机坐标系也即光心坐标系中像素点的纵坐标；根据每个像素点的三维坐标X,Y,Z，得到每帧图像对应的三维点云。

全文数据：

权利要求：

百度查询： 轻客小觅机器人科技(成都)有限公司 基于主动红外双目视觉的避障系统和避障方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD