申请/专利权人：哈尔滨工业大学(威海)

申请日：2020-06-28

公开（公告）日：2024-03-22

公开（公告）号：CN113850102B

主分类号：G06V20/56

分类号：G06V20/56;G06V10/80;G06V10/82;G01S13/931

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2022.01.14#实质审查的生效;2021.12.28#公开

摘要：本发明涉及多传感器融合技术领域，具体的说是一种基于毫米波雷达辅助的车载视觉检测方法及系统，其特征在于，分别通过毫米波雷达模块和双目视觉模块获取目标雷达数据以及目标图像数据，对目标雷达数据和目标图像数据分别预处理后，搭建雷达与视觉信息融合模型，利用雷达与视觉信息融合模型对目标一致性进行判断，本发明与现有技术相比，能够有效减少事故发生的可能性，提高汽车的安全驾驶性能。

主权项：1.一种基于毫米波雷达辅助的车载视觉检测方法，其特征在于，分别通过毫米波雷达模块和双目视觉模块获取目标雷达数据以及目标图像数据，对目标雷达数据和目标图像数据分别预处理后，搭建雷达与视觉信息融合模型，利用雷达与视觉信息融合模型对目标一致性进行判断，其中，所述搭建雷达与视觉信息融合模型包括以下步骤：步骤1：搭建雷达与视觉信息融合模型；具体包括：步骤1-1：将相机和雷达的单独标定将相机光轴与雷达平面的法向量分别跟车辆中心轴所在平面平行，基于此假设毫米波雷达检测到目标点在地面的投影坐标系为Orw-xrwyrwzrw，xrw轴与车身横向方向平行，yrw轴与车辆行驶方向平行，zrw轴为竖直向上的方向；相机投影坐标系为Ocw-xcwycwzcw，xcw轴、ycw轴分别与车身横向方向和车辆行驶方向平行，zcw轴为竖直向上的方向，Oc-xcyczc表示相机坐标系，zc轴表示相机的光轴，xc轴和yc轴分别平行于xp和yp轴，Op-xpyp表示图像坐标系，根据摄像机成像原理，图像坐标系和相机坐标系的关系如下： 式中，fx、fy——相机的焦距，通过标定获得；cx、cy——光轴偏移量；xp,yp——图像坐标系中一点坐标；xc,yc,zc——相机坐标系中一点坐标；步骤1-2：相机坐标系和相机投影坐标系通过旋转和平移转换，二者之间的关系可通过坐标转换如式1-7所示： 式中，xcw,ycw,zcw——相机投影坐标系中一点坐标；H——摄像头的安装高度m；θ——摄像头的俯仰角；步骤1-3：相机投影坐标系可以通过平移转换得到雷达投影坐标系，转换关系如式1-8所示： 式中，Lx、Ly——相机投影坐标系和雷达投影坐标系间x轴于y轴的平移关系；步骤1-4：目标位于水平地面，且目标位于相机投影坐标系中且zw＝0，根据式1-6、1-7和1-8可以将雷达投影坐标系中一点变换到图像坐标系中，转换关系如下： 步骤2：完成雷达与视觉信息融合模型中雷达数据、视觉数据的空间同步与时间同步；具体包括以下步骤：步骤2-1：雷达数据、视觉数据的时间同步：步骤2-1-1：创建雷达线程，雷达数据接收线程按25Hz时间触发运行，每次运行采集当前时刻雷达数据；步骤2-1-2：创建摄像机线程，通常为阻塞状态，每次运行采集当前时刻雷达数据，然后触发摄像机线程，触发摄像机线程后阻塞等待下一次时间触发；步骤2-2：雷达数据、视觉数据的空间同步：步骤2-2-1：将雷达检测目标映射到图像平面；步骤2-2-2：结合目标宽高度先验信息，根据摄像机成像原理，将毫米波雷达探测到目标的映射目标区域，具体是如式1-10所示： 式中，W、H——车辆真实的宽度和高m；w、h——代表映射目标区域的宽度与高度PixelR——目标距离m；f——摄像机的焦距m；x1,y1——映射目标区域的中心点；x2,y2——映射目标区域左上角坐标；所述利用雷达与视觉信息融合模型对目标一致性进行判断，是指通过目标区域关联算法，以实现视觉与毫米波雷达检测的目标区域的一致性判断，具体方法如下： 式中，xc1,yc1——视觉传感器识别目标区域的左上角坐标；xr1,yr1——毫米波雷达探测目标映射区域的左上角坐标；k1、k2、k3——分别为式2-13的阈值；Sc——视觉检测窗口的面积cm2；R——重合区域面积cm2。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学(威海) 基于毫米波雷达辅助的车载视觉检测方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD