申请/专利权人：维森视觉丹阳有限公司

申请日：2020-05-25

公开（公告）日：2024-04-09

公开（公告）号：CN111797684B

主分类号：G06T7/73

分类号：G06T7/73;G06V20/56;G06V10/774;G06N3/0464;G06T7/593;G06T7/80;G06T7/246;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2020.11.06#实质审查的生效;2020.10.20#公开

摘要：本发明提供了一种运动车辆双目视觉测距方法，包括如下步骤：S1：构建TinyYOLOv2目标检测网络模型；S2：获取左右目摄像头的相关参数，获取左右目图像对应像素的映射关系；S3：通过TinyYOLOv2目标检测网络获取左右目检测结果；S4：YOLO结合KCF的准确跟踪；S5：计算特征点在三维坐标的坐标，计算目标质心到检测系统的距离；S6：对目标距离进行卡尔曼滤波处理。本发明针对自动驾驶车载在道路上与其他车辆的之间的相对距离检测问题，通过结合KCF跟踪与双目极线约束方法，实现实时检测其他车辆的相对距离、速度、加速度，自动感知驾驶环境的安全性。

主权项：1.一种运动车辆双目视觉测距方法，其特征在于，包括如下步骤：S1：构建TinyYOLOv2目标检测网络模型，并通过视频样本集进行训练；具体包括如下步骤：S01：选择训练视频样本集选取包括汽车类、行人类、自行车类、公交车类和摩托车类五种物体在内的视频集合，并拆分视频为离散帧序列，选取合适帧构成样本集，标注视频样本集，作为训练集，以备TinyYOLOv2目标检测网络训练用；S02：构建anchorboxes对步骤S01获得的汽车类、行人类、自行车类、公交车类和摩托车类的视频样本集采用聚类算法集合聚类，得到汽车类、行人类、自行车类、公交车类和摩托车类5组用于预测目标边界框的anchorboxes，统计每一类目标并计算其anchorboxes，得到上述5组anchorboxesw，h；S03：采用步骤S01得到的训练集及S02得到的样本聚类参数，训练并测试TinyYOLOv2目标检测网络模型；S2：标定相机，将两个摄像头安装于测量车辆的左右的两个反射镜前端，获取左右目摄像头的相关参数，获取左右目图像对应像素的映射关系；获取左右目图像对应像素的映射关系的方法具体为：根据相机相关参数获取左目图像到右目图像的透视变换矩阵M，获取相机焦距设为f，左右目相机的中心距离为T，对于物理世界中的任意一点p，在左右目图像的对应点分别为pl,pr，对应横坐标为xl,xr，通过式1求得p到左右相机中心连线中点的距离d，d为三维空间的任意一点p到两个相机中心连线中点之间的距离； S3：通过TinyYOLOv2目标检测网络获取左右目摄像头检测结果；S4：将TinyYOLOv2目标检测网络的左右目摄像头检测结果的矩形框，作为KCF的初始化目标追踪框，并进行追踪，每当神经网络检测完时，将KCF追踪框重新设置为TinyYOLOv2目标检测网络检测结果，将KCF跟踪结果作为目标检测结果；S5：对KCF的左右目摄像头检测配对框中的目标一一进行ORB特征提取，获取目标框中特征点在各自图像中的坐标，计算特征点在三维坐标的坐标，计算目标质心到检测系统的目标距离；计算特征点在三维坐标的坐标具体方法为：对矩形框BLiBLi,i＝1,2,…n采用ORB特征提取，将BLi矩形框内物体提取的多个特征点的描述子，同时对其对应的右目矩形框进行特征提取获取多个特征描述子，然后运用KNN算法将左边特征描述子与右边特征描述子进行匹配，可以获取多个特征匹配子在左右像素中的坐标将其记为aik,bik,pik,qik，k＝1,2,3,...50,其中aik,bik表示左目第i个矩形中第k个特征点的横坐标与纵坐标，pik,qik表示右目第i个矩形中第k个特征点的横坐标与纵坐标，运用上述所得到的左右框中的特征点可以根据步骤S2中所获取的矩阵可以将该坐标反演获取该特征点所对应的三维坐标记为xik,yik,zik,i＝1,2,...,n,k＝1,2,3,...50；计算目标质心到检测系统的目标距离的方法为：运用获取各个矩形框中的三维坐标，分别对每个矩形框内的坐标运用式2进行计算，可以得到每个矩形框内物体与摄像头连线中心的距离di； S6：对目标距离进行卡尔曼滤波处理。

全文数据：

权利要求：

百度查询： 维森视觉丹阳有限公司 一种运动车辆双目视觉测距方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD