申请/专利权人：武汉理工大学

申请日：2021-08-05

公开（公告）日：2024-02-02

公开（公告）号：CN113743226B

主分类号：G06V20/58

分类号：G06V20/58;G06V10/25;G06V10/44;G06V10/77;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.02.02#授权;2021.12.21#实质审查的生效;2021.12.03#公开

摘要：本发明公开了一种日间前车灯语识别及预警方法及系统，是基于深度学习与图像处理结合的车灯检测方法，包括R‑G×H×V的车灯提取方法，利用颜色特征对车灯灯语识别的方法，车灯质心融合粒子滤波跟踪方法，基于车灯灯语的分级预警方法。本发明解决了日间行车车灯检测困难，灯语识别不准确，实时性差的问题，并能够根据反馈的灯语信息进行预警。

主权项：1.一种日间前车灯语识别及预警方法，其特征在于，包括以下步骤：步骤1：利用车载摄像头采集的图像，基于神经网络对日间前方车辆进行车辆检测，提取车辆检测框，根据车辆检测框判断车辆相对位置；将采集图像输入优化神经网络进行检测，提取车辆检测框；并将车辆检测框预处理为统一大小，其中，长宽为Imgh,Imgw，RGB三通道标准，记为Img1；车辆检测框在采集图像上最右侧、最左侧、最上侧、最下侧的四点坐标分别记为根据车辆检测框与采集图像大小关系判断车辆相对于车载摄像头方位；其中，将车辆检测框全部规整为长宽均为256像素，RGB三通道标准，记为Img1；则车辆相对于车载摄像头方位为：当则车辆位于正前方；当则车辆位于右前方；当则车辆位于左前方；所述优化神经网络，基于MobileNet-Yolo网络，利用深度可分离卷积替换MobileNet-Yolo的加强特征提取网络PANet中的3*3卷积；步骤2：基于RGB和HSV颜色空间，利用R-G×H×V对似车灯区域图像Img2进行提取；其中，分解出Img1中R、G、B三通道，将分解出的R、G、B通道进行分割，将图像规整为预设大小，分别为RC，GC，BC；将Img1转换为HSV1，分解出HSV1中H、S、V三通道，将分解出的H、S、V通道进行分割，将图像规整为预设大小，分别为HC，SC，VC；分割出H、V颜色通道，对H通道分割筛选，选取下界为Lb1，上界为Ub1对图像HSV1进行二值化处理： 其中，x,y表示图像中的像素点坐标，如果这个点的H通道数值不在这个区间内，则令它的像素数值为0；将分割后的图像与H，V通道与R-G进行混合，实现似车灯区域图像Img2的提取；Img2＝R-G×H×V；步骤3：对似车灯区域图像中空区域进行调整，筛选掉面积小于阈值的区域，并对车灯进行配对，获得车灯检测框Img3；对Img3进行裁剪，记裁剪后的图像为Img3C；记Img3C四点坐标分别Cr,Cl,Ct,Cb；步骤4：对于Img3C，进行颜色通道转换，识别车灯灯语，包括刹车灯语和转向灯语；步骤4的具体实现包括以下子步骤：步骤4.1：获取Img3C的最小外接矩形及其对应的坐标lr＝lmin,lmax,rmin,rmax，其中，lmin,lmax,rmin,rmax分别表示纵向坐标最小值、最大值，横向坐标最小值、最大值；对最小外接矩形进行规整： 对规整后的最小矩形，获取其坐标信息lt＝lx,ly,h,w；步骤4.2：针对刹车灯语，选取下界Lb2、上界Ub2对HSV1进行二值化处理，获得HSV3； 将HSV3裁剪为预设大小，并利用lr坐标筛选出车灯检测框区域；首先在VC中筛选出车灯检测区域，计算出区域亮度均值，最后筛选出高于亮度均值阈值的区域，并进行二值化： Vs1＝Vmean+threshold_Vmean； 其中，Vmean表示区域亮度均值，threshold_Vmean表示亮度阈值，Vsx,y表示坐标点为x,y的亮度，Vs1表示均值Vmean加上threshold_Vmean后的亮度阈值；将处理后的HSV3与Vs进行相乘，并将相乘后的图像规整为[60,60]大小，计算像素相乘后图像的面积，判断是否大于阈值，如果大于阈值则判定为刹车；其中，阈值计算如下： 其中，areas表示像素相乘后检测出来的刹车灯语有效面积，area_slow表示转向灯语判定的面积阈值；针对转向灯语，选取下界Lb3，上界Ub3对HSV1图像进行二值化处理，获得HSV4； 对G通道进行筛选，选取阈值，对图像进行二值化处理： 其中，Gx,y表示G通道中x,y处的G通道像素值；将处理后的HSV4、G、Vs进行像素相乘，并将相乘后的图像规整为[60,60]大小，计算相乘后图像的面积，判断是否大于阈值，如果大于阈值则判定为转向；其中，阈值计算如下： 其中，areat表示像素相乘后检测出来的刹车灯语有效面积，area_turn表示转向灯语判定的面积阈值；步骤5：灯语配对判断，根据灯语识别结果进行配对，如果双侧点亮判定为刹车灯语，单侧点亮判定为转向灯语；步骤6：将识别结果映射回采集图像中；步骤7：针对识别转向灯语，利用质心融合粒子滤波进行跟踪；步骤8：根据反馈的灯语信息进行分级预警。

全文数据：

权利要求：

百度查询： 武汉理工大学 一种日间前车灯语识别及预警方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD