申请/专利权人：浙江工业大学

申请日：2021-03-11

公开（公告）日：2024-02-23

公开（公告）号：CN113033352B

主分类号：G06V20/56

分类号：G06V20/56;G06V10/25;G06V10/26;G06V10/764;G06V10/82;G06N3/0442;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.02.23#授权;2021.07.13#实质审查的生效;2021.06.25#公开

摘要：本发明涉及一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法，本发明能够有效、实时地解决交通执法人员检测到在可变换场景下的交通违法行为的问题。本发明框架简单，性能强大，网络结构简单，性能良好；本发明检测的精度和速度有很大的优势，由于使用的网络结构特殊，所以在保证精度的同时不需要牺牲检测的速度，可以保证该方法的实时性；本发明具有移动性，比起固定的路桩式交通检测摄像头，本方法具有更好的灵活性和移动性，可以跟随车辆的移动，对不同的场景路面进行很好的检测，并且在保证精度的情况下保持速度。

主权项：1.一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法，其特征在于，包括车道线的检测与分类，车辆的车尾检测与分类，设计实现交通违章检测方法，关于车道线的检测与分类，首先使用基于对抗生成网络的数据增强方法对原数据集进行数据增强，增加弱光照场景下的数据，再使用残差因子分解网络改进目标语义分割网络分割出车道线的概率图，并采用霍夫线拟合；再使用传统算法对车道线点区域进行裁切，把裁切出来的图片使用基于残差结构的分类网络对车道线进行分类，分为白虚线、黄虚线、白实线、白虚线、无、马路路边六类；关于车辆的车尾检测与分类，首先采用目标检测网络，检测出车辆的整体位置区域，然后将该整体位置区域裁剪出来用目标检测回归网络回归检测车头和车尾部分，并对车头车尾成功分类；进而在交通违章识别方法里判断车辆行为是否违章；具体步骤如下：1车道线分割训练集增强：对公开数据集采用对抗生成网络进行数据增强，自动实现白天到夜晚的转换，生成弱光照场景下的图片；2设计一个用于车头车尾目标检测的训练数据集：根据图像中目标车辆车尾和车头的所在位置，在原始训练集中裁剪出真实目标区域图像，裁剪出的图像对构成了训练数据集用于车头车尾目标检测；3采用残差因子分解网络改进目标语义分割网络实现车道线语义分割，并通过霍夫线拟合提高车道线分割准确率，采用分类网络对每条检测出来的车道线进行分类；具体如下：3.1改进目标语义分割网络确定目标定位信息：利用基于残差因子分解网络的改进型目标语义分割网络实现车道线的语义分割，提取图像的类别信息，并将车道线类别图像记为研究区域；将研究区域与背景用二值数据区分，同条车道线使用相同数值标记；利用图像分割技术将原图转化为区分前景、背景的二值图像；其中规定在208高度的二值图像中找特定高度的18行：0,12,24,48,60,70,82,94,106,118,130,142,154,166,178,190,202,207，并找到每行的像素最大值，这些位置的坐标就是检测到的车道线的位置坐标；再根据这些位置坐标找到一条适合的霍夫线离这些坐标最近，最后利用霍夫线的首尾两个点的坐标直线拟合提取最合适的边缘线，其中三次样条插值为量化直线合适度的依据；最终由坐标点确定研究区域的位置信息，即组成一条车道线；3.2利用残差结构的分类网络确定目标分类信息：将检测出来的车道线在原图上表示出来，通过最小外接矩阵分别把4条车道线以矩形的形式旋转后裁剪出来，再通过基于残差结构的分类网络对裁出来的车道线图像进行分类，分为白实线、白虚线、黄实线、白虚线、无、马路边这六类；在改进目标语义分割网络结构中，从RGB图像到像素类别概率；RGB图像即编码器的输入，像素类别概率即解码器的输出；算法从1到20的层构成了编码器，由残差块和降采样块组成，比改进前的目标分割网络的16层增加了4层Non-bt-1D层，通过加深特征提取网络深度来增加目标特征信息；Non-bt-1D网络是一种交织着空洞卷积的残差网络，Non-bt-1D网络按照由上往下顺序看是由1个3*1卷积、1个1*3卷积、1个3*1卷积和1个1*3卷积的设计组成；为了保持良好的平衡，执行了三个下采样：在第1、2和8层；解码器部分由21到27层组成，解码器通过微调细节来对编码器的输出进行上采样；该网络结构不使用max-unpooling操作进行上采样；本目标分割网络体系结构包括具有步幅2的简单反卷积层；4车头车尾语义目标约束下的交通违章行为判断：首先检测出整体车辆区域，然后针对车辆区域采用一个改进的目标检测网络得到车头车尾的位置区域坐标，最终根据车道线分割结果和车头车尾位置坐标判断是否发生交通违章行为；其中，使用目标检测网络来检测车辆作为单目标的boundingbox，等待检测出整体车辆的目标位置后，再用目标检测回归网络来回归检测车头和车尾这两类的网络；具体如下：4.1目标检测确定大目标的定位信息：利用基于目标检测网络结构进行大目标的定位，将图像中的车辆目标全部检测出来；目标检测网络进行了三个尺度的检测，分别是在32倍降采样，16倍降采样，8倍降采样时进行检测；在基本的图像特征提取方面，该目标检测网络采用了含有53个卷积层的网络结构；4.2目标检测确定精确目标的定位信息：其中训练车头车尾检测回归网络包括如下：i初始化训练参数设置：将数据集的图像统一设置大小为32的倍数的224*224，该类图像作为精确目标的回归神经网络的输入；对回归神经网络设置初始学习率η，初始迭代次数，批处理数据量batch_size；网络参数迭代时使用随机梯度下降法，另外设置动量参数momentum与权重衰减率参数γ；ii确定回归网络结构：回归网络的网络层包含24层，只有一个7层的conv+max网络来提取特征，嫁接网络采用的是13*13、26*26的分辨率探测网络；每层对应有3个anchors，总共有6个anchors值；还有一个1x1的卷积层，该层的输入和输出部分保持width,height以及channels不变；其卷积公式为:output＝input+padding-kernel_sizestride+1，padding＝0；iii模型训练：基于模型训练所需的参数，训练时借鉴BP神经网络误差反向传播的思想，利用随机梯度下降法更新各层参数，直到迭代次数达到上限，或网络参数的更新速率小于预设阈值时结束网络训练；4.3目标检测确定精确目标的定位信息：利用回归网络进行精确目标的定位，将步骤4.1中提取到的图像中大目标输入到训练好的车头车尾检测模型中，会对大目标中进行精确的车头车尾定位；4.4根据车道线分割结果和车头车尾位置坐标判断是否发生交通违章行为；其中，所述的交通违章行为类别包括压线、逆行、高速公路上违停；压线、逆行、高速公路上违停的判断方法分别如下：I针对高速公路路段违停行为判断：默认高速公路为3车道，并且找到距离车尾的boundingbox的下底边的中心最近的两条车道线，如果这两条车道线都在这个中心坐标的左边，说明该车辆行驶或违停在高速公路应急车道上，判断为违停违章行为；后期需靠执法人员确认，该车辆是否为故障而停靠，或其他原因停靠，可做调节；II压线行为判断：如果检测到的车尾的boundingbox的下底边的这段线段中与车道线有交点，可以认为疑似压线，需要进一步判断；首先设置一个阈值，阈值设置公式为：thresh＝820-|centerx-820|1640如果线越靠图像两端，阈值就越小，它到框下边中点要更近，才能算压线，如果线越靠近图像中间，阈值就越大，它到框下边中心算压线的范围就越宽；III逆行行为判断：如果检测到车头的boundingbox的下底边的中心坐标位于距离该中心坐标距离最近的黄实线的右边，或者检测到车尾的boundingbox的下底边的中心坐标位于距离该中心坐标距离最近的黄实线的左边，都判断为逆行。

全文数据：

权利要求：

百度查询： 浙江工业大学 一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD