申请/专利权人：浙江零跑科技有限公司

申请日：2018-12-29

公开（公告）日：2021-04-27

公开（公告）号：CN109858372B

主分类号：G06K9/00(20060101)

分类号：G06K9/00(20060101);G06K9/32(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.04.27#授权;2019.07.02#实质审查的生效;2019.06.07#公开

摘要：本发明为一种车道级精度自动驾驶结构化数据分析方法，包括建立多任务深度卷积神经网络模型、离线训练、前端平台移植和道路驾驶场景分析及输出后处理。本发明的优点是：利用深度卷积神经网络强化了道路标识线的特征提取能力，应用场景更广、鲁棒性更强；增加了可行驶区域分支，使相关应用可拓展至非结构化道路；增加了车道边界分支，提升拥堵场景或车道标识线被遮挡情况下的准确性；增加车道结构化数据，包括车道边界类型，车道朝向等属性，使能高等级自动驾驶感知应用；增加路面标识信息，包括路面标识类型与位置等，使能高等级自动驾驶定位应用；使用共享卷积特征，可与其他视觉感知模块共享运算资源，集成效率高。

主权项：1.一种车道级精度自动驾驶结构化数据分析方法，其特征是：包括以下步骤：S1：建立基于共享浅层卷积特征的多任务深度卷积神经网络模型；S2：对多任务深度卷积神经网络模型进行离线训练；S3：对训练后的多任务深度卷积神经网络模型前端平台移植；S4：使用移植后的模型进行道路驾驶场景分析并对进行输出后处理；所述步骤S3中多任务深度卷积神经网络模型前端平台移植，包括以下步骤：S21：判断离线训练后的多任务深度卷积神经网络模型的数据类型是否为前端平台所支持的最优数据类型，若是，进入下一步，若不是，则将模型进行量化，利用预设的测试集对转化后的模型进行相对精度损失估算，若相对精度损失小于1%则进入下一步，反之，则需对模型进行重训练后再进入下一步；S22:判断前端平台硬件是否支撑稀疏运算，若不支持，则进入下一步，若支撑，则将模型进行模型稀疏化，利用预设的测试集对转化后的模型进行精度损失估算，若相对精度损失小于1%则进入下一步，反之，则需对模型进行重训练后再进入下一步；S23：在前端平台进行模型部署。

全文数据：一种车道级精度自动驾驶结构化数据分析方法技术领域本发明涉及自动驾驶领域，尤其涉及一种车道级精度自动驾驶结构化数据分析方法。背景技术智能化是如今汽车行业发展的重要趋势之一，视觉系统在车辆主动安全领域应用越来越广。单双目前视、后视以及360度环视系统已经成为了现有高级辅助驾驶系统的主流感知器件。现有商用车道辅助系统大部分基于视觉车道标识线感知，此类系统大多应用场景单一，仅适用于道路标识线清晰的结构化道路。其方法可总结为车道标识线特征提取、车道标识线特征聚类以及车道标识线拟合。应用时，此类系统存在如下弊端：i.车道标识线提取准确性不高，易受光照、道路磨损等因素影响；ii.对于道路拥堵情况车辆遮挡道路标识线，车道检出率较低；iii.车道拟合精度较差，可用于近距离偏航辅助，不适用于自动驾驶路径规划；iv.输出数据结构过于简单，对于车道以及边界属性未有明确定义；v.与其它视觉算法如目标检测模块等相关性低，融合后整体算法效率不高。发明内容本发明主要解决了上述问题，提供了一种准确性高、应用范围广、鲁棒性好，具有车道属性输出的车道级精度自动驾驶结构化数据分析方法。本发明解决其技术问题所采用的技术方案是,一种车道级精度自动驾驶结构化数据分析方法，包括以下步骤：S1：建立基于共享浅层卷积特征的多任务深度卷积神经网络模型；S2：对多任务深度卷积神经网络模型进行离线训练；S3：对训练后的多任务深度卷积神经网络模型前端平台移植；S4：使用移植后的模型进行道路驾驶场景分析并对进行输出后处理。使用共享浅层卷积特征，采用本发明方法的模块能够与其他视觉感知模块共享运算资源，使车辆视觉感知系统具有较高的集成效率；通过对建立的多任务深度卷积神经网络模型进行大量的离线训练，确定模型中共享卷积层特征权重系数及各分支网络权重系数，提高模型运算的准确度，对模型的输出进输出后处理，将输出转化为特有的车道结构化数据，包括道路信息、车道信息和路面标识信息，便于后续自动驾驶程序运行。作为上述方案的一种优选方案，所述多任务深度卷积神经网络模型包括输入层、共享特征编码层和车道结构化数据输出解码层，所述共享特征编码层由级联conv+relu+BN组合组成，所述车道结构化数据输出解码层包括可行驶区域分支、车道边界分支及路面标识分支。共享特征编码层输入为任意分辨率的图像，通过卷积步长进行降采样，能够输出三个不同尺度的特征层，分别对应大、中、小尺度特征场景分隔，车道结构化数据输出解码层的网络结构由反卷积及softmax层构成，解码层的输入为级联共享卷积层特征，输出为网络输入尺寸相对应的结构化数据二进制mask。作为上述方案的一种优选方案，所述步骤S2中的离线训练包括以下步骤：S11：离线采集各类道路驾驶场景数据，提取多个离散时序训练样本；S12：对样本进行人工标注，生成样本标签；S13：利用标注过的样本对多任务深度卷积神经网络模型进行训练，根据训练结果建立损失函数L＝α*L_bond+β*L_lane+γ*L_mark采用随机梯度下降的方式训练共享卷积特征层权重系数并固化，α，β，γ为可配置参数，默认值均为0.33，L_bond，L_lane以及L_mark分别为可行驶区域，车道边界，路面标识分割损失函数，均为softmaxLoss；S14：利用可行驶区域损失函数L1＝L_bond，车道边界损失函数L2＝L_lane，路面标识损失函数L3＝L_mark，采用随机梯度下降方式训练分支网络权重系数并固化。样本标签包括可行驶区域mask、车道边界mask和路面标识mask三部分，当样本数据较少时可以利用图像几何空间变换进行样本扩充。作为上述方案的一种优选方案，所述步骤S3中多任务深度卷积神经网络模型前端平台移植，包括以下步骤：S21：判断离线训练后的多任务深度卷积神经网络模型的数据类型是否为前端平台所支持的最优数据类型，若是，进入下一步，若不是，则将模型进行量化，利用预设的测试集对转化后的模型进行相对精度损失估算，若相对精度损失小于1％则进入下一步，反之，则需对模型进行重训练后再进入下一步；S22:判断前端平台硬件是否支撑稀疏运算，若不支持，则进入下一步，若支撑，则将模型进行模型稀疏化，利用预设的测试集对转化后的模型进行精度损失估算，若相对精度损失小于1％则进入下一步，反之，则需对模型进行重训练后再进入下一步；S23：在前端平台进行模型部署。作为上述方案的一种优选方案，所述步骤S4中道路驾驶场景分析，包括以下步骤：S31：图像采集与预处理；S32：将预处理后的图像输入到移植后的模型中；S33：对移植后的模型输出进行输出后处理转化为车道结构化数据。图像预处理包括自动曝光、自动白平衡、畸变矫正、抖动去除、平滑滤波和ROI缩放与截取等。作为上述方案的一种优选方案，所述车道结构化数据包括最上级的道路信息、次级的车道信息和最低级的道路标识信息，所述道路信息包括道路id、道路边界、道路朝向、道路宽度、道路关联属性和附属车道数量，所述车道信息包括车道id、车道边界和车道关联属性，所述路面标识信息包括路面标识id、路面标识类别和路面标识位置。作为上述方案的一种优选方案，所述输出后处理包括可行驶区域分支输出后处理、车道分支输出后处理及路面标识分支输出后处理，所述可行驶区域分支输出后处理包括以下步骤：S41：对可行驶区域分支输出进行图像处理；S42：对处理后的可行驶区域的左右边界进行高阶曲线拟合；S43：输出道路边界信息。图像处理包括膨胀腐蚀及基于道路障碍物检测结果的mask填充，在进行高阶曲线拟合时默认为二次曲线。作为上述方案的一种优选方案，所述车道分支输出后处理包括以下步骤：S51：对车道边界分支输出的边界mask进行聚类形成若干车道线候选区域；S52：利用卷积神经网络对各车道线候选区域进行分类与拟合；S53：输出车道边界类别及图像坐标系下车道二级解析表达式。作为上述方案的一种优选方案，所述路面标识分支输出后处理包括以下步骤：S61：对路面标识分支输出的边界mask进行聚类形成若干路面标识候选区域；S62：利用卷积神经网络对各路面标识候选区域进行分类；S63：输出路面标识类别及图像坐标系下中心位置。作为上述方案的一种优选方案，所述卷积神经网络包括神经网络输入层、神经网络共享特征编码层和神经网络输出解码层，所述神经网络共享特征编码层由级联conv+relu+BN组合组成，所述神经网络输出解码层为车道边界类别及路面标识类别输出。本发明的优点是：利用深度卷积神经网络强化了道路标识线的特征提取能力，应用场景更广、鲁棒性更强；增加了可行驶区域分支，使相关应用可拓展至非结构化道路；增加了车道边界分支，提升拥堵场景或车道标识线被遮挡情况下的准确性；增加车道结构化数据，包括车道边界类型，车道朝向等属性，使能高等级自动驾驶感知应用；增加路面标识信息，包括路面标识类型与位置等，使能高等级自动驾驶定位应用；使用共享卷积特征，可与其他视觉感知模块共享运算资源，集成效率高。附图说明图1为本发明的一种流程示意图。图2为本发明中多任务深度卷积神经网络模型的一种结构示意图。图3为本发明中离线训练的一种流程示意图。图4为本发明中多任务深度卷积神经网络模型前端平台移植的一种流程示意图。图5为本发明中道路驾驶场景分析的一种流程示意图。图6为本发明中可行驶区域分支输出后处理的一种流程示意图。图7为本发明中车道分支输出后处理的一种流程示意图。图8为本发明中路面标识分支输出后处理的一种流程示意图。图9为本发明中卷积神经网络的一种结构示意图。1-输入层2-共享特征编码层3-可行驶区域分支4-车道边界分支5-路面标识分支6-神经网络输入层7-神经网络共享特征编码层8-神经网络输出解码层。具体实施方式下面通过实施例，并结合附图，对本发明的技术方案作进一步的说明。实施例：本实施例一种车道级精度自动驾驶结构化数据分析方法，如图1所示，包括以下步骤：S1：建立基于共享浅层卷积特征的多任务深度卷积神经网络模型；S2：对多任务深度卷积神经网络模型进行离线训练；S3：对训练后的多任务深度卷积神经网络模型前端平台移植；S4：使用移植后的模型进行道路驾驶场景分析并对进行输出后处理。所述多任务深度卷积神经网络模型，如图2所示，包括输入层1、共享特征编码层2和车道结构化数据输出解码层，所述共享特征编码层由级联conv+relu+BN组合组成，所述车道结构化数据输出解码层包括可行驶区域分支3、车道边界分支4及路面标识分支5。共享特征编码层输入为任意分辨率的图像，通过卷积步长进行降采样，能够输出三个不同尺度的特征层，分别对应大、中、小尺度特征场景分隔，车道结构化数据输出解码层的网络结构由反卷积及softmax层构成，解码层的输入为级联共享卷积层特征，输出为网络输入尺寸相对应的结构化数据二进制mask，本实施例中共享特征编码层输入的图像默认为640*320如图3所示，所述步骤S2中的离线训练包括以下步骤：S11：离线采集各类道路驾驶场景数据，提取多个离散时序训练样本；S12：对样本进行人工标注，生成样本标签；S13：利用标注过的样本对多任务深度卷积神经网络模型进行训练，根据训练结果建立损失函数L＝α*L_bond+β*L_lane+γ*L_mark采用随机梯度下降的方式训练共享卷积特征层权重系数并固化，α，β，γ为可配置参数，默认值均为0.33，L_bond，L_lane以及L_mark分别为可行驶区域，车道边界，路面标识分割损失函数，均为softmaxLoss；S14：利用可行驶区域损失函数L1＝L_bond，车道边界损失函数L2＝L_lane，路面标识损失函数L3＝L_mark，采用随机梯度下降方式训练分支网络权重系数并固化。本实施中，提取的样本数量为100000张，采用图像的几何空间变换进行样本扩充，所有样本均通过人工标注标签，标签内容包括可行驶区域mask，车道边界mask以及路面标识mask，离线训练时的训练参数包括学习速率、迷你批量样本数、权重衰退系数和动量系数。如图4所示，所述步骤S3中多任务深度卷积神经网络模型前端平台移植，包括以下步骤：S21：判断离线训练后的多任务深度卷积神经网络模型的数据类型是否为前端平台所支持的最优数据类型，若是，进入下一步，若不是，则将模型进行量化，利用预设的测试集对转化后的模型进行相对精度损失估算，若相对精度损失小于1％则进入下一步，反之，则需对模型进行重训练后再进入下一步；S22:判断前端平台硬件是否支撑稀疏运算，若不支持，则进入下一步，若支撑，则将模型进行模型稀疏化，利用预设的测试集对转化后的模型进行精度损失估算，若相对精度损失小于1％则进入下一步，反之，则需对模型进行重训练后再进入下一步；S23：在前端平台进行模型部署。本实施中，多任务深度卷积神经网络模型的数据类型为int8且其硬件支撑稀疏运算，前端平台所支持的最优数据类型为fp32，多任务深度卷积神经网络模型经量化将数据类型转化为fp32，之后进行模型精度验证，在验证通过后再进行模型稀疏化，然后再次进行模型精度验证，验证通过后开始在前端平台上进行部署。如图5所示，所述步骤S4中道路驾驶场景分析，包括以下步骤：S31：图像采集与预处理；S32：将预处理后的图像输入到移植后的模型中；S33：对移植后的模型输出进行输出后处理转化为车道结构化数据。图像采集通过车载视觉系统完成，图像预处理包括自动曝光、自动白平衡、畸变矫正、抖动去除、平滑滤波和ROI缩放与截取。所述车道结构化数据包括最上级的道路信息、次级的车道信息和最低级的道路标识信息，所述道路信息包括道路id、道路边界、道路朝向、道路宽度、道路关联属性和附属车道数量，所述车道信息包括车道id、车道边界和车道关联属性，所述路面标识信息包括路面标识id、路面标识类别和路面标识位置。本实施例中采用动态三车道模型，以当前车道为中心，向左右各延伸至一个相邻车道。所述输出后处理包括可行驶区域分支输出后处理、车道分支输出后处理及路面标识分支输出后处理，所述可行驶区域分支输出后处理，如图6所示，包括以下步骤：S41：对可行驶区域分支输出进行图像处理；S42：对处理后的可行驶区域的左右边界进行高阶曲线拟合；S43：输出道路边界信息。本实施中对可行驶区域分支输出进行的图像处理包括膨胀腐蚀及基于道路障碍物检测结果的mask填充，在进行高阶曲线拟合时默认为二次曲线。如图7所示，所述车道分支输出后处理包括以下步骤：S51：对车道边界分支输出的边界mask进行聚类形成若干车道线候选区域；S52：利用卷积神经网络对各车道线候选区域进行分类与拟合；S53：输出车道边界类别及图像坐标系下车道二级解析表达式。如图8所示，所述路面标识分支输出后处理包括以下步骤：S61：对路面标识分支输出的边界mask进行聚类形成若干路面标识候选区域；S62：利用卷积神经网络对各路面标识候选区域进行分类；S63：输出路面标识类别及图像坐标系下中心位置。如图9所示，所述卷积神经网络包括神经网络输入层6、神经网络共享特征编码层7和神经网络输出解码层8，所述神经网络共享特征编码层由级联conv+relu+BN组合组成，所述神经网络输出解码层为车道边界类别及路面标识类别输出。在可行驶区域分支输出后处理、车道分支输出后处理及路面标识分支输出后处理完成后，以CAN报文形式，与其他算法模块进行交互。本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

权利要求：1.一种车道级精度自动驾驶结构化数据分析方法，其特征是：包括以下步骤：S1：建立基于共享浅层卷积特征的多任务深度卷积神经网络模型；S2：对多任务深度卷积神经网络模型进行离线训练；S3：对训练后的多任务深度卷积神经网络模型前端平台移植；S4：使用移植后的模型进行道路驾驶场景分析并对进行输出后处理。2.根据权利要求1所述的一种车道级精度自动驾驶结构化数据分析方法，其特征是：所述多任务深度卷积神经网络模型包括输入层1、共享特征编码层2和车道结构化数据输出解码层，所述共享特征编码层由级联conv+relu+BN组合组成，所述车道结构化数据输出解码层包括可行驶区域分支3、车道边界分支4及路面标识分支5。3.根据权利要求2所述的一种车道级精度自动驾驶结构化数据分析方法，其特征是：所述步骤S2中的离线训练包括以下步骤：S11：离线采集各类道路驾驶场景数据，提取多个离散时序训练样本；S12：对样本进行人工标注，生成样本标签；S13：利用标注过的样本对多任务深度卷积神经网络模型进行训练，根据训练结果建立损失函数L＝α*L_bond+β*L_lane+γ*L_mark采用随机梯度下降的方式训练共享卷积特征层权重系数并固化，α，β，γ为可配置参数，默认值均为0.33，L_bond，L_lane以及L_mark分别为可行驶区域，车道边界，路面标识分割损失函数，均为softmaxLoss；S14：利用可行驶区域损失函数L1＝L_bond，车道边界损失函数L2＝L_lane，路面标识损失函数L3＝L_mark，采用随机梯度下降方式训练分支网络权重系数并固化。4.根据权利要求1所述的一种车道级精度自动驾驶结构化数据分析方法，其特征是：所述步骤S3中多任务深度卷积神经网络模型前端平台移植，包括以下步骤：S21：判断离线训练后的多任务深度卷积神经网络模型的数据类型是否为前端平台所支持的最优数据类型，若是，进入下一步，若不是，则将模型进行量化，利用预设的测试集对转化后的模型进行相对精度损失估算，若相对精度损失小于1％则进入下一步，反之，则需对模型进行重训练后再进入下一步；S22:判断前端平台硬件是否支撑稀疏运算，若不支持，则进入下一步，若支撑，则将模型进行模型稀疏化，利用预设的测试集对转化后的模型进行精度损失估算，若相对精度损失小于1％则进入下一步，反之，则需对模型进行重训练后再进入下一步；S23：在前端平台进行模型部署。5.根据权利要求2所述的一种车道级精度自动驾驶结构化数据分析方法，其特征是：所述步骤S4中道路驾驶场景分析，包括以下步骤：S31：图像采集与预处理；S32：将预处理后的图像输入到移植后的模型中；S33：对移植后的模型输出进行输出后处理转化为车道结构化数据。6.根据权利要求5所述的一种车道级精度自动驾驶结构化数据分析方法，其特征是：所述车道结构化数据包括最上级的道路信息、次级的车道信息和最低级的道路标识信息，所述道路信息包括道路id、道路边界、道路朝向、道路宽度、道路关联属性和附属车道数量，所述车道信息包括车道id、车道边界和车道关联属性，所述路面标识信息包括路面标识id、路面标识类别和路面标识位置。7.根据权利要求5所述的一种车道级精度自动驾驶结构化数据分析方法，其特征是：所述输出后处理包括可行驶区域分支输出后处理、车道分支输出后处理及路面标识分支输出后处理，所述可行驶区域分支输出后处理包括以下步骤：S41：对可行驶区域分支输出进行图像处理；S42：对处理后的可行驶区域的左右边界进行高阶曲线拟合；S43：输出道路边界信息。8.根据权利要求7所述的一种车道级精度自动驾驶结构化数据分析方法，其特征是：所述车道分支输出后处理包括以下步骤：S51：对车道边界分支输出的边界mask进行聚类形成若干车道线候选区域；S52：利用卷积神经网络对各车道线候选区域进行分类与拟合；S53：输出车道边界类别及图像坐标系下车道二级解析表达式。9.根据权利要求7所述的一种车道级精度自动驾驶结构化数据分析方法，其特征是：所述路面标识分支输出后处理包括以下步骤：S61：对路面标识分支输出的边界mask进行聚类形成若干路面标识候选区域；S62：利用卷积神经网络对各路面标识候选区域进行分类；S63：输出路面标识类别及图像坐标系下中心位置。10.根据权利要求8或9所述的一种车道级精度自动驾驶结构化数据分析方法，其特征是：所述卷积神经网络包括神经网络输入层6、神经网络共享特征编码层7和神经网络输出解码层8，所述神经网络共享特征编码层由级联conv+relu+BN组合组成，所述神经网络输出解码层为车道边界类别及路面标识类别输出。

百度查询： 浙江零跑科技有限公司 一种车道级精度自动驾驶结构化数据分析方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD