申请/专利权人：浙江工业大学

申请日：2021-04-29

公开（公告）日：2024-03-22

公开（公告）号：CN113255459B

主分类号：G06V20/56

分类号：G06V20/56;G06V10/80;G06V20/40;G06V10/82;G06N3/0442;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2021.08.31#实质审查的生效;2021.08.13#公开

摘要：本发明涉及一种基于图像序列的车道线检测方法，包括以下四部分：（1）搭建车道线并行检测网络；（2）对车道线并行检测网络进行训练优化；（3）完成对车道线并行检测网络的训练；（4）使用训练好的车道线并行检测网络对输入图像进行检测，输出车道线分割图像。与使用相同骨架网络的现有语义分割网络相比，本文的并行网络在客观检测精度和主观检测效果上都有明显的提升。

主权项：1.一种基于图像序列的车道线检测方法，其特征在于：所述方法包括以下步骤：步骤1：搭建车道线并行检测网络；所述车道线并行检测网络包括：一多帧网络，用于提取多帧时序图像中的时域特征；多帧网络包括多帧特征提取骨架网络和多帧特征融合模块；所述多帧特征提取骨架网络的构建采用ESPNetV2的骨架网络，在经过初始的3×3卷积之后，按特征图尺寸将ESPNetV2骨架网络结构划分为四部分空间结构，减少第二部分空间结构和第三部分空间结构的EESP模块数量为2个和4个；通过该骨架网络对传入的4张时序图像Xt、Xt-1、Xt-2、Xt-3进行特征提取，最终得到对应的四张特征图A1、A2、A3、A4；所述多帧特征融合模块采用ConvLSTM模块融合经过多帧特征提取骨架网络提取的多帧特征；ConvLSTM通过遗忘门、输入门、输出门控制信息的保留程度，将经过多帧特征提取骨架网络提取特征所得到的四张特征图经过ConvLSTM模块进行时序特征提取，得到多帧特征A5；一单帧网络，基于编码-解码模型，用于提取当前时刻图像的全局语义特征；单帧网络包括单帧特征提取骨架网络、单帧特征与多帧特征融合模块、上采样网络；所述单帧特征提取骨架网络基于VGG16-BN和SPP模块构建；VGG16-BN仅保留原网络的卷积层，当前帧图像Xt通过13个带有BN层的3×3卷积核进行特征提取，得到输出特征图B1；输出特征图B1经过一个SPP模块融合多尺度特征，采用1×1、3×3、5×5三种不同卷积核对其进行特征提取，接着在池化层后设置激活层，使用ReLu为激活函数，最后采用级联的方式使上述得到的三种特征图合并重组，得到单帧特征B2；所述单帧特征和多帧特征融合模块对提取的多帧特征A5和单帧特征B2进行特征融合：对多帧特征A5进行上采样，使得到的特征图A6恢复到与单帧特征相同的尺寸大小；分别对多帧特征A6与单帧特征B2以一个1×1的卷积核平滑特征；使用通道连接的方式将多帧特征A6与单帧特征B2进行融合，得到融合特征C1；对融合特征C1使用一个非线性激活函数ReLU进行激活，减少参数之间的相互依存关系，得到融合特征C2；所述上采样网络采用与LaneNet相同的解码结构，通过使用4个3×3的卷积层用于恢复特征维度，以及一个上采样层用于恢复特征尺度，采用双线性插值的上采样方法对融合模块输出的特征图C2进行四次上采样，每次上采样对输入的特征图尺寸放大两倍，最终C2被放大到与输入特征图相同尺寸，并将此特征映射作为结果特征输出；步骤2：对车道线并行检测网络进行训练优化；步骤3：完成对车道线并行检测网络的训练；步骤4：使用训练好的车道线并行检测网络对输入图像进行检测，输出车道线分割图像。

全文数据：

权利要求：

百度查询： 浙江工业大学 一种基于图像序列的车道线检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD