申请/专利权人：中南大学

申请日：2023-12-15

公开（公告）日：2024-03-15

公开（公告）号：CN117710886A

主分类号：G06V20/52

分类号：G06V20/52;G06V10/26;G06V10/25;G06V10/774;G06V10/82;G06V10/44;G06V10/80;G06V10/764;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.02#实质审查的生效;2024.03.15#公开

摘要：本发明公开了一种基于多任务学习网络的铁路非特定异物侵限整体检测方法。首先通过一个主干网络提取出轨道区域和待检测目标的共同特征，接着同时通过两个分支，一个是用于从铁路场景中分割出轨道部分的语义分割分支，另一个是用于检测侵入轨道区域的人或列车的目标检测分支，然后这两个分支同时进入判别模块，通过分析语义分割分支和目标检测分支输出的结果来判断是否需要报警。根据铁路异物侵限检测的特点，语义分割分支采用YOLOP算法，目标检测分支采用YOLOv5s算法，构建了一个并行式多任务学习网络。本发明通过同时进行语义分割分支和目标检测分支，有效提高了铁路非特定异物侵限检测的精度，并且采用轻量级网络，对硬件要求更低，更适合部署在设备上，能够实现铁路异物入侵的高精度实时检测。

主权项：1.一种基于多任务学习网络的铁路非特定异物侵限整体检测方法，其特征在于，该方法包括以下步骤：步骤1：构建铁路异物侵限数据集：首先通过人工采集、开源数据和网络爬取采集铁路图像数据，再利用labelme进行目标检测数据和语义分割数据的人工标注，最后通过几何变换、光照变换、混合变换和遮挡变换进行图像数据增强，根据铁路异物入侵检测的特点，建立一个带有标签的铁路异物侵限数据集；步骤2：训练语义分割分支和目标检测分支：根据铁路异物侵限检测的特点，语义分割分支采用YOLOP网络中用于分割可驾驶区域和车道线区域的分割网络，目标检测分支采用YOLOv5s网络的解码头部分，再使用构建的铁路异物侵限数据集分别训练两个分支；步骤3：将训练完成的语义分割分支和目标检测分支连同主干网络一起部署到检测设备上；步骤4：通过主干网络对输入的铁路监控图像进行特征提取：所述的主干网络包括Focus模块、SPP模块和BottlenCSP模块，同时采用FPN网络将主干网络中三部分输出的特征层聚合起来，以结合不同尺度的特征信息，并采用CSP2网络结构提高整个网络的特征融合能力；步骤5：将主干网络输出的特征图同时输入到语义分割分支和目标检测分支；所述的语义分割分支用于提取轨道部分：将FPN网络的底层馈送到语义分割分支，经过三个上采样过程，将从主干网络输入的特征图还原到原始尺寸，并输出图像中轨道区域的二值化像素占比；所述的上采样过程使用最邻近插值法来降低计算成本；并采用像素准确率、平均交并比和每秒传输帧数评价语义分割分支对铁路轨道部分的提取效果；所述的目标检测分支用于检测图像中是否存在人或列车：通过Neck网络对从主干网络输入的特征图中的特征点进行判断，确定是否存在人或列车与其对应，再利用一个1×1的卷积层实现人和列车的分类；并采用查准率、召回率、交并比和均值平均精度评价目标检测分支对铁路限界范围内的人和列车的检测效果；所述的交并比用于判定样本的正负，交并比阈值取0.5，若模型预测结果的交并比大于阈值，则判定其为正样本，反之即为负样本；步骤6：进入判别模块：通过分析语义分割分支输出的结果二值化像素占比变化值是否超出阈值，以及目标检测分支输出的结果是否存在人或列车来判断是否需要报警；若语义分割分支输出的结果二值化像素占比变化值超出阈值，且目标检测分支输出的结果中不存在人或列车，则判定存在异物侵入轨道的现象，即进入下一步骤7，否则返回步骤4；步骤7：输出警报，发送到相应地调度指挥控制中心，工作人员及时做出反应，避免出现列车碰撞异物而出轨的现象，从而实现高精度实时检测铁路行车范围内的异物入侵。

全文数据：

权利要求：

百度查询： 中南大学 一种基于多任务学习网络的铁路非特定异物侵限整体检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD