申请/专利权人：吉林大学

申请日：2018-08-17

公开（公告）日：2024-05-03

公开（公告）号：CN108830264B

主分类号：G06V40/10

分类号：G06V40/10;G06V20/56;H04L67/025;H04N7/18

优先权：

专利状态码：有效-授权

法律状态：2024.05.03#授权;2021.06.08#实质审查的生效;2018.11.16#公开

摘要：一种无人驾驶公交车的站台乘客检测系统及方法，包括车载计算终端、车外前摄像头、车外后摄像头、车外左摄像头、车外右摄像头、显示仪、GPS全球定位模块、4G网络通讯模块、PC远程监控中心；车载计算终端包括ARM控制器、DSP图像拼接模块、DSP图像检测模块、GPU模块、CAN通讯模块；DSP图像拼接模块与ARM控制器连接，用于对车外4路相机视频实时处理，并拼接成全景视频；DSP图像检测模块与ARM控制器连接，用于对车内前置相机视频实时处理，并对无人驾驶公交车站台乘客进行识别与检测，以便自动停泊车辆；4G网络通讯模块与ARM控制器连接；4个车外摄像头模块用于采集车外周围实时视频。该系统能够实现无人驾驶公交车360°全景环视、远程监控，自主停泊车辆。

主权项：1.一种无人驾驶公交车的站台乘客检测系统，其特征在于：该系统包括：车载计算终端、车外摄像头、显示仪、GPS全球定位模块、4G网络通讯模块、PC远程监控中心；所述车外摄像头由车外前摄像头、车外后摄像头、车外左摄像头、车外右摄像头组成；所述车载计算终端包括ARM控制器、DSP图像拼接模块、DSP图像检测模块、GPU模块、CAN通讯模块；其中，所述车外摄像头分别通过CVBS同轴线与ARM控制器连接，用于监控车外情况，采集车外实时视频，将采集到的车外视频数据传输给ARM控制器，通过ARM控制器进行数据存储和处理；所述GPS全球定位模块安装在汽车内，GPS全球定位模块与ARM控制器连接，用于通过卫星群对汽车的位置进行实时定位，并将定位数据传送到ARM控制器中进行存储；所述4G网络传输模块与ARM控制器连接，用于按照预先约定的通信协议将ARM控制器处理的信息发送给PC远程监控中心；所述PC远程监控中心用于接收车载计算终端传送过来的360°全景视频、定位、乘客检测护具，经过处理存储在数据库中；所述DSP图像拼接模块与ARM控制器连接，用于对车外4路相机视频实时处理，并拼接成360°全景视频；所述DSP图像检测模块与DSP图像拼接模块连接，用于对360°全景视频实时处理，并对无人驾驶公交车前方站台乘客进行识别与检测，并将乘客检测结果传送给ARM控制器，当ARM控制器接收DSP图像检测模块的乘客检测结果为有乘客候车时，通过CAN通讯模块将减速停车信号发送给无人驾驶公交车整车控制器以便自动停泊车辆；所述GPU模块用于对360°全景视频进行GPU渲染加速；所述显示仪模块用于对360°全景视频进行显示，并对站台乘客检测情况实时显示。

全文数据：一种无人驾驶公交车的站台乘客检测系统及方法技术领域_1]描明涉及汽车智能网联领域，具体的说是—种无人驾驶公交辅站台乘客检测系统及方法。'背景技术[0002]无人驾驶公交是一种搭载无人驾驶技术的公交车辆，主要用于公园、大型游乐园、封闭社区、校园、花园式酒店、度假村、别墅区、城市步行街、港口等区域开发的自驾游、区域巡逻、代步专用的环保型电动乘用车辆。传统的公交需要大量驾驶员重复操作。随着汽车智能网联化，尤其是无人驾驶技术的发展，无人驾驶公交逐渐走入人的视野，但目前无人驾驶公交仍需要解决几个关键问题，g卩：无法360°感知周围环境，无法对站台乘客进行识别和检测以便自动停泊车辆。发明内容[0003]本发明的目的是提供一种无人驾驶公交车的站台乘客检测系统及方法，解决现有公交在无人驾驶模式下无法对站台乘客进行识别的技术难题。采用该系统能够实现无人驾驶公交360°全景环视、远程监控中心实时监控车辆状态、车辆位置实时定位、站台乘客实时识别与检测，能够自主停泊车辆。[0004]为实现上述目的，本发明提供公交车全景监视和站台乘客检测系统，包括:车载计算终端、车外摄像头、显示仪、GPS全球定位模块、4G网络通讯模块、PC远程监控中心;所述车外摄像头由车外前摄像头、车外后摄像头、车外左摄像头、车外右摄像头组成;所述车载计算终端包括ARM控制器、DSP图像拼接模块、DSP图像检测模块、GRJ模块、CAN通讯模块；车载计算终端是该系统的数据计算中心，用于接收车外摄像头采集的数据，并进行数据实时分析与处理。[0005]其中，所述车外摄像头分别通过CVBS同轴线与ARM控制器连接，用于监控车外情况，采集车外实时视频，将采集到的车外视频数据传输给ARM控制器，通过ARM控制器进行数据存储和处理；所述GPS全球定位模块安装在汽车内，GPS全球定位模块与ARM控制器连接，用于通过卫星群对汽车的位置进行实时定位，并将定位数据传送到ARM控制器中进行存储；所述4G网络传输模块与ARM控制器连接，用于按照预先约定的通信协议将ARM控制器处理的信息发送给PC远程监控中心；所述PC远程监控中心用于接收车载计算终端传送过来的36〇°全景视频、定位、乘客检测数据，经过处理存储在数据库中；所述DSP图像拼接模块与ARM控制器连接，用于对车外4路相机视频实时处理，并拼接成360°全景视频；所述DSP图像检测模块与DSP图像拼接模块连接，用于对36〇°全景视频实时处理，并对无人驾驶公交前方站台乘客进行识别与检测，并将乘客检测结果传送给ARM控制器，当ARM控制器接收DSP图像检测模块的乘客检测结果为有乘客候车时，通过CAN通讯模块将减速停车信号发送给无人驾驶公交车整车控制器以便自动停泊车辆；所述GPU模块用于对360°全景视频进行GPU渲染加速；所述显示仪模块用于对360°全景视频进行显示，并对站台乘客检测情况实时显示。[0006]作为本发明的优选，所述4个车外摄像头安装在车外，车外前摄像头安装在车辆的前方，车外后摄像头安装在车辆的后方，车外左摄像头安装在车辆的左后视镜附近，车外右摄像头安装在车辆的右后视镜附近。[0007]作为本发明的进一步优选，所述DSP图像拼接模块包括:4相机自动标定模块、图像全景拼接模块;所述4相机自动标定模块用于对相机参数进行标定，对全景畸变进行校正；所述图像全景拼接模块用于对4路相机视频进行实时全景拼接。[0008]作为本发明的再更一步优选，所述DSP图像检测模块包括:乘客特征数据库、图像预处理模块、图像识别模块、图像特征匹配模块;所述乘客特征数据库由公开行人特征数据库以及旅游公交车自主采集存储;所述图像预处理模块用于对360°全景视频实时预处理；所述图像识别模块用于将图像预处理模块处理后的图像信息进行乘客识别，所述图像特征匹配模块用于将识别到的图像信息与乘客特征数据库存储的信息进行对比，当检测到站台有乘客候车时，通过CAN通讯模块将减速停车信号发送给无人驾驶公交车整车控制器以便自动停泊车辆。[0009]为实现上述目的，本发明还提供的一种无人驾驶公交站台乘客检测方法，该方法具体包括如下步骤，步骤1，图像数据获取:通过在车身外安装的车外摄像头实时视频，采集公交车行使路线周边环境以及站点乘客头像信息;步骤2,行车位置定位:通过安装在汽车内的GPS全球定位模块，使卫星群对汽车的位置进行实时定位;步骤3，图像数据处理:将图像数据和行车位置数据传输到ARM控制器进行数据处理及存储;步骤4，图像数据存储:按照预先约定的通信协议将ARM控制器处理及存储的信息发送给PC远程监控中心;通过所述PC远程监控中心接收车载计算终端传送过来的360°全景视频、定位、乘客检测数据，数据存储在数据库中；步骤5,图像数据执行：当ARM控制器分析乘客检测结果为有乘客候车时，通过CAN通讯模块将减速停车信号发送给无人驾驶公交车整车控制器以便自动停泊车辆。[0010]进一步优选，所述步骤3具体包括如下：步骤3.1，通过将所述DSP图像拼接模块与ARM控制器连接，对车外4路相机视频实时处理，并拼接成360°全景视频;步骤3.2，通过将所述DSP图像检测模块与DSP图像拼接模块连接，对360°全景视频实时处理，并对无人驾驶公交前方站台乘客进行识别与检测，并将乘客检测结果传送给ARM控制器。[0011]进一步优选，步骤3还包括如下步骤:步骤3.3,GPU模块用于对360°全景视频进行GPU渲染加速;所述显示仪模块用于对360°全景视频进行显示，并对站台乘客检测情况实时显不。[0012]进一步优选，步骤1所述的车外摄像头有四个，其中，车外前摄像头安装在车辆的前方，车外后摄像头安装在车辆的后方，车外左摄像头安装在车辆的左后视镜附近，车外右摄像头安装在车辆的右后视镜附近。[0013]进一步优选，步骤3所述DSP图像拼接模块包括:4相机自动标定模块、图像全景拼接模块;所述4相机自动标定模块用于对相机参数进行标定，对全景畸变进行校正;所述图像全景拼接模块用于对4路相机视频进行实时全景拼接。[0014」进一步优选，步骤3所述DSP图像检测模块包括:乘客特征数据库、图像预处理模块、图像识别模块、图像特征匹配模块;所述乘客特征数据库由公开行人特征数据库以及旅游公交车自主采集存储;所述图像预处理模块用于对360。全景视频实时预处理;所述图像识别模块用于将图像预处理模块处理后的图像信息进行乘客识别，所述图像特征匹配模块用于将识别到的图像信息与乘客特征数据库存储的信息进行对比，当检测到站台有乘客候车时，通过CAN通讯模块将减速停车信号发送给无人驾驶公交车整车控制器以便自动停泊车辆。[0015]本发明的优点和积极效果：1本发明的无人驾驶公交站台乘客检测系统，其结构简单，安装方便，通用性强，无噪音，可直接安装在现有任何一辆旅游公交车上;该系统通过4个车外摄像头模块可以实时采集4路视频，通过图像拼接模块对4路视频进行三维全景拼接，可以对无人驾驶公交周围360°环境状况进行查看，可提前防止周围危险情况发生。[0016]2本发明的无人驾驶公交站台乘客检测系统在车内安装有GPS全球定位模块，通过GPS全球定位模块可以随时对汽车进行定位，便于远程监控中心对车辆进行定位和管理。[0017]3本发明的无人驾驶公交站台乘客检测系统在车外安装有4个摄像头模块，分别为车外前摄像头、车外后摄像头、车外左摄像头、车外右摄像头，通过对4路相机视频进行图像拼接，可以实时显示并查看无人驾驶公交周围360。环境信息；同时通过对无人驾驶公交36〇°全景视频中站台乘客进行识别与检测，当检测到站台有乘客候车时，系统将减速停车信号发送给无人驾驶公交车整车控制器以便自动停泊车辆；4本发明的无人驾驶公交站台乘客检测系统还设有pC远程监控中心，车载计算终端将36〇°全景视频、定位、乘客检测数据实时传送到PC远程监控中心，便于后续查询，同时还可实现远程监控和管理功能。附图说明[0018]图1是本发明的无人驾驶公交站台乘客检测系统布置示意图。[0019]图2是本发明的无人驾驶公交站台乘客检测系统结构示意图。[0020]其中，车载计算终端1、显示仪2、车外前摄像头3、车外左摄像头4、车外后摄像头5、车外右摄像头6、GPS全球定位模块7、4G网络传输模块8、PC远程监控中心9、ARM控制器11、DSP图像拼接模块12、DSP图像检测模块13、GPU模块14、CAN通讯模块15、相机自动标定模块121、图像全景拼接模块122、乘客特征数据库131、图像预处理模块132、图像识别模块133、图像特征匹配模块134。具体实施方式[0021]为使本领域的技术人员清楚明白本发明的技术方案及其优点和效果，下面结合附图对本发明进一步详细说明，但并不用于对本发明的限定。[0022]参阅^2，本发明提供的无人驾驶公交站台乘客检测系统，包括:车载计算终端丄、^示仪2、车外前摄像头3、车外后摄像头5、车外左摄像头4、车外右摄像头6、GPS全球定位模块7、4G网络通讯模块8、PC远程监控中心9;所述车载计算终端包括ARM控制器11、DSP图像拼接模块12、DSP图像检测模块13、GPU模块14、CAmt讯模块15;其中，所述4个车外摄像头安装在车外，车外前摄像头3安装在车辆的前方，车外后摄像头6安装在车辆的后方，车外左摄像头4安装在车辆的左后视镜附近，车外右摄像头6安装在车辆的右后视镜附近，它们分别通过^路同轴线与ARM控制器11连接，用于监控车外情况，采集车外4路实时视频，将采集到的车外视频数据传输给ARM控制器11，通过ARM控制器11进行数据存储和处理；所述GPS全球定位模块7安装在汽车内，GPS全球定位模块7与ARM控制器11连接，用于通过卫星群对汽车的位置进行实时定位，并将定位数据传送到ARM控制器11中进行存储；所述4G网络传输模块8与ARM控制器11连接，用于按照预先约定的通信协议将ARM控制器11处理的信息发送给PC远程监控中心9;所述PC远程监控中心9用于接收车载计算终端1传送过来的36〇°全景视频、定位、乘客检测数据，经过处理存储在数据库中；所述DSP图像拼接模块12与ARM控制器11连接，用于对车外4路相机视频实时处理，并拼接成360。全景视频，包括:4相机自动标定模块121、图像全景拼接模块122;所述4相机自动标定模块121用于对相机参数进行标定，对全景畸变进行校正;所述图像全景拼接模块122用于对4路相机视频进行实时全景拼接；所述DSP图像检测模块13与DSP图像拼接模块I2连接，用于对360°全景视频实时处理，并对无人驾驶公交车前方站台乘客进行识别与检测，包括:乘客特征数据库131、图像预处理模块132、图像识别模块133、图像特征匹配模块134;所述乘客特征数据库131由公开行人特征数据库以及旅游公交车自主采集存储;所述图像预处理模块132用于对360°全景视频实时预处理;所述图像识别模块133用于将图像预处理模块处理后的图像信息进行乘客识另IJ，所述图像特征匹配模块134用于将识别到的图像信息与乘客特征数据库存储的信息进行对比，并将乘客检测结果传送给ARM控制器11，当ARM控制器11接收DSP图像检测模块13的乘客检测结果为有乘客候车时，通过CAN通讯模块15将减速停车信号发送给无人驾驶公交车整车控制器以便自动停泊车辆；所述GPU模块14用于对360°全景视频进行GPU渲染加速；所述显示仪模块2用于对360°全景视频进行显示，并对站台乘客检测情况实时显示。[0023]参见图1，图2,本发明还提供的无人驾驶公交站台乘客检测方法，通过通过在车身外安装的车外前摄像头3、车外后摄像头5、车外左摄像头4、车外右摄像头6实时视频，采集公交车行使路线周边环境，将采集到的车外视频数据传输给ARM控制器11，通过ARM控制器11进行数据存储和处理;通过安装在汽车内的GPS全球定位模块7，使卫星群对汽车的位置进行实时定位，并将定位数据传送到ARM控制器11中进行存储;按照预先约定的通信协议将ARM控制器11处理的信息发送给PC远程监控中心;通过所述PC远程监控中心接收车载计算终端传送过来的360°全景视频、定位、乘客检测护具，经过处理存储在数据库中；通过将所述DSP图像拼接模块12与ARM控制器11连接，对车外4路相机视频实时处理，并拼接成360°全景视频;通过将所述DSP图像检测模块13与DSP图像拼接模块12连接，对360°全景视频实时处理，并对无人驾驶公交车前方站台乘客进行识别与检测，并将乘客检测结果传送给ARM控制器11;当ARM控制器11接收DSP图像检测模块13的乘客检测结果为有乘客候车时，通过CAN通讯模块15将减速停车信号发送给无人驾驶公交整车控制器以便自动停泊车辆。GPU模块14用于对360。全景视频进行GPU渲染加速;所述显示伩模块用于对360°全景视频进行显示，并对站台乘客检测情况实时显示。[0024]所述DSP图像拼接模块包括:4相机自动标定模块、图像全景拼接模块;所述4相机自动标定模块用于对相机参数进行标定，对全景畸变8进行校正;所述图像全景拼接模块用于对4路相机视频进行实时全景拼接。[0025]以上实施例仅用于说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

权利要求：1.一种无人驾驶公交车的站台乘客检测系统，其特征在于：该系统包括:车载计算终端、车外摄像头、显示仪、GPS全球定位模块、4G网络通讯模块、PC远程监控中心;所述车外摄像头由车外前摄像头、车外后摄像头、车外左摄像头、车外右摄像头组成;所述车载计算终端包括ARM控制器、DSP图像拼接模块、DSP图像检测模块、GPU模块、CAN通讯模块；其中，所述车外摄像头分别通过CVBS同轴线与ARM控制器连接，用于监控车外情况，采集车外实时视频，将采集到的车外视频数据传输给ARM控制器，通过ARM控制器进行数据存储和处理；所述GPS全球定位模块安装在汽车内，GPS全球定位模块与ARM控制器连接，用于通过卫星群对汽车的位置进行实时定位，并将定位数据传送到ARM控制器中进行存储；所述4G网络传输模块与ARM控制器连接，用于按照预先约定的通信协议将ARM控制器处理的信息发送给PC远程监控中心；所述PC远程监控中心用于接收车载计算终端传送过来的360°全景视频、定位、乘客检测护具，经过处理存储在数据库中；所述DSP图像拼接模块与ARM控制器连接，用于对车外4路相机视频实时处理，并拼接成360°全景视频；所述DSP图像检测模块与DSP图像拼接模块连接，用于对360°全景视频实时处理，并对无人驾驶公交车前方站台乘客进行识别与检测，并将乘客检测结果传送给ARM控制器，当ARM控制器接收DSP图像检测模块的乘客检测结果为有乘客候车时，通过CAN通讯模块将减速停车信号发送给无人驾驶公交车整车控制器以便自动停泊车辆；所述GHJ模块用于对360°全景视频进行GRJ渲染加速；所述显示仪模块用于对360°全景视频进行显示，并对站台乘客检测情况实时显示。2.根据权利要求1所述的一种无人驾驶公交车站台乘客检测系统，其特征在于:所述的车外摄像头有四个，其中，车外前摄像头安装在车辆的前方，车外后摄像头安装在车辆的后方，车外左摄像头安装在车辆的左后视镜附近，车外右摄像头安装在车辆的右后视镜附近。3.根据权利要求1或2所述的一种无人驾驶公交车的站台乘客检测系统，其特征在于：所述DSP图像拼接模块包括:4相机自动标定模块、图像全景拼接模块;所述4相机自动标定模块用于对相机参数进行标定，对全景畸变进行校正;所述图像全景拼接模块用于对4路相机视频进彳丁实时全景拼接。4.根据权利要求3所述的一种无人驾驶公交车的站台乘客检测系统，其特征在于:所述DSP图像检测模块包括:乘客特征数据库、图像预处理模块、图像识别模块、图像特征匹配模块;所述乘客特征数据库由公开行人特征数据库以及旅游公交车自主采集存储;所述图像预处理模块用于对360°全景视频实时预处理;所述图像识别模块用于将图像预处理模块处理后的图像信息进行乘客识别，所述图像特征匹配模块用于将识别到的图像信息与乘客特征数据库存储的信息进行对比，当检测到站台有乘客候车时，通过CAN通讯模块将减速停车信号发送给无人驾驶公交车整车控制器以便自动停泊车辆。5.—种无人驾驶公交车的站台乘客检测方法，其特征在于：该方法包括：车载计算终端、车外摄像头、显示仪、GPS全球定位模块、4G网络通讯模块、PC远程监控中心;所述车外摄像头由车外前摄像头、车外后摄像头、车外左摄像头、车外右摄像头组成;所述车载计算终端包括ARM控制器、DSP图像拼接模块、DSP图像检测模块、GPU模块、CAN通讯模块;具体包括如下步骤，步骤1，图像数据获取:通过在车身外安装的车外摄像头实时视频，采集公交车行使路线周边环境以及站点乘客头像信息；步骤2，行车位置定位:通过安装在汽车内的GPS全球定位模块，使卫星群对汽车的位置进行实时定位；步骤3,图像数据处理:将图像数据和行车位置数据传输到ARM控制器进行数据处理及存储；步骤4,图像数据存储：按照预先约定的通信协议将ARM控制器处理及存储的信息发送给PC远程监控中心；通过所述pC远程监控中心接收车载计算终端传送过来的360°全景视频、定位、乘客检测数据，数据存储在数据库中；步骤5，图像数据执行：当ARM控制器分析乘客检测结果为有乘客候车时，通过CAN通讯模块将减速停车信号发送给无人驾驶公交车整车控制器以便自动停泊车辆。6.根据权利要求5所述的一种无人驾驶公交站台乘客检测方法，其特征在于，所述步骤3具体包括如下：步骤3.1，通过将所述DSP图像拼接模块与ARM控制器连接，对车外4路相机视频实时处理，并拼接成360°全景视频；步骤3.2，通过将所述DSP图像检测模块与DSP图像拼接模块连接，对360°全景视频实时处理，并对无人驾驶公交前方站台乘客进行识别与检测，并将乘客检测结果传送给ARM控制器。7.根据权利要求5或6所述的一种无人驾驶公交站台乘客检测方法，其特征在于，步骤3还包括如下步骤：步骤3.3，GHJ模块用于对360°全景视频进行GPU渲染加速;所述显示仪模块用于对36〇°全景视频进行显示，并对站台乘客检测情况实时显示。8.根据权利要求5所述的一种无人驾驶公交车的站台乘客检测方法，其特征在于:步骤1所述的车外摄像头有四个，其中，车外前摄像头安装在车辆的前方，车外后摄像头安装在车辆的后方，车外左摄像头安装在车辆的左后视镜附近，车外右摄像头安装在车辆的右后视镜附近。9.根据权利要求6所述的一种无人驾驶公交车的站台乘客检测方法，其特征在于:步骤3所述DSP图像拼接模块包括:4相机自动标定模块、图像全景拼接模块;所述4相机自动标定模块用于对相机参数进行标定，对全景畸变进行校正;所述图像全景拼接模块用于对4路相机视频进行实时全景拼接。10.根据权利要求6所述的一种无人驾驶公交车的站台乘客检测方法，其特征在于：步骤3所述DSP图像检测模块包括:乘客特征数据库、图像预处理模块、图像识别模块、图像特征匹配模块;所述乘客特征数据库由公开行人特征数据库以及旅游公交车自主采集存储；所述图像预处理模块用于对360°全景视频实时预处理;所述图像识别模块用于将图像预处理模块处理后的图像信息进行乘客识别，所述图像特征匹配模块用于将识别到的图像信息与乘客特征数据库存储的信息进行对比，当检测到站台有乘客候车时，通过CAN通讯模块将减速停车信号发送给无人驾驶公交车整车控制器以便自动停泊车辆。

百度查询： 吉林大学 一种无人驾驶公交车的站台乘客检测系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD