申请/专利权人：公安部交通管理科学研究所

申请日：2022-07-19

公开（公告）日：2022-10-11

公开（公告）号：CN115168659A

主分类号：G06F16/901

分类号：G06F16/901;G06F16/9537;G06F16/2455;G06F16/25;G06F9/46;G08G1/01

优先权：

专利状态码：在审-实质审查的生效

法律状态：2022.10.28#实质审查的生效;2022.10.11#公开

摘要：本发明提供的一种基于SparkStreaming的快速实时预警方法，将待处理车辆轨迹数据按照车牌号码分别存储到不同的存储分区中，将所有实时监测事件分别建立一个实时比对线程thread，每次将待处理车辆轨迹数据同时送入到所有的实时比对线程thread中并行计算；同时，因为待处理车辆轨迹数据是按照车牌号码存储的，每次计算时，车缓存队列消费线程将数据送入存储分区对应的过车数据缓存队列中，在每个实时比对线程thread中，因为是按照需要比对的待处理车辆轨迹数据对应的车牌范围从基础数据库和嫌疑车辆黑名单中提取对应车牌号码范围的数据，所以数据对比查找的命中率会提高，极大的提高了系统的计算效率，同时每个thread中每次需要计算的数据量有限，进一步的提高了计算速度。

主权项：1.一种基于SparkStreaming的快速实时预警方法，其特征在于，其包括以下步骤：S1：确定需要实时处理的车辆轨迹数据，记作待处理车辆轨迹数据；S2：在Kafka系统中，为所述待处理车辆轨迹数据建立一个过车topic，将所述待处理车辆轨迹数据按照车牌号码分别存储到所述过车topic的不同存储分区中；S3：基于SparkStreaming分布式流式处理框架将预警比对处理程序分配到各个工作节点，单个工作节点启动执行器executor来运行所述预警比对处理程序；所述工作节点和所述执行器executor的关系为1:n，n为大于等于1的正整数；S4：所述预警比对处理程序确定进行实时计算的所有实时监测事件，以及每个所述实时监测事件中使用到的所有基础数据库数据和嫌疑车辆黑名单数据；所述基础数据库为在所述实时监测事件中需要比对车辆信息时用到的基础车辆信息所在的数据库；所述嫌疑车辆黑名单中记载了在所述实时监测事件中需要找到并进行预警的嫌疑车辆；S5：每个所述预警比对处理程序中包括所有并行处理的所述实时监测事件；每个所述实时监测事件分别对应一个预警规则和一个实时比对线程thread；每个所述实时监测事件对应一个预警缓存队列作为数据输出，所述实时比对线程thread找到符合条件的所述待处理车辆轨迹数据后，推送到所述预警缓存队列中；S6：构建过车缓存队列消费线程和预警缓存队列消费线程；S7：每个所述预警比对处理程序启动后，并获取本次计算的所述实时计算车辆数据对应的车牌号码范围，记作：车牌提取范围；按照所述车牌提取范围，在所述基础数据库和所述嫌疑车辆黑名单中提取对应车牌号码范围的数据，分别记作：比对基础数据、比对黑名单数据；S8：所述预警比对处理程序按照预设的数据提取量，从所述过车topic中获取参与本次计算的数据，记作：实时计算车辆数据；将所述实时计算车辆数据封装成离散数据流DStream结构，传递给所述预警比对处理程序中所有的所述实时比对线程thread中进行比对计算；所述实时比对线程thread按照所述监测事件对应的所述预警规则，将输入的所述待处理车辆数据与所述比对基础数据和所述比对黑名单数据进行碰撞比对，找到符合预警条件的待处理车辆数据推送到预警缓存队列；S9：所述预警缓存队列消费线程从所述预警缓存队列中读取数据发布预警信息。

全文数据：

权利要求：

百度查询： 公安部交通管理科学研究所 一种基于Spark Streaming的快速实时预警方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD