申请/专利权人：四川长虹云数信息技术有限公司

申请日：2019-07-12

公开（公告）日：2023-06-06

公开（公告）号：CN110362713B

主分类号：G06F16/71

分类号：G06F16/71;G06F16/75

优先权：

专利状态码：有效-授权

法律状态：2023.06.06#授权;2019.11.15#实质审查的生效;2019.10.22#公开

摘要：本发明涉及物联网领域，本发明旨在解决现有技术无法满足海量监控数据的实时分析要求问题，提出一种基于SparkStreaming的视频监控预警方法，包括：实时获取监控视频流，对监控视频流进行预处理后得到特征图数据，根据特征图数据的主题将其发送至消息队列服务器；消息队列服务器将特征图数据发送至主题对应的分区，SparkStreaming根据监控设备ID对分区中的特征图数据进行分组，对每组特征图数据分别进行空间向量算法分析得到特征图数据对应的特征向量参数；判断特征向量参数与标准特征向量参数是否匹配，若是，且若聚类参考特征向量参数是某一类型的异常特征向量参数，则发送对应类型的预警信息。本发明提高了视频监控预警的可靠性和实时性。

主权项：1.基于SparkStreaming的视频监控预警方法，其特征在于，包括以下步骤：步骤1.实时获取监控视频流，对所述监控视频流进行预处理后得到特征图数据，根据所述特征图数据的Topic将其发送至消息队列服务器；对所述监控视频流进行预处理后得到特征图数据包括：将监控视频流转换为一系列的截帧图形，调整各截帧图形的分辨率，并对各截帧图形进行特征提取，将特征点转为结构化数据，并把结构化数据组装为特征图数据；步骤2.消息队列服务器将所述特征图数据发送至Topic对应的Spark分区，SparkStreaming根据监控设备ID对Spark分区中的特征图数据进行分组，对每组特征图数据分别进行空间向量算法分析得到特征图数据对应的特征向量参数；步骤3.确定所述特征向量参数与聚类参考特征向量参数的距离，若所述距离小于或等于阈值，则表示监控图像特征与聚类参考特征向量参数匹配，若聚类参考特征向量参数是某一类型的异常特征向量参数，则发送与聚类参考特征向量参数对应类型的预警信息；所述聚类参考特征向量参数通过以下方法获取：接收上报事件，对所述上报事件进行预处理得到事件记录信息，根据所述事件记录信息的Topic将其发送至消息队列服务器；消息队列服务器将所述事件记录信息发送至事件Topic对应的Spark分区，SparkStreaming实时对Spark分区中的事件记录信息进行分类和统计；根据上报事件对应的视频监控图像获得事件类型对应的聚类参考特征向量参数。

全文数据：基于SparkStreaming的视频监控预警方法及系统技术领域本发明涉及物联网领域，具体来说涉及一种视频监控预警方法及系统。背景技术随着物联网的发展，各种监测数据越来越多，对海量数据的处理要求也越来越高，但是现有根据视频监控数据进行预警的处理过程中，主要是使用小型数据库进行存储，并且对其进行离线分析处理，无法满足海量数据的传输和实时分析要求。数据处理引擎SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafka、Flume、Twitter、ZeroMQ、Kinesis以及TCPsockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。在“OneStackrulethemall”的基础上，还可以使用Spark的其他子框架，如集群学习、图计算等，对流数据进行处理。发明内容本发明旨在解决现有的根据视频监控数据进行预警的方法无法满足海量监控数据的实时分析要求问题，提出一种基于SparkStreaming的视频监控预警方法及系统。本发明解决上述技术问题所采用的技术方案是：基于SparkStreaming的视频监控预警方法，包括以下步骤：步骤1.实时获取监控视频流，对所述监控视频流进行预处理后得到特征图数据，根据所述特征图数据的Topic将其发送至消息队列服务器；步骤2.消息队列服务器将所述特征图数据发送至Topic对应的Spark分区，SparkStreaming根据监控设备ID对Spark分区中的特征图数据进行分组，对每组特征图数据分别进行空间向量算法分析得到特征图数据对应的特征向量参数；步骤3.确定所述特征向量参数与聚类参考特征向量参数的距离，若所述距离小于或等于阈值，则表示监控图像特征与聚类参考特征向量参数匹配，若聚类参考特征向量参数是某一类型的异常特征向量参数，则发送与聚类参考特征向量参数对应类型的预警信息。进一步的，为获得特征图数据，所述对监控视频流进行预处理后得到特征图数据包括：将监控视频流转换为一系列的截帧图形，调整各截帧图形的分辨率，并对各截帧图形进行特征提取，将特征点转为结构化数据，并把结构化数据组装为特征图数据。进一步的，为提高预警的准确性，所述方法还包括：定期获取处于预设范围的特征向量参数并将其作为第一样本数据，根据所述第一样本数据进行聚类学习，将聚类学习的结果应用至SparkStreaming的空间向量算法分析中。进一步的，为获取聚类参考特征向量参数，所述聚类参考特征向量参数通过以下方法获取：接收上报事件，对所述上报事件进行预处理得到事件记录信息，根据所述事件记录信息的Topic将其发送至消息队列服务器；消息队列服务器将所述事件记录信息发送至事件Topic对应的Spark分区，SparkStreaming实时对Spark分区中的事件记录信息进行分类和统计；根据上报事件对应的视频监控图像获得事件类型对应的聚类参考特征向量参数。进一步的，为生成事件记录信息以便于事件的分类统计，所述parkStreaming实时对Spark分区中的事件记录信息进行分类和统计包括：根据事件记录信息中的区域位置、日期和事件类型对事件记录信息进行分类、统计并存储。进一步的，为使用户直观了解重大事件和频发事件，所述方法还包括：定期将分类统计后的事件记录信息在监控区域地图上进行聚合展示，所述聚合展示包括：在监控区域地图上标记重大事件和频发事件区域位置。进一步的，为提高分类统计的准确性，所述方法还包括：定期获取事件记录信息并将其作为第二样本数据，根据所述第二样本数据基于SparkMlib进行分类学习，将分类学习结果应用至SparkStreaming的分类算法过程。进一步的，为实现预警消息的发送，所述发送预警消息包括：SparkStreaming将预警消息通过消息队列服务器推送至已订阅终端。本发明还提出一种基于SparkStreaming的视频监控预警系统，包括：处理单元，用于实时获取监控视频流，对所述监控视频流进行预处理后得到特征图数据，根据所述特征图数据的Topic将其发送至消息队列服务器；消息队列服务器，用于将所述特征图数据发送至Topic对应的Spark分区，SparkStreaming根据监控设备ID对Spark分区中的特征图数据进行分组，对每组特征图数据分别进行空间向量算法分析得到特征图数据对应的特征向量参数；确定单元，用于确定所述特征向量参数与聚类参考特征向量参数的距离，若所述距离小于或等于阈值，则表示监控图像特征与聚类参考特征向量参数匹配，若聚类参考特征向量参数是某一类型的异常特征向量参数，则发送与聚类参考特征向量参数对应类型的预警信息。进一步的，所述处理单元还用于：接收上报事件，对所述上报事件进行预处理得到事件记录信息，根据所述事件记录信息的Topic将其发送至消息队列服务器；所述消息队列服务器还用于：将所述事件记录信息发送至事件Topic对应的Spark分区，SparkStreaming实时对Spark分区中的事件记录信息进行分类和统计，以及根据上报事件对应的视频监控图像获得事件类型对应的聚类参考特征向量参数。本发明的有益效果是：本发明所述的基于SparkStreaming的视频监控预警方法，由于数据处理引擎SparkStreaming具有高可靠、数据分析延迟低以及处理数据能力强等优点，避免了数据堆积。通过消息队列服务器进行数据的缓冲，通过SparkStreaming来对获取的海量特征图数据进行分析处理并进行预警，实现了对海量数据的有效存储和传输，提高了视频监控预警的可靠性和实时性。附图说明图1为本发明所述的基于SparkStreaming的视频监控预警方法的流程示意图；图2为本发明所述的基于SparkStreaming的视频监控预警系统的结构示意图。具体实施方式下面将结合附图对本发明的实施方式进行详细描述。本发明所述的基于SparkStreaming的视频监控预警方法，如图1所示，包括以下步骤：步骤S1.实时获取监控视频流，对所述监控视频流进行预处理后得到特征图数据，根据所述特征图数据的Topic将其发送至消息队列服务器；步骤2.消息队列服务器将所述特征图数据发送至Topic对应的Spark分区，SparkStreaming根据监控设备ID对Spark分区中的特征图数据进行分组，对每组特征图数据分别进行空间向量算法分析得到特征图数据对应的特征向量参数；步骤S3.确定所述特征向量参数与聚类参考特征向量参数的距离，若所述距离小于或等于阈值，则表示监控图像特征与聚类参考特征向量参数匹配，若聚类参考特征向量参数是某一类型的异常特征向量参数，则发送与聚类参考特征向量参数对应类型的预警信息。首先，获取由监控视频流，其监控视频可以是通过视频监控终端如摄像头采集得到，获取的监控视频流可以存储至后端视频流收集器中，在视频流收集器读取监控视频流并对其进行处理，得到监控视频流对应的特征图数据，特征图数据用于表示监控图像中各个特征点的特征向量参数，相应的，各个特征点的特征向量参数也就表示了监控图像中的图像特征。将特征图数据以消息的形式按主题Topic发送至消息队列服务器，通过消息队列服务器实现特征图数据的缓冲，消息队列服务器以消息的方式将特征图数据推送至主题Topic对应的Spark分区，SparkStreaming接收分区中数据以时间滑动窗口的方式对特征图数据进行分析，按监控设备ID对数据集进行分组，并将分组后的特征图数据集进行空间向量算法分析，分析结果存储到分类数据存储中，分析结果即特征图数据对应的特征向量参数，确定当前得到的特征向量参数与聚类参考特征向量参数之间的距离，当距离小于或等于阈值时，则表示当前得到的特征向量参数与聚类参考特征向量参数匹配，若聚类参考特征向量参数是某一类型的异常特征向量参数，此时发送与聚类参考特征向量参数对应类型的预警信息，其中，聚类参考特征向量参数用于表示某一类型的异常事件所对应的特征向量参数，例如，聚类参考特征向量参数可以是发生火灾时监控画面所对应的特征向量参数，若当前得到的特征向量参数与发生火灾时监控画面所对应的特征向量参数相匹配，则发出火灾预警。本发明中，消息队列服务器根据主题Topic发布和订阅将特征图数据发送至对应的Spark分区，发布和订阅的主题Topic可以是视频监控设备的ID，即根据视频监控设备的ID将特征图数据发送至对应的Spark分区，便于实现海量特征图数据的传输，其中，消息队列服务器可以是Kafka消息队列服务器，Kafka消息队列服务器是一个分布式、高吞吐量、易于扩展的基于主题Topic发布和订阅的消息队列服务器。其中，发送预警消息可以是：SparkStreaming将预警消息通过消息队列服务器推送至已订阅终端。具体而言，当图形特征异常时，会触发发送异常预警信息到消息队列服务器按指定的主题Topic发送，消息队列服务器将消息推送到绑定主题Topic队列的预警消息推送服务，预警消息推送服务接收到消息后，根据配置将预警消息推送给订阅了的终端，并将预警消息以短信方式发送给配置有短信提醒的用户。可选的，所述对监控视频流进行预处理后得到特征图数据包括：将监控视频流转换为一系列的截帧图形，调整各截帧图形的分辨率，并对各截帧图形进行特征提取，将特征点转为结构化数据，并把结构化数据组装为特征图数据。具体而言，视频监控终端采集视频数据，并将视屏流数据传入分析后端视频流收集器，在视频流收集器中读取数据并将视频流转换为一系列的视频帧，即视频截帧，每帧都会调整其为所需的分辨率，如640x480，并对截帧图形进行特征提取；将特征点转为结构化数据，并把结构化数据组装为特征图数据。可选的，所述方法还包括：定期获取处于预设范围的特征向量参数并将其作为第一样本数据，根据所述第一样本数据进行聚类学习，将聚类学习的结果应用至SparkStreaming的空间向量算法分析中。具体而言，可以定期从分析数据存储中抽取处于预设范围的特征向量参数作为第一样本数据，并对样本数据进行标注，标注后的特征向量参数由图形样本学习任务进行聚类学习，并将学习结果应用到空间向量算法分析过程中。通过不断的学习，可提高预警的准确性。可选的，本发明中，所述聚类参考特征向量参数可以通过以下方法获取：接收上报事件，对所述上报事件进行预处理得到事件记录信息，根据所述事件记录信息的Topic将其发送至消息队列服务器；消息队列服务器将所述事件记录信息发送至事件Topic对应的Spark分区，SparkStreaming实时对Spark分区中的事件记录信息进行分类和统计；根据上报事件对应的视频监控图像获得事件类型对应的聚类参考特征向量参数。具体而言，现场巡查人员可通过智能终端上报事件，事件上报到事件预处理服务，事件预处理服务根据配置补充完善事件记录信息并按事件处理将事件记录按业务需求进行入库到MYSQL数据库中，同时根据事件主题Topic发送事件消息到消息队列服务器，消息队列服务器将事件记录信息推送到绑定事件主题Topic的Spark分区，SparkStreaming可每间隔1秒对分区进行计算，将分区数据进行分类计算，同时按区域位置、日期、类型等进行统计；在计算结束后将分类数据、统计数据存储到分类数据存储中，实现对上报事件的分类和统计，对上报事件进行分类统计后，根据上报事件的视频监控图像，得到各异常事件类型对应的聚类参考特征向量参数，进而通过所有异常事件类型对应的聚类参考特征向量参数确定当前得到的特征向量参数与哪种异常事件类型对应的聚类参考特征向量参数匹配，若前得到的特征向量参数与某一聚类参考特征向量参数匹配，并且聚类参考特征向量参数是某一类型的异常特征向量参数，则发出与该聚类参考特征向量参数对应的异常事件类型预警。在对上报事件进行分类和统计后，还可以定期将分类统计后的事件记录信息在监控区域地图上进行聚合展示，其中，聚合展示包括：在监控区域地图上标记重大事件和频发事件区域位置。可选的，在对上报事件进行分类和统计后，还可以定期获取事件记录信息并将其作为第二样本数据，根据所述第二样本数据基于SparkMlib进行分类学习，将分类学习结果应用至SparkStreaming的分类算法过程。具体而言，将分类后的事件记录信息作为第二样本数据，并对样本数据进行标注，标注后的事件分类样本由基于SparkMlib实现的样本学习任务进行分类学习，并将学习结果应用到事件分类算法处理过程中。通过不断的学习，可以提高事件分类的准确性。基于上述技术方案，本发明还提出一种基于SparkStreaming的视频监控预警系统，所述系统包括：处理单元，用于实时获取监控视频流，对所述监控视频流进行预处理后得到特征图数据，根据所述特征图数据的Topic将其发送至消息队列服务器；消息队列服务器，用于将所述特征图数据发送至Topic对应的Spark分区，SparkStreaming根据监控设备ID对Spark分区中的特征图数据进行分组，对每组特征图数据分别进行空间向量算法分析得到特征图数据对应的特征向量参数；确定单元，用于确定所述特征向量参数与聚类参考特征向量参数的距离，若所述距离小于或等于阈值，则表示监控图像特征与聚类参考特征向量参数匹配，若聚类参考特征向量参数是某一类型的异常特征向量参数，则发送与聚类参考特征向量参数对应类型的预警信息。可选的，所述处理单元还用于：接收上报事件，对所述上报事件进行预处理得到事件记录信息，根据所述事件记录信息的Topic将其发送至消息队列服务器；所述消息队列服务器还用于：将所述事件记录信息发送至事件Topic对应的Spark分区，SparkStreaming实时对Spark分区中的事件记录信息进行分类和统计，以及根据上报事件对应的视频监控图像获得事件类型对应的聚类参考特征向量参数。可以理解，由于本发明实施例所述的基于SparkStreaming的视频监控预警系统是用于实现所述基于SparkStreaming的视频监控预警方法的系统，对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的较为简单，相关之处参见方法的部分说明即可。由于上述基于SparkStreaming的视频监控预警方法能够解决现有的根据视频监控数据进行预警的方法无法满足海量监控数据的传输和实时分析要求问题，因此，实现上述基于SparkStreaming的视频监控预警方法的系统同样能够解决现有的根据视频监控数据进行预警的方法无法满足海量监控数据的传输和实时分析要求问题。

权利要求：1.基于SparkStreaming的视频监控预警方法，其特征在于，包括以下步骤：步骤1.实时获取监控视频流，对所述监控视频流进行预处理后得到特征图数据，根据所述特征图数据的Topic将其发送至消息队列服务器；步骤2.消息队列服务器将所述特征图数据发送至Topic对应的Spark分区，SparkStreaming根据监控设备ID对Spark分区中的特征图数据进行分组，对每组特征图数据分别进行空间向量算法分析得到特征图数据对应的特征向量参数；步骤3.确定所述特征向量参数与聚类参考特征向量参数的距离，若所述距离小于或等于阈值，则表示监控图像特征与聚类参考特征向量参数匹配，若聚类参考特征向量参数是某一类型的异常特征向量参数，则发送与聚类参考特征向量参数对应类型的预警信息。2.如权利要求1所述的基于SparkStreaming的视频监控预警方法，其特征在于，所述对监控视频流进行预处理后得到特征图数据包括：将监控视频流转换为一系列的截帧图形，调整各截帧图形的分辨率，并对各截帧图形进行特征提取，将特征点转为结构化数据，并把结构化数据组装为特征图数据。3.如权利要求1所述的基于SparkStreaming的视频监控预警方法，其特征在于，所述方法还包括：定期获取处于预设范围的特征向量参数并将其作为第一样本数据，根据所述第一样本数据进行聚类学习，将聚类学习的结果应用至SparkStreaming的空间向量算法分析中。4.如权利要求1所述的基于SparkStreaming的视频监控预警方法，其特征在于，所述聚类参考特征向量参数通过以下方法获取：接收上报事件，对所述上报事件进行预处理得到事件记录信息，根据所述事件记录信息的Topic将其发送至消息队列服务器；消息队列服务器将所述事件记录信息发送至事件Topic对应的Spark分区，SparkStreaming实时对Spark分区中的事件记录信息进行分类和统计；根据上报事件对应的视频监控图像获得事件类型对应的聚类参考特征向量参数。5.如权利要求4所述的基于SparkStreaming的视频监控预警方法，其特征在于，所述parkStreaming实时对Spark分区中的事件记录信息进行分类和统计包括：根据事件记录信息中的区域位置、日期和事件类型对事件记录信息进行分类、统计并存储。6.如权利要求4所述的基于SparkStreaming的视频监控预警方法，其特征在于，所述方法还包括：定期将分类统计后的事件记录信息在监控区域地图上进行聚合展示，所述聚合展示包括：在监控区域地图上标记重大事件和频发事件区域位置。7.如权利要求4所述的基于SparkStreaming的视频监控预警方法，其特征在于，所述方法还包括：定期获取事件记录信息并将其作为第二样本数据，根据所述第二样本数据基于SparkMlib进行分类学习，将分类学习结果应用至SparkStreaming的分类算法过程。8.如权利要求1所述的基于SparkStreaming的视频监控预警方法，其特征在于，所述发送预警消息包括：SparkStreaming将预警消息通过消息队列服务器推送至已订阅终端。9.基于SparkStreaming的视频监控预警系统，其特征在于，包括：处理单元，用于实时获取监控视频流，对所述监控视频流进行预处理后得到特征图数据，根据所述特征图数据的Topic将其发送至消息队列服务器；消息队列服务器，用于将所述特征图数据发送至Topic对应的Spark分区，SparkStreaming根据监控设备ID对Spark分区中的特征图数据进行分组，对每组特征图数据分别进行空间向量算法分析得到特征图数据对应的特征向量参数；确定单元，用于确定所述特征向量参数与聚类参考特征向量参数的距离，若所述距离小于或等于阈值，则表示监控图像特征与聚类参考特征向量参数匹配，若聚类参考向量特征参数是某一类型的异常特征向量参数，则发送与聚类参考特征向量参数对应类型的预警信息。10.如权利要求9所述的基于SparkStreaming的视频监控预警系统，其特征在于，所述处理单元还用于：接收上报事件，对所述上报事件进行预处理得到事件记录信息，根据所述事件记录信息的Topic将其发送至消息队列服务器；所述消息队列服务器还用于：将所述事件记录信息发送至事件Topic对应的Spark分区，SparkStreaming实时对Spark分区中的事件记录信息进行分类和统计，以及根据上报事件对应的视频监控图像获得事件类型对应的聚类参考特征向量参数。

百度查询： 四川长虹云数信息技术有限公司 基于Spark Streaming的视频监控预警方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD