买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】一种基于网络安全的大数据实施系统及方法_郑州升达经贸管理学院_201710792580.6 

申请/专利权人:郑州升达经贸管理学院

申请日:2017-09-05

公开(公告)日:2020-07-31

公开(公告)号:CN107528852B

主分类号:H04L29/06(20060101)

分类号:H04L29/06(20060101);H04L12/26(20060101);G06F21/62(20130101)

优先权:

专利状态码:失效-未缴年费专利权终止

法律状态:2022.08.12#未缴年费专利权终止;2020.07.31#授权;2018.01.26#实质审查的生效;2017.12.29#公开

摘要:本发明公开了一种基于网络安全的大数据实施系统及方法。该系统的大数据实施平台包括:大数据采集模块、大数据预处理模块、大数据处理模块、网络安全监管模块和控制器;网络安全监管模块包括:网络检测单元、访客验证单元和访问流量监控单元。本发明通过带多种数据接口的数据接受器并行采集多路数据,并对帧打包数据添加优先权编号和帧号,同时对采集的数据分级存储,从而按照优先权编号和帧号对存储的数据解析筛选后输出;即在大数据实施过程中,通过多个通道采集数据,不但采集效率高,且采集数据量大;对分级存储后的数据按照优先权编号和帧号输出,使数据传输有序,不易造成网络堵塞和数据丢失,提高了数据处理效率低,资源利用率低。

主权项:1.一种基于网络安全的大数据实施系统,其特征在于,包括:大数据实施平台1;所述大数据实施平台1,包括:大数据采集模块11、大数据预处理模块12、大数据处理模块13、网络安全监管模块14和控制器15;所述大数据采集模块11,用于通过带多种数据接口的数据接受器并行采集多路数据,并对各路数据进行帧数据打包且对各路数据每帧的帧头添加优先权编号和帧号;所述大数据预处理模块12,用于按照各路数据传输协议对各路数据进行冗余处理和校验处理,将冗余处理和校验处理后的数据存储至各路数据接受缓存器和数据接受存储器;其中,将前十帧数据存储至数据接受缓存器中,以及将前十帧以后的数据存储至数据接受存储器中;当数据接受缓存器中的数据不足十帧时,数据接受存储器中的数据自动向数据接受缓存器中传输;所述大数据处理模块13,用于根据优先权编号和帧号将待传输数据从数据接受缓存器中取出,并解析数据信息将筛选出的有用数据按照优先权编号和帧号输出;其中,根据上一帧待传输数据取出完成标志从数据接受缓存器中取出下一帧待传输数据;将解析后的数据信息与预存的拦截信息进行对比,当重合度小于第一预设值时的解析后的数据信息为有用信息;所述网络安全监管模块14,包括:网络检测单元141、访客验证单元142和访问流量监控单元143;所述网络检测单元141,用于实时对各路数据传输通道的网络传输速率和资源占用率进行检测;所述访客验证单元142,用于通过账户、密码和二维码对网络大数据进行访问;其中,通过账户和密码进行身份验证,通过二维码对某些网络数据的访问进行付费验证;所述访问流量监控单元143,用于实时监测各路数据传输通道的网络数据访问流量,当某一通道的网络数据访问流量超出第二预设值时,向该通道增加网络流量速度,同时根据网络数据访问流量的大小确定热点数据类型;所述控制器15,用于协调上述各模块运行。

全文数据:一种基于网络安全的大数据实施系统及方法技术领域[0001]本发明涉及网络安全技术领域,更具体的涉及一种基于网络安全的大数据实施系统及方法。背景技术[0002]随着电子信息技术的发展,人们使用网络的频率越来越高,数据量的飞速增长预示着现在己经进入了大数据时代,不仅是数据规模越来越大,而且数据类型多和处理实时性要求高。大数据提出的同时,人们也逐渐体会到信息高速发展带来的隐患,安全问题成为网络浏览的重要问题,隐私泄露、财产被骗等等,即大数据给传统的数据安全传输管理带来了技术挑战。[0003]现有的大数据实施过程中,往往是将数据都集中到一起后,再进行分类,造成后期工作量大,因数据量巨大,造成接收数据时网络堵塞,从而存在数据丢失的问题,使得数据处理效率低,资源利用率低。[0004]综上所述,现有技术中的大数据实施过程,存在数据处理效率低,资源利用率低的问题。发明内容[0005]本发明实施例提供一种基于网络安全的大数据实施系统及方法,用以解决现有技术中存在数据处理效率低,资源利用率低的问题。[0006]本发明实施例提供一种基于网络安全的大数据实施系统,包括:大数据实施平台;[0007]所述大数据实施平台,包括:大数据采集模块、大数据预处理模块、大数据处理模块、网络安全监管模块和控制器;[0008]所述大数据采集模块,用于通过带多种数据接口的数据接受器并行采集多路数据,并对各路数据进行帧数据打包且对各路数据每帧的帧头添加优先权编号和帧号;[0009]所述大数据预处理模块,用于按照各路数据传输协议对各路数据进行冗余处理和校验处理,将冗余处理和校验处理后的数据存储至各路数据接受缓存器和数据接受存储器;其中,将前十帧数据存储至数据接受缓存器中,以及将前十帧以后的数据存储至数据接受存储器中;当数据接受缓存器中的数据不足十帧时,数据接受存储器中的数据自动向数据接受缓存器中传输;[0010]所述大数据处理模块,用于根据优先权编号和帧号将待传输数据从数据接受缓存器中取出,并解析数据信息将筛选出的有用数据按照优先权编号和帧号输出;其中,根据上一帧待传输数据取出完成标志从数据接受缓存器中取出下一帧待传输数据;将解析后的数据信息与预存的拦截信息进行对比,当重合度小于预设值时的解析后的数据信息为有用信息;[0011]所述网络安全监管模块,包括:网络检测单元、访客验证单元和访问流量监控单元;[0012]所述网络检测单元,用于实时对各路数据传输通道的网络传输速率和资源占用率进行检测;[0013]所述访客验证单元,用于通过账户、密码和二维码对网络大数据进行访问;其中,通过账户和密码进行身份验证,通过二维码对某些网络数据的访问进行付费验证;[0014]所述访问流量监控单元,用于实时监测各路数据传输通道的网络数据访问流量,当某一通道的网络数据访问流量超出预设值时,向该通道增加网络流量,同时根据网络数据访问流量的大小确定热点数据类型;[0015]所述控制器,用于协调上述各模块运行。[0016]较佳地,所述大数据实施平台为大数据服务器。[0017]较佳地,所述数据接口包括:串口、并口、USB接口、以太网接口、无线接收器和CAN接口,且每个串口、并口、USB接口、以太网接口、无线接收器和CAN接口的数量均至少为一个。[0018]较佳地,所述网络安全监管模块,还包括:敏感信息过滤单元;所述敏感信息过滤单元,用于对非法广告信息和不健康信息进行滤除。[0019]本发明实施例提供一种基于网络安全的大数据实施方法,包括:[0020]通过带多种数据接口的数据接受器并行采集多路数据,并对各路数据进行帧数据打包且对各路数据每帧的帧头添加优先权编号和帧号;[0021]按照各路数据传输协议对各路数据进行冗余处理和校验处理,将冗余处理和校验处理后的数据存储至各路数据接受缓存器和数据接受存储器;其中,将前十帧数据存储至数据接受缓存器中,以及将前十帧以后的数据存储至数据接受存储器中;当数据接受缓存器中的数据不足十帧时,数据接受存储器中的数据自动向数据接受缓存器中传输;[0022]根据优先权编号和帧号将待传输数据从数据接受缓存器中取出,并解析数据信息将筛选出的有用数据按照优先权编号和帧号输出;其中,根据上一帧待传输数据取出完成标志从数据接受缓存器中取出下一帧待传输数据;将解析后的数据信息与预存的拦截信息进行对比,当重合度小于预设值时的解析后的数据信息为有用信息;[0023]对大数据实施进行网络安全监管;具体包括:实时对各路数据传输通道的网络传输速率和资源占用率进行检测;[0024]通过账户、密码和二维码对网络大数据进行访问;其中,通过账户和密码进行身份验证,通过二维码对某些网络数据的访问进行付费验证;[0025]实时监测各路数据传输通道的网络数据访问流量,当某一通道的网络数据访问流量超出预设值时,向该通道增加网络流量,同时根据网络数据访问流量的大小确定热点数据类型。[0026]较佳地,所述对大数据实施进行网络安全监管;还包括:对非法广告信息和不健康信息进行滤除。[0027]本发明实施例中,提供一种基于网络安全的大数据实施系统及方法,与现有技术相比,其有益效果如下:[0028]本发明通过带多种数据接口的数据接受器并行采集多路数据,并对帧打包数据添加优先权编号和巾贞号,同时对采集的数据分级存储,从而按照优先权编号和巾贞号对存储的数据解析筛选后输出;即在大数据实施过程中,通过多个通道进行大数据采集,不但采集效率高,且采集数据量大;对分级存储后的数据按照优先权编号和帧号输出,使得数据传输有序,不易造成网络堵塞和数据丢失,从而提高了数据处理效率低,资源利用率低。进一步,按照各路数据传输协议对各路数据进行冗余处理和校验处理,提高了数据传输可靠性。[0029]本发明通过网络安全监管模块实时对大数据实施系统进行网络检测和访问流量监控,以及对访客信息进行验证,增强了网络安全性,使数据不易泄露、丢失。特别地,对访客信息进行验证时,还可以通过二维码对某些网络数据的访问进行付费验证,使用方便,实用性强;通过监测各路数据传输通道的网络数据访问流量,可以灵活的调整网速,同时可以判断哪种类型信息访问量大,为网络数据分析提高可靠依据。附图说明[0030]图1为本发明实施例提供的一种基于网络安全的大数据实施系统功能原理框图;[0031]图2为本发明实施例提供的一种基于网络安全的大数据实施方法流程图;[0032]图3为本发明实施例提供的对大数据实施进行网络安全监管具体步骤流程图。具体实施方式[0033]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。[0034]图1为本发明实施例提供的一种基于网络安全的大数据实施系统功能原理框图。如图1所示,该系统包括:大数据实施平台1。[0035]优选地,本发明的大数据实施平台1采用大数据服务器。[0036]具体地,大数据实施平台1,包括:大数据采集模块11、大数据预处理模块12、大数据处理模块13、网络安全监管模块14和控制器15。[0037]其中,大数据采集模块11,用于通过带多种数据接口的数据接受器并行采集多路数据,并对各路数据进行帧数据打包且对各路数据每帧的帧头添加优先权编号和帧号。[0038]需要说明的是,数据接口包括:串口、并口、USB接口、以太网接口、无线接收器和CAN接口,且每个串口、并口、USB接口、以太网接口、无线接收器和CAN接口的数量均至少为一个。[0039]其中,大数据预处理模块12,用于按照各路数据传输协议对各路数据进行冗余处理和校验处理,将冗余处理和校验处理后的数据存储至各路数据接受缓存器和数据接受存储器;其中,将前十帧数据存储至数据接受缓存器中,以及将前十帧以后的数据存储至数据接受存储器中;当数据接受缓存器中的数据不足十帧时,数据接受存储器中的数据自动向数据接受缓存器中传输。[0040]其中,大数据处理模块13,用于根据优先权编号和帧号将待传输数据从数据接受缓存器中取出,并解析数据信息将筛选出的有用数据按照优先权编号和帧号输出;其中,根据上一帧待传输数据取出完成标志从数据接受缓存器中取出下一帧待传输数据;将解析后的数据信息与预存的拦截信息进行对比,当重合度小于预设值时的解析后的数据信息为有用信息。[0041]综上所述,本发明通过带多种数据接口的数据接受器并行采集多路数据,并对帧打包数据添加优先权编号和帧号,同时对采集的数据分级存储,从而按照优先权编号和帧号对存储的数据解析筛选后输出;即在大数据实施过程中,通过多个通道进行大数据采集,不但采集效率高,且采集数据量大;对分级存储后的数据按照优先权编号和帧号输出,使得数据传输有序,不易造成网络堵塞和数据丢失,从而提高了数据处理效率低,资源利用率低。进一步,按照各路数据传输协议对各路数据进行冗余处理和校验处理,提高了数据传输可靠性。[0042]具体地,网络安全监管模块14,包括:网络检测单元141、访客验证单元142和访问流量监控单元143。[0043]其中,网络检测单元141,用于实时对各路数据传输通道的网络传输速率和资源占用率进行检测。[0044]其中,访客验证单元142,用于通过账户、密码和二维码对网络大数据进行访问;其中,通过账户和密码进行身份验证,通过二维码对某些网络数据的访问进行付费验证。[0045]其中,访问流量监控单元143,用于实时监测各路数据传输通道的网络数据访问流量,当某一通道的网络数据访问流量超出预设值时,向该通道增加网络流量,同时根据网络数据访问流量的大小确定热点数据类型。[0046]较佳地,网络安全监管模块14,还包括:敏感信息过滤单元;敏感信息过滤单元,用于对非法广告信息和不健康信息进行滤除。[0047]需要说明的是,本发明中的控制器15,用于协调上述各模块运行。[0048]综上所述,本发明通过网络安全监管模块实时对大数据实施系统进行网络检测和访问流量监控,以及对访客信息进行验证,增强了网络安全性,使数据不易泄露、丢失。特别地,对访客信息进行验证时,还可以通过二维码对某些网络数据的访问进行付费验证,使用方便,实用性强;通过监测各路数据传输通道的网络数据访问流量,可以灵活的调整网速,同时可以判断哪种类型信息访问量大,为网络数据分析提高可靠依据。[0049]图2为本发明实施例提供的一种基于网络安全的大数据实施方法流程图。如图2所示,该方法包括:[0050]步骤S21,通过带多种数据接口的数据接受器并行采集多路数据,并对各路数据进行帧数据打包且对各路数据每帧的帧头添加优先权编号和帧号。[0051]步骤S22,按照各路数据传输协议对各路数据进行冗余处理和校验处理,将冗余处理和校验处理后的数据存储至各路数据接受缓存器和数据接受存储器;其中,将前十帧数据存储至数据接受缓存器中,以及将前十帧以后的数据存储至数据接受存储器中;当数据接受缓存器中的数据不足十帧时,数据接受存储器中的数据自动向数据接受缓存器中传输。[0052]步骤S23,根据优先权编号和帧号将待传输数据从数据接受缓存器中取出,并解析数据信息将筛选出的有用数据按照优先权编号和帧号输出;其中,根据上一帧待传输数据取出完成标志从数据接受缓存器中取出下一帧待传输数据;将解析后的数据信息与预存的拦截信息进行对比,当重合度小于预设值时的解析后的数据信息为有用信息。[0053]步骤S24,对大数据实施进行网络安全监管。[0054]图3为本发明实施例提供的对大数据实施进行网络安全监管具体步骤流程图。如图3所示,步骤S24具体包括:_[0055]步骤S241,实时对各路数据传输通道的网络传输速率和资源占用率进行检测。[0056]步骤S242,通过账户、密码和二维码对网络大数据进行访问;其中,通过账户和密码进行身份验证,通过二维码对某些网络数据的访问进行付费验证。[0057]步骤S243,实时监测各路数据传输通道的网络数据访问流量,当某一通道的网络数据访问流量超出预设值时,向该通道增加网络流量,同时根据网络数据访问流量的大小确定热点数据类型。[0058]较佳地,对大数据实施进行网络安全监管;还包括:对非法广告信息和不健康信息进行滤除。[0059]基于同一发明构思,本发明实施例提供了一种基于网络安全的大数据实施方法,由于该方法解决技术问题的原理与一种基于网络安全的大数据实施系统相似,因此该方法的实施可以参见系统的实施,重复之处不再赘述。[0060]以上公开的仅为本发明的几个具体实施例,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

权利要求:1.一种基于网络安全的大数据实施系统,其特征在于,包括:大数据实施平台(1;所述大数据实施平台(1,包括:大数据采集模块11、大数据预处理模块(12、大数据处理模块13、网络安全监管模块14和控制器15;所述大数据采集模块(11,用于通过带多种数据接口的数据接受器并行采集多路数据,并对各路数据进行帧数据打包且对各路数据每帧的帧头添加优先权编号和帧号;所述大数据预处理模块12,用于按照各路数据传输协议对各路数据进行冗余处理和校验处理,将冗余处理和校验处理后的数据存储至各路数据接受缓存器和数据接受存储器;其中,将前十帧数据存储至数据接受缓存器中,以及将前十帧以后的数据存储至数据接受存储器中;当数据接受缓存器中的数据不足十帧时,数据接受存储器中的数据自动向数据接受缓存器中传输;所述大数据处理模块13,用于根据优先权编号和帧号将待传输数据从数据接受缓存器中取出,并解析数据信息将筛选出的有用数据按照优先权编号和帧号输出;其中,根据上一帧待传输数据取出完成标志从数据接受缓存器中取出下一帧待传输数据;将解析后的数据信息与预存的拦截信息进行对比,当重合度小于预设值时的解析后的数据信息为有用信息;所述网络安全监管模块(14,包括:网络检测单元(141、访客验证单元(142和访问流量监控单元143;所述网络检测单元(141,用于实时对各路数据传输通道的网络传输速率和资源占用率进行检测;所述访客验证单元(142,用于通过账户、密码和二维码对网络大数据进行访问;其中,通过账户和密码进行身份验证,通过二维码对某些网络数据的访问进行付费验证;所述访问流量监控单元(143,用于实时监测各路数据传输通道的网络数据访问流量,当某一通道的网络数据访问流量超出预设值时,向该通道增加网络流量速度,同时根据网络数据访问流量的大小确定热点数据类型;所述控制器15,用于协调上述各模块运行。2.如权利要求1所述的基于网络安全的大数据实施系统,其特征在于,所述大数据实施平台(1为大数据服务器。3.如权利要求1所述的基于网络安全的大数据实施系统,其特征在于,所述数据接口包括:串口、并口、USB接口、以太网接口、无线接收器和CAN接口,且每个串口、并口、USB接口、以太网接口、无线接收器和CAN接口的数量均至少为一个。4.如权利要求1所述的基于网络安全的大数据实施系统,其特征在于,所述网络安全监管模块(14,还包括:敏感信息过滤单元;所述敏感信息过滤单元,用于对非法广告信息和不健康信息进行滤除。5.—种基于网络安全的大数据实施方法,其特征在于,包括:通过带多种数据接口的数据接受器并行采集多路数据,并对各路数据进行帧数据打包且对各路数据每帧的帧头添加优先权编号和帧号;按照各路数据传输协议对各路数据进行冗余处理和校验处理,将冗余处理和校验处理后的数据存储至各路数据接受缓存器和数据接受存储器;其中,将前十帧数据^储至数据接受缓存器中,以及将前十帧以后的数据存储至数据接受存储器中;当数据接受缓存器中的数据不足十帧时,数据接受存储器中的数据自动向数据接受缓存器中传输;根据优先权编号和帧号将待传输数据从数据接受缓存器中取出,并解析数据信息将筛选出的有用数据按照优先权编号和帧号输出;其中,根据上一帧待传输数据取出完成标志从数据接受缓存器中取出下一帧待传输数据;将解析后的数据信息与预存的拦截信息进行对比,当重合度小于预设值时的解析后的数据信息为有用信息;对大数据实施进行网络安全监管;具体包括:实时对各路数据传输通道的网络传输速率和资源占用率进行检测;通过账户、密码和二维码对网络大数据进行访问;其中,通过账户和密码进行身份验证,通过二维码对某些网络数据的访问进行付费验证;实时监测各路数据传输通道的网络数据访问流量,当某一通道的网络数据访问流量超出预设值时,向该通道增加网络流量,同时根据网络数据访问流量的大小确定热点数据类型。6.如权利要求5所述的基于网络安全的大数据实施方法,其特征在于,所述对大数椐实施进行网络安全监管;还包括:对非法广告信息和不健康信息进行滤除。

百度查询: 郑州升达经贸管理学院 一种基于网络安全的大数据实施系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。