申请/专利权人：郑州云智信安安全技术有限公司

申请日：2023-09-20

公开（公告）日：2024-02-09

公开（公告）号：CN117544564A

主分类号：H04L47/10

分类号：H04L47/10;H04L47/20;H04L41/069;H04L43/028;H04L9/40

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.01#实质审查的生效;2024.02.09#公开

摘要：本发明属于大数据量下的日志数据接收流量控制技术领域，公开一种单节点大数据量下的日志数据接收限流和解析范化的方法和系统，该方法通过多重过滤规则授权的日志源数、单个日志源授权的单日日志量数、日志带宽限流的阈值、过滤条件等将接入的日志数据进行过滤，过滤后使系统能够在瞬时的大数据日志接入时稳定运行，以抵抗瞬时的大流量冲击，同时最大限度保留有用的原始日志数据。本发明通过各种过滤和限制手段，将日志接入量控制在系统能承受的正常范围内，在面临瞬时大数据量冲击时能够保证平稳应对。

主权项：1.一种单节点大数据量下的日志数据接收限流和解析范化的方法，其特征在于，包括：步骤1，创建日志接收类，持续监听514端口，并持续接收原始日志，从原始日志中提取有用的信息封装成事件处理对象；所述事件处理对象的属性包括：日志的类型，采集器ip，日志源ip，原始日志的字节数组；步骤2，判断事件处理对象中的日志源ip是否存在于日志源ip的集合中：如果存在，则读取授权文件中的单个日志源每日授权的日志数，判断单个日志源ip每日发送的日志数是否超出单个日志源每日授权的日志数，如果超出，则返回步骤1继续执行；如果不超出，则更新单个日志源ip每日发送的日志数，然后执行步骤3；如果不存在，读取授权文件中的授权日志源节点数，判断存放日志源ip的对象大小是否小于授权日志源节点数，如果小于，则将事件处理对象中的日志源ip放入日志源ip的集合中，然后执行步骤3，如果不小于，则返回执行步骤1；步骤3，读取系统设置，判断系统是否开启日志带宽限流：如果开启限流，根据实际的硬件配置，动态获取限流的阈值，针对每条事件处理对象判断是否超过阈值，如果超出，返回步骤1继续执行，如果不超出，则执行步骤4；如果未开启限流，则直接执行步骤4；步骤4，将事件处理对象存入kafka中；步骤5，多线程从kafka中读取事件处理对象进行处理，读取事件处理对象中的原始日志的字节数组，并将原始日志的字节数组进行范式化，解析成事件对象，针对不同的事件的属性字段进行赋值；步骤6，读取过滤器设置，判断事件对象是否被过滤器的条件拦截，如果被过滤器拦截，则返回到步骤5；如果未被拦截，则执行步骤7；步骤7，读取事件加密配置，判断原始消息是否需要存储时加密，如果需要加密，根据设置的加密算法对事件的原始消息字段进行加密，然后执行步骤8；如果不需要加密则直接执行步骤8；步骤8，判断事件中设置的存储引擎，根据事件对象中存放引擎的字段属性判断调用不同的存储策略，存入不同的数据库中。

全文数据：

权利要求：

百度查询： 郑州云智信安安全技术有限公司 一种单节点大数据量下的日志数据接收限流和解析范化的方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD