申请/专利权人:钱依珂
申请日:2022-08-30
公开(公告)日:2024-04-12
公开(公告)号:CN117874011A
主分类号:G06F16/215
分类号:G06F16/215;G06F11/30;G06F16/22;G06F16/27
优先权:
专利状态码:在审-实质审查的生效
法律状态:2024.04.30#实质审查的生效;2024.04.12#公开
摘要:本发明公开了大数据处理方法及大数据处理系统,所述处理方法包括以下步骤:将采集的监控数据清洗后,离线分析数据,分析设备中的不良数据,并对不良数据进行修复;采集模块定时采集设备的监控数据,并将采集数据传输至负载均衡服务器。本发明通过将采集的监控数据清洗后,离线分析数据,分析设备中的不良数据,并对不良数据进行修复,修复数据后按不同的域名分开打包数据,同时将打包后的数据文件临时存储到分布式文件系统,该大数据处理方法通过将采集到的多类监控数据进行预清洗,去除数据中的冗余数据,降低数据处理量,并提高数据的质量,且数据清洗后,将数据中的不良数据修复再进行存储,进一步提高数据的质量。
主权项:1.大数据处理方法,其特征在于:所述处理方法包括以下步骤:S1:采集设备的监控数据,并将数据发送到数据传输平台;S2:清洗监控数据且清洗后离线分析数据,以分析监控数据中的不良数据,并对不良数据进行修复;S3:检测离线分析结果,并将分域名后的访问数据以及监控数据进行下载打包,同时压缩归档并存储。
全文数据:
权利要求:
百度查询: 钱依珂 大数据处理方法及大数据处理系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。