买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明公布】大数据清洗系统_尚特杰电力科技有限公司_202310455286.1 

申请/专利权人:尚特杰电力科技有限公司

申请日:2023-04-25

公开(公告)日:2023-05-26

公开(公告)号:CN116166655A

主分类号:G06F16/215

分类号:G06F16/215;G06F16/182;G06F16/2458

优先权:

专利状态码:有效-授权

法律状态:2023.07.07#授权;2023.06.13#实质审查的生效;2023.05.26#公开

摘要:本发明公开了一种大数据清洗系统,包括:采集器、分布式文件系统、调度平台DolphinScheduler、协调服务端zookeeper、计算引擎Spark和多个数仓;调度平台DolphinScheduler用于配置数据采集任务,将采集器采集的原始数据传输至分布式文件系统存储,并通过协调服务端zookeeper进行协调服务,将分布式文件系统中存储的原始数据传输至计算引擎Spark进行清洗,以及将清洗后的原始数据分别存储至多个数仓,以满足多种数据使用需求。本发明实施例的大数据清洗系统,通过采集器、分布式文件系统、调度平台DolphinScheduler、协调服务端zookeeper、计算引擎Spark和多个数仓能够对庞大的数据进行高效地清洗,保证了大数据分析以及评估结果的准确性和价值性,对光伏电站的运维和相关用电指标地预测起到了根本性保障。

主权项:1.一种大数据清洗系统,其特征在于,所述系统包括:采集器、分布式文件系统、调度平台DolphinScheduler、协调服务端zookeeper、计算引擎Spark和多个数仓;所述调度平台DolphinScheduler用于配置数据采集任务,将所述采集器采集的原始数据传输至所述分布式文件系统存储,并通过所述协调服务端zookeeper进行协调服务,将所述分布式文件系统中存储的原始数据传输至所述计算引擎Spark进行清洗,以及将清洗后的原始数据分别存储至多个所述数仓,以满足多种数据使用需求。

全文数据:

权利要求:

百度查询: 尚特杰电力科技有限公司 大数据清洗系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术
相关技术