申请/专利权人：南方电网数字电网集团有限公司;深圳供电局有限公司

申请日：2021-08-16

公开（公告）日：2024-04-30

公开（公告）号：CN113656370B

主分类号：G06F16/182

分类号：G06F16/182;G06F16/2458;G06F16/28;G06F16/27

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2024.04.09#专利申请权的转移;2021.12.03#实质审查的生效;2021.11.16#公开

摘要：本申请涉及一种电力量测系统数据处理方法、装置、计算机设备和存储介质。通过在接收到电力量测系统的待处理数据时，根据待处理数据的业务类型确定数据类型，并根据数据类型将待处理数据存储至分布式文件系统的数据存储区域中的第一存储位置，并基于第一存储位置对应的计算组件和存储周期，将第一存储数据存储至分布式文件系统中的第二存储位置，并将第二存储数据发送至设置于电力量测系统的数据发布区域，从而电力量测系统中的业务应用可以访问第二存储数据。相较于传统的电力量测系统数据存储和处理的方式，本方案通过将不同类型的数据按照不同的存储策略进行存储，实现了对海量计量数据的精细化处理，提高了电力系统数据的处理合理性。

主权项：1.一种电力量测系统数据处理方法，其特征在于，应用于数据处理设备，所述数据处理设备中设置有分布式文件系统，所述方法包括：接收到电力量测系统的待处理数据，获取所述待处理数据对应的业务类型；根据所述业务类型确定所述待处理数据的数据类型，并根据所述数据类型将所述待处理数据存储至对应的第一存储位置，得到第一存储数据，包括：若所述数据类型为非实时数据，通过Sparkstreaming计算组件读取所述待处理数据，并将所述待处理数据存储至数据准备层；所述数据准备层设置于所述分布式文件系统中；若所述数据类型为实时数据，通过Sparkstreaming计算组件和sparksql计算组件读取所述待处理数据并对所述待处理数据进行数据清洗，得到清洗数据，将所述清洗数据存储至redis内存数据库；所述redis内存数据库设置于所述分布式文件系统中；其中，所述数据准备层的数据存储时间小于所述redis内存数据库的数据存储时间；所述第一存储位置设置于分布式文件系统的数据存储区域中；所述数据存储区域包括存储时间不同的多个存储位置；根据所述第一存储位置对应的计算组件和存储周期，将所述第一存储数据存储至所述分布式文件系统中的第二存储位置，得到第二存储数据，包括：若所述第一存储位置为数据准备层，通过sparksql计算组件将所述第一存储数据实时存储至所述分布式文件系统中的细节数据层；所述细节数据层用于存储进行数据清洗后的数据和或永久存储的数据；若所述第一存储位置为redis内存数据库，通过sparksql计算组件将所述第一存储数据按照预设存储周期定时存储至所述细节数据层；所述分布式文件系统中还包括主题数据层和报表数据层，所述主题数据层用于永久存储加工后的统计结果数据，所述报表数据层用于永久存储汇总后形成的报表；所述方法还包括：通过sparksql计算组件加载所述细节数据层，通过离线计算成统计结果数据和报表数据，分别存储于所述主题数据层和报表数据层；将所述第二存储数据发送至所述数据处理设备中的数据发布区域，以使所述电力量测系统中的业务应用通过预设接口访问所述数据发布区域中的第二存储数据，包括：通过sparksql计算组件从所述第二存储位置读取所述第二存储数据，并根据预设算法以及预设统计规则获取所述第二存储数据对应的统计结果数据和所述第二存储数据对应的报表数据；将所述第二存储数据、所述统计结果数据以及所述报表数据发送至所述数据发布区域中的多个数据库；通过数据服务组件提供访问接口，以使所述电力量测系统的各业务应用调用所述访问接口访问所述数据发布区域的数据的访问。

全文数据：

权利要求：

百度查询： 南方电网数字电网集团有限公司;深圳供电局有限公司 电力量测系统数据处理方法、装置和计算机设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD