申请/专利权人：中国电力科学研究院有限公司;国网北京市电力公司

申请日：2023-11-29

公开（公告）日：2024-03-12

公开（公告）号：CN117312295B

主分类号：G06F16/215

分类号：G06F16/215;G06F16/22;G06F16/28

优先权：

专利状态码：有效-授权

法律状态：2024.03.12#授权;2024.01.16#实质审查的生效;2023.12.29#公开

摘要：本发明公开了一种电网物资抽检数据治理的方法、装置、介质及设备。其中，方法包括：采集电网物资抽检业务的关键字段信息，建立抽检数据字典架构；根据预设的规则配置抽检数据字典架构中各数据集的关键字段间的关联关系；提取各类电网物资抽检业务相关的标准化文件的标准值数据，按照抽检数据字典架构中关键字段及关联关系进行分类导入和存储，形成抽检数据字典；建立判断数据是否异常的逻辑规则，形成数据清洗模型；将抽检数据字典作为标准参考数据，按照数据清洗模型定义的规则执行待治理的抽检数据文件的数据校核，形成抽检数据文件的数据质量报告，其中数据质量报告包括抽检数据文件的数据整改意见。

主权项：1.一种电网物资抽检数据治理的方法，其特征在于，包括：采集电网物资抽检业务的关键字段信息，建立抽检数据字典架构；根据预设的规则配置所述抽检数据字典架构中各数据集的关键字段间的关联关系；提取各类电网物资抽检业务相关的标准化文件的标准值数据，按照所述抽检数据字典架构中关键字段及关联关系进行分类导入和存储，形成抽检数据字典；建立判断数据是否异常的逻辑规则，形成数据清洗模型；将所述抽检数据字典作为标准参考数据，按照所述数据清洗模型定义的规则执行待治理的抽检数据文件的数据校核，形成所述抽检数据文件的数据质量报告，其中所述数据质量报告包括所述抽检数据文件的数据整改意见；采集电网物资抽检业务的关键字段信息，建立抽检数据字典架构，包括：分别建立所述抽检数据字典架构的物资分类数据集、试验标准数据集、试验项目数据集、关键参数数据集、特征值数据集；采集所述电网物资抽检业务的关键字段信息，分类整理并归入相应的数据集合，建立所述抽检数据字典架构；所述物资分类数据集包括第一物资标识、第二物资标识以及第三物资标识关键字段，并且所述关联关系为：每个所述第一物资标识字段包含多个所述第二物资标识字段，每个所述第二物资标识字段包含多个所述第三物资标识字段，每个所述第三物资标识字段分别关联多个特征值、多个试验项目、多个试验标准，每个试验项目关联一个或多个关键参数；每个试验项目关联一个或多个试验标准；每个关键参数关联一个或多个特征值；所述逻辑规则包括：数据规范性校核、数据一致性校核、数据重复性校核、数据完整性校核、数据波动检查、离群值检查、空值检查、数据乱码检查，其中所述数据规范性校核：采用正则表达式匹配来确认数据符合预定的格式和标准；所述数据一致性校核：采用局部敏感哈希算法用于数据查重和一致性比对；所述数据重复性校核：使用哈希函数对数据行进行唯一性检查，以识别和删除重复条目；所述数据完整性校核：应用关系数据库的外键约束和触发器来确保数据间的逻辑一致性；所述数据波动检查：利用时间序列分析方法识别数据中不合常规或异常的波动；所述离群值检查：采用Z-分数或四分位距方法识别和标记数据中的离群值；所述空值检查：使用SQL查询或编程语言中的空值检测函数识别缺失或空白的数据字段；所述数据乱码检查：应用字符编码检测库识别和纠正数据中的乱码或错误的字符集。

全文数据：

权利要求：

百度查询： 中国电力科学研究院有限公司;国网北京市电力公司 一种电网物资抽检数据治理的方法、装置、介质及设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD