申请/专利权人：国能(北京)商务网络有限公司

申请日：2023-12-18

公开（公告）日：2024-04-02

公开（公告）号：CN117421308B

主分类号：G06F16/21

分类号：G06F16/21;G06F16/215

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2024.02.06#实质审查的生效;2024.01.19#公开

摘要：本发明涉及数据处理技术领域，具体为数据中台的数据重构方法；包括判断所述数据主题模型重构列表中的待处理字段是否为目标商品字典型参数数据；若是，则执行操作获取第一辅助表，若否，则执行相关操作获取第二辅助表；并基于所述第一辅助表和第二辅助表对数据的调用读取进行重构。通过该方法，在保障数据主题存储不发生信息丢失的情况下，可以实现精简低价值数据并对剩余数据进行重构。

主权项：1.一种数据中台的数据重构方法，其特征在于，包括如下步骤：对数据主题进行预处理，获取具有待重构字段数据的数据主题模型重构列表，具体为，获取数据主题的主题名、子表、字段以及热度信息；所述热度信息包括热度区间以及热度区间中的字段热度值；基于所述字段热度值筛选第一待删除数据；基于所述热度信息获取总热度区间的字段热度值变化值以及字段热度值稳定率，并基于所述字段热度值变化值和字段热度值稳定率筛选第二待删除数据；剔除所述第一待删除数据和第二待删除数据获取待重构字段数据，并将所述待重构字段数据纳入数据主题模型重构列表；判断数据主题模型重构列表中的待处理字段是否为目标商品字典型参数数据；若是，则在待处理字段所属数据主题中的各子表中获取同名字段，并在所属数据主题中创建第一辅助表，将待处理字段在所属数据主题中的各子表中的历史数据做并归去重处理，并按自增顺序存储到所述第一辅助表；若否，则在待处理字段所属数据主题中的各子表中，读取字段数据并将重复的字段标记为重组字段、重复的数据值标记重组数据，再创建第二辅助表以及主键字段，并将待处理字段和所述重组字段作为所述第二辅助表主键字段之后的数据存储字段，再将原子表中存在的待处理字段和所述重组字段的值之间的关系组合数据迁移到所述第二辅助表中，并将原子表中的非首个重组字段和待处理字段从表结构中删除；删除数据中台缓存中涉及所述待处理字段的所有子表的缓存数据；并基于所述第一辅助表和第二辅助表对数据的调用读取进行重构，其中，修改点在数据中台的处理步骤为数据装载过程，所述数据装载过程的修改具体包括：A.获取数据主题的所有子表，并识别具有重构记录的表作为待扩展表，同时载入所述第一辅助表和第二辅助表；B.根据所述第一辅助表或第二辅助表，对所述待扩展表进行数据字段扩增，并将扩增后的待扩展表保存为数据临时服务表；C.修改数据装载过程中的表数据读取参数，重定向到所述数据临时服务表；D.重复执行B和C，直到所有待扩展表的数据临时服务表都被创建和重定向；E.继续执行数据装载过程的表数据读取参数操作；F.清空所述数据临时服务表。

全文数据：

权利要求：

百度查询： 国能(北京)商务网络有限公司 一种数据中台的数据重构方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD