申请/专利权人：北京数方科技有限公司

申请日：2023-09-18

公开（公告）日：2024-04-30

公开（公告）号：CN117251448B

主分类号：G06F16/22

分类号：G06F16/22;G06F16/215;G06F16/23

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2024.01.05#实质审查的生效;2023.12.19#公开

摘要：本发明公开了一种宽表拉链表数据处理方法及装置，从宽表拉链表的数据源表中抽取增量数据，并根据所述增量数据及宽表拉链表的历史数据，加工获取宽表拉链表增量数据；将宽表拉链表增量数据与历史数据进行整合，将历史数据设置为失效状态，将增量数据设置为生效状态，在宽表拉链表中插入增量数据。本发明方案包括了源表增量数据提取、宽表拉链表增量数据加工、宽表拉链表数据处理、宽表拉链表数据删除、宽表拉链表数据月迁处理等一整套宽表拉链解决方案，能够解决全量分区表数据冗余存储问题，实现多源表数据组成的宽表拉链表，减轻拉链表加工的复杂过程，降低宽表拉链表的实现难度。

主权项：1.一种宽表拉链表数据处理方法，其特征在于，包括以下步骤：从宽表拉链表的数据源表中抽取增量数据，并根据所述增量数据及宽表拉链表的历史数据，加工获取宽表拉链表增量数据；具体包括：从组成宽表拉链的数据表中选择一张表作为主表，其它表作为辅助表；从主表中提取主表增量数据；获取一张辅助表全量数据，并与主表增量数据进行关联，获取主表变化与辅助表的拉平数据；关联所有辅助表，获取由于主表发生变化产生的增量数据信息；获取辅助表新增数据及从宽表拉链表中获取宽表最新切面数据；利用辅助表的数据更新宽表切面数据，并记录数据更新标识；过滤宽表切面数据，保留被更新过的数据；根据主表、辅助表的数据拉平结果表与宽表切面更新后的更新表，进行反向关联，去除两个结果集中重复的数据；将主表、辅助表的数据拉平结果表数据与去除两个结果集中重复的结果数据进行合并处理，得到宽表拉链表增量数据；当存在多张辅助表时，依次获取辅助表的增量数据，从宽表拉链表中获取宽表最新切面数据；利用辅助表的数据更新宽表切面数据，并记录数据更新标识；将宽表拉链表增量数据与历史数据进行整合，将历史数据设置为失效状态，将增量数据设置为生效状态，在宽表拉链表中插入增量数据；具体包括：获取宽表拉链表增量数据，并进行数据去重处理；获取拉链表数据切面，并利用拉链表切面数据和增量去重后数据进行关联，获取变更数据；创建临时数据表；从变更数据中过滤出无历史的新增数据，写入临时表中；从变更数据中过滤出有历史的新增数据，将新增数据写入临时表中；从变更数据中过滤出受影响的历史数据，更新历史数据的过期时间，将数据写入临时表中；将临时表的数据写入拉链表中，覆盖历史分区。

全文数据：

权利要求：

百度查询： 北京数方科技有限公司 一种宽表拉链表数据处理方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD