申请/专利权人:中国农业银行股份有限公司
申请日:2024-01-23
公开(公告)日:2024-04-26
公开(公告)号:CN117931821A
主分类号:G06F16/23
分类号:G06F16/23;G06F16/22;G06F16/27;G06F16/2458
优先权:
专利状态码:在审-实质审查的生效
法律状态:2024.05.14#实质审查的生效;2024.04.26#公开
摘要:本申请提供一种基于数据湖的数据存储方法、装置、设备和介质,可以用于大数据技术领域。该方法包括:获取数据源系统的多个变更数据,并根据所述多个变更数据对应的主键,从时间拉链表的第一分区中确定所述多个变更数据对应的待变更数据,根据多个变更时间,将多个待变更数据修改为多个历史变更数据,并将所述多个历史变更数据批量存储至对应的第二分区内,将所述第一分区内的多个待变更数据进行删除处理,并将所述多个变更数据批量存储至所述第一分区内。本申请的方法解决了数据湖中的历史数据的时间不是数据的变更时间的问题,并且解决了各个时间版本的历史数据中存在大量未修改的冗余数据的问题。
主权项:1.一种基于数据湖的数据存储方法,其特征在于,所述方法包括:获取数据源系统的多个变更数据,并根据所述多个变更数据对应的主键,从时间拉链表的第一分区中确定所述多个变更数据对应的待变更数据,所述第一分区是指数据的终止生效时间为预设终止生效时间的分区,所述变更数据包括数据的变更时间;根据多个变更时间,将多个待变更数据修改为多个历史变更数据,并将所述多个历史变更数据批量存储至对应的第二分区内;将所述第一分区内的多个待变更数据进行删除处理,并将所述多个变更数据批量存储至所述第一分区内。
全文数据:
权利要求:
百度查询: 中国农业银行股份有限公司 基于数据湖的数据存储方法、装置、设备和介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。