申请/专利权人:天翼云科技有限公司
申请日:2023-12-14
公开(公告)日:2024-04-09
公开(公告)号:CN117851405A
主分类号:G06F16/22
分类号:G06F16/22;G06F16/21;G06F16/2457
优先权:
专利状态码:在审-实质审查的生效
法律状态:2024.04.26#实质审查的生效;2024.04.09#公开
摘要:本发明公开了自动化创建和更新数据同步宽表结构的改进方法,包括第一步,通过在数据库中配置表配置的schema元数据及其关联信息配置表,创建和更新多个存储体的宽表结构;第二步,根据最佳实践规则,自动化生成所需宽表字段;第三步,减少冗余配置;第四步,对输出流特定字段的类型进行自定义;第五步,增加表自定义属性表;第六步,将任务宽表涉及到的表关联信息表;第七步,进行表所属的目录名和数据库名的配置。本发明通过在数据库中配置表配置的schema元数据及其关联信息配置表来高效的自动化创建和更新多个存储体的宽表结构,同时自动化生成所需宽表字段,标准化宽表字段设置规则,减少冗余配置,提高配置效率,减少不一致性。
主权项:1.自动化创建和更新数据同步宽表结构的改进方法,其特征在于,所述改进方法包括以下几个步骤;第一步,通过在数据库中配置表配置的schema元数据及其关联信息配置表,创建和更新多个存储体的宽表结构;第二步,根据最佳实践规则,自动化生成所需宽表字段;第三步,减少冗余配置,将介质和存储体拆分为存储体介质表和元数据存储体表,然后再加上元数据信息表,组成核心的基座;第四步,对输出流特定字段的类型进行自定义,通过新增flink任务宽表特定字段类型转换表,来定义要转换类型的字段和转换的类型,解耦输出流的字段类型与输入流的强关联;第五步,增加表自定义属性表,且支持属性自定义配置、属性加解密和替换;第六步,将任务宽表涉及到的表关联信息表,拆分为任务宽表涉及到的表关联信息和元数据存储体,并解析任务对应的宽表及其关联关系;第七步,进行表所属的目录名和数据库名的配置,在元数据存储体表内增加目录名和数据库名。
全文数据:
权利要求:
百度查询: 天翼云科技有限公司 自动化创建和更新数据同步宽表结构的改进方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。