买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明公布】一种ETL流程在Spark集群中运行的方法和装置_武汉达梦数据库有限公司_201911320034.8 

申请/专利权人:武汉达梦数据库有限公司

申请日:2019-12-19

公开(公告)日:2020-05-15

公开(公告)号:CN111159268A

主分类号:G06F16/25(20190101)

分类号:G06F16/25(20190101)

优先权:

专利状态码:有效-授权

法律状态:2022.01.04#授权;2020.06.09#实质审查的生效;2020.05.15#公开

摘要:本发明涉及数据库技术领域,提供了一种ETL流程在Spark集群中运行的方法和装置。方法包括从所述元数据库里获取被执行流程的元数据信息,包括ETL功能组件、组件属性信息、连接和连接属性信息;在Spark应用程序里建立一个有向图结构SparkGraph对象,所述SparkGraph对象由多个SparkNode对象构成,并且,所述SparkNode对象之间由SparkEdge对象关联。本发明在Spark应用程序里引入图结构蕴含RDD之间变换的血缘关系,方便的实现了ETL流程在Spark集群上的执行,并且,利用Spark集群的并行执行特性,提高了对大数据迁移转换的ETL流程执行速度。

主权项:1.一种ETL流程在Spark集群中运行的方法,其特征在于,用户已经通过ETL流程设计器设计迁移流程,配置每个ETL功能组件的特定属性,并保存到后台元数据库,方法包括:从所述元数据库里获取被执行流程的元数据信息,包括ETL功能组件、组件属性信息、连接和连接属性信息;在Spark应用程序里建立一个有向图结构SparkGraph对象,所述SparkGraph对象由多个SparkNode对象构成,并且,所述SparkNode对象之间由SparkEdge对象关联,具体的:对应元数据库里每个ETL功能组件创建一个SparkNode对象,SparkNode对象的类型由ETL功能的组件属性信息中的组件类型信息确定;所述类型信息包括读取类型、转换类型和装载类型,其中,读取类型和转换类型组件的功能对应Spark集群API接口的一个Transformation操作集合,装载类型组件的功能对应Spark集群API接口的一个Action操作;对各SparkNode对象之间的连接创建一SparkEdge对象,SparkEdge对象表示图的一个有向边,其中源节点和目的节点从元数据库的连接属性信息里获得,并在SparkGraph对象建立连接;在SparkGraph对象中创建一个虚拟开始节点,虚拟开始节点指向每一个读取类型的SparkNode对象;创建一个虚拟结束节点,对于位于末端的SparkNode对象,设置其指向虚拟结束节点;根据所述有向图结构SparkGraph对象运行时,具体包括:虚拟开始节点作为有向图结构SparkGraph对象运行的入口,调用由SparkEdge对象关联起来的一条或者多条流程分支中的SparkNode对象,并且,在抵达流程分支的装载类型的SparkNode对象之前,仅加载各SparkNode对象中记录的生成规则,并在抵达流程分支的装载类型的SparkNode对象时,根据加载后的生成规则,集中完成源数据的提取、转换和装载动作。

全文数据:

权利要求:

百度查询: 武汉达梦数据库有限公司 一种ETL流程在Spark集群中运行的方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。