申请/专利权人:深圳感臻科技有限公司
申请日:2021-05-31
公开(公告)日:2021-11-02
公开(公告)号:CN113590667A
主分类号:G06F16/2457(20190101)
分类号:G06F16/2457(20190101);G06F16/2458(20190101);G06F16/25(20190101)
优先权:
专利状态码:在审-实质审查的生效
法律状态:2021.11.19#实质审查的生效;2021.11.02#公开
摘要:本发明提出了一种基于SparkStreaming的实时数据更新及管理方法,包括:进行配置资源的参数配置;建立元数据信息库表;解析Kafka数据的源参数,获取实时数据更新;读取元数据信息库中的元数据信息,包括读取元数据信息库中的Kafka数据的描述信息,和,更新元数据信息库中对应元数据后读取;修改hive数据信息;读取Kafka数据,对读取到的批次的Kafka数据进行分区,按照分区将Kafka数据解析映射为数据库表。该实时数据存储及管理方法在新增任务只需要修改元数据信息,新建hive表,SparkStreaming同步元数据信息获取数据新增和变化,把Kafka数据一一解析对应hive的数据类型,数据写入hive并同时更新对应数据的offset信息。
主权项:1.一种基于SparkStreaming的实时数据更新及管理方法,其特征在于,所述实时数据存储及管理方法包括:进行配置资源的参数配置;建立元数据信息库表;解析Kafka数据的源参数,获取实时数据更新;读取元数据信息库中的元数据信息,包括读取所述元数据信息库中的所述Kafka数据的描述信息,和,更新所述元数据信息库中对应元数据后读取;修改hive数据信息;读取所述Kafka数据,对读取到的批次的所述Kafka数据进行分区,按照所述分区将所述Kafka数据解析映射为数据库表。
全文数据:
权利要求:
百度查询: 深圳感臻科技有限公司 一种基于Spark Streaming的实时数据更新及管理方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。