申请/专利权人:上海沄熹科技有限公司
申请日:2021-08-19
公开(公告)日:2024-03-29
公开(公告)号:CN113672683B
主分类号:G06F16/27
分类号:G06F16/27
优先权:
专利状态码:有效-授权
法律状态:2024.03.29#授权;2022.12.30#专利申请权的转移;2021.12.07#实质审查的生效;2021.11.19#公开
摘要:本发明公开基于SparkSQL的分布式数据库元数据同步装置及方法,涉及分布式数据库技术领域;基于Gossip的网络,构建集群节点,其中将分布式数据库集群的Cockroach节点作为内部节点,将SparkSQL的Driver节点作为外部节点,通过外部节点接收内部节点的元数据事件中用户数据库和数据表的元数据信息,并同步用户数据库和数据表的元数据信息至SparkSQL数据仓库。
主权项:1.基于SparkSQL的分布式数据库元数据同步方法,其特征是基于Gossip的网络,构建集群节点,其中将分布式数据库集群的Cockroach节点作为内部节点,将SparkSQL的Driver节点作为外部节点,通过外部节点接收Gossip消息,通过外部节点的请求观察器与响应观察器根据Gossip消息的key对Gossip消息进行分类,过滤出与用户数据库和数据表相关的元数据事件,通过外部节点接收内部节点的元数据事件中用户数据库和数据表的元数据信息,根据元数据事件中用户数据库和数据表的元数据信息,通过Gossip组件实现元数据事件处理器接口,通过元数据事件处理器接口同步用户数据库和数据表的元数据信息至SparkSQL数据仓库。
全文数据:
权利要求:
百度查询: 上海沄熹科技有限公司 基于Spark SQL的分布式数据库元数据同步装置及方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。