申请/专利权人：上海卓钢链科技有限公司

申请日：2021-07-08

公开（公告）日：2024-03-19

公开（公告）号：CN113505173B

主分类号：G06F16/27

分类号：G06F16/27;G06F16/22;G06F16/215;G06F16/28

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2021.11.02#实质审查的生效;2021.10.15#公开

摘要：本发明公开了一种数据采集同步系统与同步方法，同步系统包含用户端、服务端，服务端内置有数据库、审核模块、采集同步模块；用户端用于生成传输至服务端的全量采集同步请求，全量采集同步请求内存储有采集数据；服务端将全量采集同步请求分别传输至数据库、审核模块；审核模块用于接收全量采集同步请求并审核并生成传输至采集同步模块、数据库、用户端的审核数据，审核数据内存储有采集数据；数据库用于接收并存储全量采集同步请求、审核数据；采集同步模块依据审核数据进行采集数据的同步；同步方法包含步骤D1‑D6。

主权项：1.一种数据采集同步系统，其特征在于，包含用户端、服务端，所述服务端内置有数据库、审核模块、采集同步模块；所述用户端用于生成传输至所述服务端的全量采集同步请求，所述全量采集同步请求内存储有采集数据；所述服务端将所述全量采集同步请求分别传输至所述数据库、所述审核模块；所述审核模块用于接收所述全量采集同步请求并审核并生成传输至所述采集同步模块、所述数据库、所述用户端的审核数据，所述审核数据内存储有所述采集数据；所述数据库用于接收并存储所述全量采集同步请求、所述审核数据；所述采集同步模块依据所述审核数据进行采集数据的同步；所述采集同步模块依据所述审核数据进行采集同步的具体步骤如下：步骤A1：采集同步模块接收审核数据，审核数据内存储有采集数据，采集同步模块判断采集数据是否指定了分片列；步骤A2：若没有指定分片列，则判断采集数据中是否包含PK字段、UK字段；若包含PK字段、UK字段则按照PK字段、UK字段的优先级进行分片；若未包含PK字段、UK字段则不进行分片，所有采集数据作为一个分片进行采集同步；若指定分片列，则判断该分片列是否包含索引；步骤A3：若包含索引，则依据索引进行分片采集同步；若不包含索引，则不进行分片，所有采集数据作为一个分片进行采集同步；步骤A4：对采集数据按照步骤A2-A3的分类进行采集同步；所述采集同步模块包含全量采集同步模块、日志采集模块、流量式增量采集转换模块、流式采集清洗模块、可视化管理配置模块；所述全量采集同步模块依据所述审核数据进行采集同步，所述全量采集同步模块还用于通过Flink内存计算框架对采集数据进行全量数据的采集同步；所述日志采集模块用于与所述数据库创建连接监控所述数据库内的binlog日志数据并同步投递到kafka中进行保存；所述流量式增量采集转换模块用于从所述kafka中获取所述binlog日志数据并进行流式处理转换；所述流式采集清洗模块用于从所述kafka中获取所述binlog日志数据并进行清洗；所述可视化管理配置模块用于进行采集同步的开始、停止、查询同步状态、状态异常告警、数据流实时规则配置、数据流实时在线清洗、数据流实时结构化、数据量化；所述流量式增量采集转换模块对所述binlog日志数据进行流式处理转换的具体步骤如下：步骤B1：由用户端发出增量采集同步请求至采集同步模块；步骤B2：采集同步模块先判断是否有全量采集同步请求任务在运行；若有则暂停增量采集同步请求任务，一段时间后再次判断是否有全量采集同步请求任务在运行，直至全量采集同步请求任务完成；若没有则判断增量采集同步请求是否有分发规则；步骤B3：若有分发规则则按照该分发规则将binlog日志数据分发到不同的topic中；若没有分发规则则将binlog日志数据分发到固定的topic中；步骤B4：将topic中的binlog日志数据与采集数据合并得到全量数据。

全文数据：

权利要求：

百度查询： 上海卓钢链科技有限公司 一种数据采集同步系统与同步方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD