申请/专利权人：平安科技(深圳)有限公司

申请日：2020-12-16

公开（公告）日：2024-04-16

公开（公告）号：CN112507027B

主分类号：G06F16/27

分类号：G06F16/27;G06F16/23;G06F16/28

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.05.18#实质审查的生效;2021.03.16#公开

摘要：本申请涉及数据处理技术领域，揭露一种基于Kafka的增量数据同步方法、装置、设备及介质，其中方法包括当监测到数据库事务发生改变时，获取数据库事务生成的二进制日志数据，并将二进制日志数据写入Kafka对应类别中，然后将存储在Kafka对应类别中的二进制日志数据批量写入到数据仓库工具中，并对二进制日志数据执行数据去重还原处理，获取目标日志数据；当到达预设时间时，获取目标日志数据对应的用户操作后的数据库值，作为增量数据，并将增量数据与数据仓库工具中历史数据进行合并，得到同步增量数据。本申请还涉及区块链技术，二进制日志数据存储于区块链中。本申请通过实时拉取二进制日志数据，提高了增量数据同步的效率。

主权项：1.一种基于Kafka的增量数据同步方法，其特征在于，包括：基于数据同步工具，对数据库进行监测；当监测到所述数据库的数据库事务发生改变时，获取所述数据库事务生成的二进制日志数据；读取数据库配置参数，其中，所述数据库配置参数包括：文件命名方式、文件切割方式、文件循环写入方式以及二进制日志数据的格式中的至少一种；在所述数据库中建立临时存储区，并根据所述数据库配置参数创建文件，并将所述二进制日志数据写入所创建的文件中，以将所述二进制日志数据写入所述临时存储区；创建Kafka对应类别，将所述二进制日志数据写入所述Kafka对应类别中；按照预设的时间间隔，将存储在所述Kafka对应类别中的二进制日志数据批量写入到数据仓库工具中；在所述数据仓库工具中，对所述二进制日志数据执行数据去重还原处理，以获取最新时间戳的二进制日志数据，作为目标日志数据；当到达预设时间时，获取所述目标日志数据对应的用户操作后的数据库值，作为增量数据，并将所述增量数据与数据仓库工具中历史数据进行合并，得到同步增量数据。

全文数据：

权利要求：

百度查询： 平安科技(深圳)有限公司 基于Kafka的增量数据同步方法、装置、设备及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD