申请/专利权人:浪潮软件股份有限公司
申请日:2019-11-20
公开(公告)日:2024-04-12
公开(公告)号:CN110879813B
主分类号:G06F16/23
分类号:G06F16/23;G06F16/27
优先权:
专利状态码:有效-授权
法律状态:2024.04.12#授权;2024.03.05#著录事项变更;2020.04.07#实质审查的生效;2020.03.13#公开
摘要:本发明公开了一种基于二进制日志解析的MySQL数据库增量同步实现方法,属于数据库数据采集技术领域。本发明的基于二进制日志解析的MySQL数据库增量同步实现方法,该方法通过读取、解析MySQL的二进制日志文件,获取、恢复MySQL数据库源库的增量数据,将解析后的增量数据以字符串形式暂存到CMSP消息队列中,借助CMSP的加密压缩传输,解析入库端的CMSP传输的加密压缩传输的消息队列,实现MySQL数据库从源库到MySQL数据库目标库的数据同步。该发明的基于二进制日志解析的MySQL数据库增量同步实现方法高效安全,能够实现数据库有无主键的数据增删改增量同步,具有很好的推广应用价值。
主权项:1.一种基于二进制日志解析的MySQL数据库增量同步实现方法,其特征在于:该方法通过读取、解析MySQL的二进制日志文件,获取、恢复MySQL数据库源库的增量数据,将解析后的增量数据以字符串形式暂存到CMSP消息队列中,借助CMSP的加密压缩传输,解析入库端的CMSP传输的加密压缩传输的消息队列,实现MySQL数据库从源库到MySQL数据库目标库的数据同步,其中,MySQL的二进制日志文件以事件形式记录对数据库表的操作,并为每个已提交的事件类型分配唯一的日志名log_name和日志位置log_pos,日志位置log_pos作为对数据库进行新增、更新、删除增量操作的解析的标记点;当增量采集开始时记录一个起始的增量点即日志名log_name和日志位置log_pos,以该增量点为起点进行数据事件类型的解析,当解析表为配置表,同时存在新增、更新、删除事件时,对事件内容进行按行解析,查询增量结束时会记录一个结束的日志名log_name和日志位置log_pos;下次查询增量时,用上一次结束的日志名log_name和日志位置log_pos作为起始日志名log_name和日志位置log_pos继续进行新增、更新、删除增量操作的解析。
全文数据:
权利要求:
百度查询: 浪潮软件股份有限公司 一种基于二进制日志解析的MySQL数据库增量同步实现方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。