申请/专利权人：焦点科技股份有限公司

申请日：2021-03-17

公开（公告）日：2022-07-19

公开（公告）号：CN112966025B

主分类号：G06F16/2458

分类号：G06F16/2458;G06F16/17;G06F16/11;G06F16/2455;G06F16/27

优先权：

专利状态码：有效-授权

法律状态：2022.07.19#授权;2021.07.02#实质审查的生效;2021.06.15#公开

摘要：本发明公开了一种binlog日志挖掘字典实现方法，其特征在于，包括步骤1：在进行挖掘前，对字典库进行初始化准备动作，所述初始化准备动作包括部署字典库、检查源库和字典库的库表结构；步骤2：重演binlog日志挖掘过程中捕获到ddl记录；步骤3：在库表的指定位置进行回溯挖掘。本发明以极小代价获取挖掘过程中字典信息，通过额外引入字典库作为持久层，并将ddl操作重演至字典库，这样可以还原挖掘时间点上数据库的字典状态，从而保障了字典与挖掘日志进度一致的问题。解决现有mysql8.0之前日志挖掘字典信息无法获取和mysql8.0之后binlog记录字典信息开销过大的问题。

主权项：1.一种binlog日志挖掘字典实现方法，其特征在于，包括如下步骤：步骤1：在进行挖掘前，对字典库进行初始化准备动作，所述初始化准备动作包括部署字典库、检查源库和字典库的库表结构；步骤2：重演binlog日志挖掘过程中捕获到ddl记录；所述步骤2具体为：步骤2-1：开启binlog日志挖掘，捕获并分析binlog日志中每个事件的信息，对于ddl事件，解析出ddlsql语句，通过正则表达式解析出库名和表名；步骤2-2：通过配置的需要挖掘数据的库表来判断对应的ddl是否需要重演至字典库，经判断，如果需要重演至字典库，选中对应的库名，并执行挖掘到的ddl语句至字典库中，执行成功后将执行记录信息插入trace表中，用于回溯重演；步骤2-3：当ddl语句重演到字典库后，清除缓存中该ddl语句所对应的库表缓存，待后续挖掘到相应库表的dml操作时，从字典库重新加载该库表的字典信息到缓存中以保持字典与挖掘进度的同步；步骤3：在库表的指定位置进行回溯挖掘；所述步骤3具体为：步骤3-1：指定挖掘的偏移位置，如果偏移位置是gtid模式，则使用全局事务号，如果是非gtid模式，则指定文件名和当前文件偏移的位置；步骤3-2:构建当前时间点的新快照信息，首先对快照记录表进行转换，将原快照记录新表转化为当前的快照记录旧表,将原快照记录旧表转换为当前的快照记录旧表的临时文件,将原快照记录旧表的临时文件数据清除并转化为当前的快照记录新表，清除trace表中所有早于当前的快照记录旧表的快照记录旧表数据，使用查询表结构语句将当前字典库上的表结构信息和最后一个ddl事件的偏移位置信息记录在当前的快照记录新表上；步骤3-3：进行回溯挖掘，删除字典库上的关于源库的库表，具体为：读取快照旧表中的所有ddl,并执行，执行成功后，读取trace表的ddl执行记录，如果该执行记录的偏移位置量小于等于指定阈值,则将其重演至字典库的库表上，如果该记录的偏移位置量大于指定阈值,将其标记删除状态，跳转步骤2，挖掘binlog日志并重演至字典库中。

全文数据：

权利要求：

百度查询： 焦点科技股份有限公司 一种binlog日志挖掘字典实现方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD