申请/专利权人:天津南大通用数据技术股份有限公司
申请日:2024-01-26
公开(公告)日:2024-05-03
公开(公告)号:CN117632991B
主分类号:G06F16/23
分类号:G06F16/23;G06F16/2457
优先权:
专利状态码:有效-授权
法律状态:2024.05.03#授权;2024.03.19#实质审查的生效;2024.03.01#公开
摘要:本发明提供了一种数据库变更数据采集的方法及系统,包括:数据库处理事务日志,提取事务元信息,并按配置输出记录变更信息;日志传输器按照事务标识将记录归类,并根据事务类型执行相应的操作;数据采集者从消息队列读取已提交事务记录。本发明有益效果:对数据采集者保证了记录变更的事务性,解决了长事务、大事务带来的性能问题,大大提高数据库的性能和可靠性,提升数据库的使用体验。
主权项:1.一种数据库变更数据采集的方法,其特征在于,包括:数据库处理事务日志,提取事务元信息,并按配置输出记录变更信息;日志传输器按照事务标识将记录归类,并根据事务类型执行相应的操作;数据采集者从消息队列读取已提交事务记录;根据数据库变更数据采集方法构建相应的数据库变更数据采集系统,所述系统包括:数据库:支持逻辑解码后的日志输出,输出事务中变更的记录,并携带事务信息;日志传输器:接收数据库的逻辑解码日志,按照事务方式将日志推入消息队列;消息队列:缓存或存储输入的消息,并按照事务方式将日志输出给数据采集者;数据采集者:接收消息队列的输出,并进行后续的数据处理;其中,日志传输器接收从数据库传来的逻辑日志信息;当接收到事务开始信息时,记录事务标识,并在消息队列上开启一个事务,将事务标识与消息队列上的事务信息对应;每当收到属于该数据库事务的逻辑日志后,将此日志输出到消息队列的相应事务中;当收到事务结束信息时,根据结束类型操作消息队列上的相应事务,将其提交或中止;所述事务方式具体为:将逻辑解码日志的推送过程作为一个事务单元,在数据库和消息队列之间的数据传输中,控制所有日志全部成功推送或全部失败回滚。
全文数据:
权利要求:
百度查询: 天津南大通用数据技术股份有限公司 一种数据库变更数据采集的方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。