买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明公布】一种基于共享存储的元数据分布式事务方法_天翼云科技有限公司_202311715259.X 

申请/专利权人:天翼云科技有限公司

申请日:2023-12-14

公开(公告)日:2024-04-12

公开(公告)号:CN117873651A

主分类号:G06F9/46

分类号:G06F9/46;G06F16/176;G06F16/18

优先权:

专利状态码:在审-实质审查的生效

法律状态:2024.04.30#实质审查的生效;2024.04.12#公开

摘要:本发明提供一种基于共享存储的元数据分布式事务方法,属于计算机存储技术领域,该基于共享存储的元数据分布式事务方法包括如下步骤:事务协调者流程:第一阶段:1.1、接收到批量提交任务或启动事务命令式时,获取事务开始时间BeginLSN,即为开始事务ID:T1;1.2、将事务IDT1写入到事务协调者日志,包括参与的数据分片信息,D1、D2、D3;通过使用本方案,与现有两阶段分布式事务相比,该方案可以有效解决事务协调者节点挂掉,参与者收不到提交或是回滚通知,参与者会一直处于中间状态无法完成事务的情况;事务的成功与失败,均以共享事务日志中的Commit标记为准,避免各数据节点丢失消息后,可能导致的数据不一致问题。

主权项:1.一种基于共享存储的元数据分布式事务方法,其特征在于,包括如下步骤:事务协调者流程:第一阶段:1.1、接收到批量提交任务或启动事务命令式时,获取事务开始时间BeginLSN,即为开始事务ID:T1;1.2、将所述事务IDT1写入到事务协调者日志,包括参与的数据分片信息,DataNode1、DataNode2、DataNode3;1.3、将分片数据、事务ID和协调者日志号分发到对应的参与节点,,记录并等待参与节点返回Prepare信息;1.4、事务协调者接收其他事务并进行处理,当写入事务日志条数达到阈值N或需要切换ChunkID进行写的时候时,将当前所有处在Prepare阶段事务进行一次刷盘。第二阶段:2.1、当接收到所有参与节点返回Prepare成功后,获取事务CommitLSN,即为提交事务ID:T2;2.2、将事务IDT1、T2写入到事务协调者日志,写入成功则表示事务提交成功;2.3、返回上层应用,批量提交任务完成。并通知所有数据节点事务已经提交以及提交的事务IDT2,注意由于是异步通知,多个事务提交消息可以合并后通知参与者节点,大幅减少二阶段数据通行量;异常处理:3.1、当某一个数据长时间未回复或故障时,事务协调者主动发起询问信息,prepare是否完成;3.2、当三次询问均未得到回复,则认为任务对应数据节点已经故障,更新协调者日志,事务提交失败,并向应用返回事务提交失败,同时通知各数据节点取消事务。数据节点流程:第一阶段:1.1、收到事务协调者发来的事务信息,在内存中记录读写记录wsetrset以及ID和协调者日志ID信息,并提交WAL写日志;1.2、写WAL成功后,更新内存状态到写WAL成功状态,并通知协调者prepare完成;第二阶段:2.1、当接收到事务协调者发送过来的事务提交信息后,更新事务IDT2,并更新内存和写WAL事务提交日志;2.2、当写WAL事务提交日志成功后,内存事务信息,包括wsetrset等,事务提交完成;异常处理:3.1、当事务处于prepare,还未提交时,读写访问到该部分数据,则需要数据节点需要到协调者节点该事务是否已经提交,根据提交情况确定新的事务是继续执行还是返回冲突,说明该方式不会导致额外的数据通信,只是从以前协调者主动通知变成了按需获取事务状态,该方式结合批量异步通知参与者事务提交,可以极大的减少二阶段节点间通信次数,提升事务提交性能和时延;3.2、当协调者节点故障或无法回复时,通过协调者日志,亦可查看分析该事务ID对应的事务是否已经提交;3.3、当分析事务日志未提交,且协调者节点无法连接时,可对协调者事务日志进行seal操作,seal后协调者日志不能再写,对应未提交的事务,后续均无法再提交,需要取消事务。

全文数据:

权利要求:

百度查询: 天翼云科技有限公司 一种基于共享存储的元数据分布式事务方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。