买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明公布】基于消息队列的数据分片同步方法及系统_中科物缘科技(杭州)有限公司;中国科学院计算技术研究所数字经济产业研究院_202010682331.3 

申请/专利权人:中科物缘科技(杭州)有限公司;中国科学院计算技术研究所数字经济产业研究院

申请日:2020-07-15

公开(公告)日:2020-11-24

公开(公告)号:CN111988359A

主分类号:H04L29/08(20060101)

分类号:H04L29/08(20060101);G06F3/06(20060101)

优先权:

专利状态码:有效-授权

法律状态:2023.08.15#授权;2020.12.11#实质审查的生效;2020.11.24#公开

摘要:本发明涉及一种基于消息队列的数据分片同步方法及系统。本发明的目的是提供一种基于消息队列的数据分片同步方法及系统,以解决在数据同步过程中,数据节点失效和数据节点作恶所带来的数据不一致的问题。本发明的技术方案是:S1、管理节点获取各数据节点发送的当前数据节点已消费消息队列的消息序号M1;S2、管理节点将各数据节点已消费消息队列的消息序号M1中最大的消息序号作为选定的消息序号N;S3、数据节点在NM1时,继续消费消息队列,直到本地消费的消息队列消息序号为N后停止消费;S4、管理节点获取各数据节点发送的当前数据节点已消费消息队列的消息序号M2和当前数据节点持有的每个数据分片的HASH值。本发明适用于数据存储领域。

主权项:1.一种基于消息队列的数据分片同步方法,其特征在于:S1、管理节点获取各数据节点发送的当前数据节点已消费消息队列的消息序号M1;S2、管理节点将各数据节点已消费消息队列的消息序号M1中最大的消息序号作为选定的消息序号N;S3、数据节点在NM1时,继续消费消息队列,直到本地消费的消息队列消息序号为N后停止消费;S4、管理节点获取各数据节点发送的当前数据节点已消费消息队列的消息序号M2和当前数据节点持有的每个数据分片的HASH值;S5、管理节点判断各数据节点的已消费消息队列消息序号M2与选定的消息序号N是否相等,若相等,则记录相应数据节点为正常数据节点;S6、管理节点根据正常数据节点上报的数据分片HASH值,按简单多数原则确定每一个数据分片X的HASH值HASH_X;S7、管理节点判断各数据节点持有的数据分片X的HASH值是否与HASH_X一致,若一致则判定相应数据节点具备作为数据分片X的同步源节点的资格,并在具备资格的数据节点中确定数据分片X的唯一的同步源节点;S8、管理节点向数据节点发送的指令,指令中包含:数据分片同步源节点的节点名、数据分片同步源节点的数据分片HASH值和数据分片在数据节点中的新分布信息;S9、数据节点根据指令中数据分片同步源节点的数据分片HASH值和数据分片在数据节点中的新分布信息确定需要同步的数据分片,根据指令中数据分片同步源节点的节点名向相应同步源节点请求并接收需要同步的数据分片。

全文数据:

权利要求:

百度查询: 中科物缘科技(杭州)有限公司;中国科学院计算技术研究所数字经济产业研究院 基于消息队列的数据分片同步方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。