申请/专利权人：深圳市合纵天下信息科技有限公司

申请日：2024-01-09

公开（公告）日：2024-04-23

公开（公告）号：CN117539841B

主分类号：G06F16/182

分类号：G06F16/182;G06F8/61;G06F9/46;G06F16/11;G06F16/16;G06F16/176;G06F16/23

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2024.03.01#实质审查的生效;2024.02.09#公开

摘要：本发明涉及数据管理技术领域，公开了一种分布式文件系统元数据管理系统，包括键值存储模块、一致性并发控制模块、分布式架构模块和元数据操作模块，所述键值存储模块实现键值存储机制，用于存储和访问元数据的键值对，所述一致性并发控制模块实现并发控制机制，用于确保在并发操作期间维护元数据的一致性，所述分布式架构模块用于设计和实现分布式架构，实现系统的可扩展性和容错性，所述元数据操作模块用于支持各种元数据操作，所述键值存储模块与一致性并发控制模块之间相互关联。该系统解决了在分布式文件系统中管理元数据的挑战，通过利用键值存储和高级并发控制机制，提供增强的可扩展性、改进的一致性和高效的元数据管理。

主权项：1.一种分布式文件系统元数据管理系统，包括键值存储模块、一致性并发控制模块、分布式架构模块和元数据操作模块，其特征在于：所述键值存储模块实现键值存储机制，用于存储和访问元数据的键值对；所述一致性并发控制模块实现并发控制机制，用于确保在并发操作期间维护元数据的一致性，采用锁定技术、版本控制技术和事务管理技术，防止冲突并确保数据完整性；所述分布式架构模块用于设计和实现分布式架构，元数据被分布在多个服务器上，用于实现可用性和有效的负载均衡；所述元数据操作模块用于支持各种元数据操作，包括文件和目录的创建、修改和删除；所述键值存储模块与一致性并发控制模块之间相互关联，所述一致性并发控制模块与分布式架构模块之间相互关联，所述分布式架构模块与元数据操作模块之间相互关联，所述元数据操作模块与键值存储模块之间相互关联；所述分布式架构模块用于管理分布式系统的整体架构和通信，包括有数据分布复制模块、节点管理模块、消息传递模块和故障处理模块；分布式架构模块用于将数据分布到不同的节点，并处理数据的复制和同步；分布式架构模块用于管理分布式系统中的节点，处理节点的加入和退出；分布式架构模块用于节点之间的消息传递，提供可靠的消息传递机制；分布式架构模块用于处理节点故障和网络分区问题，使用故障检测和恢复机制来保证系统的可靠性；所述锁定技术的具体步骤包括如下：在元数据操作模块中，对于需要修改元数据的操作，首先获取一个锁定，确保在并发操作期间只有一个线程修改该元数据；当一个线程获取到锁定后，其他线程将被阻塞，直到该线程完成对元数据的修改并释放锁定；锁定是粒度为文件或目录的，确保对特定元数据的修改是原子；版本控制技术的具体步骤包括如下：在元数据操作模块中，对于每次修改元数据的操作，都创建新的版本，并将该版本与之前的版本进行关联；每个版本都包含元数据的完整副本，用于在需要时回滚到先前的版本；事务管理技术的具体步骤包括如下：在元数据操作模块中，对于一系列需要原子执行的元数据操作，将其组合成一个事务；事务管理技术确保在并发操作期间，所有操作全部执行成功，否则全部回滚，用于保持数据的一致性；如果在事务执行过程中发生错误或冲突，回滚事务并恢复到事务开始之前的状态；分布式文件系统元数据管理系统的操作方法，包括以下步骤：S1、设计分布式架构：将元数据分布在多个服务器上，使用分布式架构模块管理系统的整体架构和通信，包括数据分布复制模块、节点管理模块、消息传递模块和故障处理模块；S2，实现键值存储机制：使用键值存储模块实现元数据存储和访问，键值存储模块提供快速和直接访问特定元数据元素的能力；S3，实现一致性并发控制机制：使用一致性并发控制模块确保在并发操作期间维护元数据的一致性，采用锁定、版本控制和事务管理技术处理并发操作之间的冲突，一致性并发控制模块使用锁机制、多版本并发控制和时间戳排序算法来处理并发操作；S4，支持元数据操作：实现元数据操作模块，支持文件和目录的创建、修改和删除操作，记录每个元数据操作，实现跟踪和恢复，在故障或不一致情况下保证数据的完整性；S5，实现分布式元数据管理：接收来自客户端的元数据访问请求；从集群管理单元获取多个计算机节点的注册信息，并按照预定的规则显示注册信息；对元数据访问请求进行解析，并访问与解析结果相关联且为在线状态的计算机节点；从关联的在线计算机节点获取与元数据访问请求对应的元数据信息；将元数据信息格式转换为元数据，并将元数据返回给客户端；将元数据信息格式转换为元数据的过程通过以下步骤实现：元数据信息解析：首先，从关联的在线计算机节点获取与元数据访问请求对应的元数据信息，元数据信息以特定的格式进行编码或存储，包括JSON或XML，对获取的元数据信息进行解析，将其还原为数据结构或对象形式；创建元数据对象：根据解析得到的元数据信息，创建对应的元数据对象；关联元数据对象：将创建的元数据对象与对应的文件或目录进行关联，通过标识符或路径来实现；返回元数据：将创建和关联的元数据对象返回给客户端，以满足元数据访问请求，将元数据对象转化为特定的格式进行传输，使得客户端解析和使用元数据信息。

全文数据：

权利要求：

百度查询： 深圳市合纵天下信息科技有限公司 一种分布式文件系统元数据管理系统及其操作方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD