申请/专利权人：西安烽火软件科技有限公司

申请日：2023-11-28

公开（公告）日：2024-03-08

公开（公告）号：CN117667393A

主分类号：G06F9/50

分类号：G06F9/50;G06F16/182;G06F3/06

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.26#实质审查的生效;2024.03.08#公开

摘要：本发明公开了一种基于HDFS写数据均衡的策略方法，属于大数据存储领域，本发明通过引入考虑数据节点的磁盘使用率，将磁盘使用率过高的节点从可选的节点列表中移除，从而在写数据的时候，尽可能保持集群节点的存储使用率均衡。客户端在写数据时候，会向申请能够用于当前写操作的节点列表；采用默认副本放置策略，其并没有考虑到节点存储使用率的情况，高数据节点还是有可能被持续的写入数据；将存储使用率高的节点筛选出来，将它们加入排除集合中；对HDFS的副本放置策略做出适当的优化，使数据落地过程中始终达到集群数据块负载均衡，并且尽量减少此过程带来的额外资源消耗。

主权项：1.一种基于HDFS写数据均衡的策略方法，其特征在于：具体包含如下步骤；步骤1，客户端在写数据时候，向管理节点NameNode申请能够用于当前写操作的节点列表；步骤2，通过管理节点NameNode判断集群如果没有可用数据节点DataNode，且目标数据节点DataNode队列小于客户端要求副本数，则返回管理节点DataNode队列；步骤3，在集群有可用节点前提下，通过节点向NameNode的心跳信息中获取各个节点的存储使用率；步骤4，筛选存储使用率高的节点，将数据节点的存储使用率超过预定值的节点加入排除队列中；步骤5，采用默认副本放置策略选择存储系统中合适的节点；步骤6，判断该节点是否为合适的节点，包括判断该节点的服务、状态、读写请求量以及剩余存储是否满足当前写操作；步骤7，重复上述步骤直到目标节点数等于所要求的副本个数，返回目标队列。

全文数据：

权利要求：

百度查询： 西安烽火软件科技有限公司 一种基于HDFS写数据均衡的策略方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD