申请/专利权人:河南大学
申请日:2023-12-21
公开(公告)日:2024-04-16
公开(公告)号:CN117891796A
主分类号:G06F16/182
分类号:G06F16/182;G06F16/13;G06F16/16
优先权:
专利状态码:在审-公开
法律状态:2024.04.16#公开
摘要:本发明提出了一种适用于多读少写场景的HDFS海量小文件存储方法,用以解决现有HDFS存储小文件导致NameNode占用率高以及访问效率低的技术问题。本发明的步骤为:构建阶段:将小文件合并成较大的数据文件并为每个数据文件构建一级索引和二级索引;使用阶段:若是查询操作则查询索引返回结果,若是更新、删除和添加操作,则统一转换为添加,实现更新、删除、添加小文件操作。本发明采用两种索引技术结合的一级索引,既能保证高效的访问,又能协助实现小文件的修改、更新以及删除操作;在小文件访问速度上提升明显,在归档构建的速度上有所提升;具有更新、删除、添加小文件的功能,且效率较高。
主权项:1.一种适用于多读少写场景的HDFS海量小文件存储方法,其特征在于,其步骤如下:步骤一、构建阶段:将小文件合并成较大的数据文件并为每个数据文件构建一级索引和二级索引;步骤二、使用阶段:若是查询操作则查询索引返回结果,若是更新、删除和添加操作,则统一转换为添加,实现更新、删除、添加小文件操作。
全文数据:
权利要求:
百度查询: 河南大学 一种适用于多读少写场景的HDFS海量小文件存储方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。