申请/专利权人：苏州浪潮智能科技有限公司

申请日：2020-11-13

公开（公告）日：2022-12-20

公开（公告）号：CN112486670B

主分类号：G06F9/50

分类号：G06F9/50;G06K9/62

优先权：

专利状态码：有效-授权

法律状态：2022.12.20#授权;2021.03.30#实质审查的生效;2021.03.12#公开

摘要：本发明提供一种基于AEP内存的HBase集群性能优化方法及系统，均能够：采用分层聚类算法对Hbase集群的HBase任务进行聚类，得到一组任务分组；获取HBase集群的可用内存；获取HBase集群的当前内存资源状态；依据用户自定义的内存刷写规则和获取的当前内存资源状态,按照分层聚类输出的任务分组，为每一个任务分组中的HBase任务进行内存配额；依据内存配额对HBase任务进行分发和执行；所述用户自定义的内存刷写规则，包括在对每一个任务分组中的HBase任务进行内存配额时：对分组中的HBase任务逐个进行内存配额，并优先为任务分组内支持AEP的HBase任务分配足够的内存且优先分配AEP内存,之后为不支持AEP的HBase任务分配内存且优先分配普通内存。本发明用于提升HBase集群性能。

主权项：1.一种基于AEP内存的HBase集群性能优化方法，其特征在于，包括步骤：根据用户自定义的分层聚类原则，采用分层聚类算法对Hbase集群的HBase任务进行聚类，得到一组任务分组；获取HBase集群的可用内存，HBase集群的内存包括AEP内存和普通内存;获取HBase集群的当前内存资源状态；依据用户自定义的内存刷写规则和获取的当前内存资源状态,按照分层聚类输出的任务分组，为每一个任务分组中的HBase任务进行内存配额；依据内存配额，对HBase任务进行分发和执行；所述用户自定义的内存刷写规则，包括在对每一个任务分组中的HBase任务进行内存配额时：对分组中的HBase任务逐个进行内存配额，并优先为任务分组内支持AEP的HBase任务分配足够的内存且优先分配AEP内存,之后为不支持AEP的HBase任务分配内存且优先分配普通内存；用户自定义的分层聚类原则，包括1级分层聚类原则、2级分层聚类原则、...、N级分层聚类原则，N为正整数，其中：1级分层聚类原则，是依据用户自定义的第1类聚类基准进行聚类；2级分层聚类原则，是依据用户自定义的第2类聚类基准进行聚类；依此类推，N级分层聚类原则是依据用户自定义的第N类聚类基准进行聚类；N=2；1级分层聚类原则，是依据用户自定义的HBase任务的任务优先级、任务类型和冷热数据类型的组合方式进行聚类；2级分层聚类原则，是依据HBase任务的AEP直访模式、AEP内存模式和普通内存模式，对每一个1级聚类分组分别进行聚类；所述自定义的内存刷写规则，还包括：按照任务优先级递减并且刷写数据由热数据到冷数据的先后顺序，依据HBase集群的内存区分类型，对各任务分组进行内存配额；在对任务分组进行内存配额时，优先对高优先级热数据的任务分组进行内存配额。

全文数据：

权利要求：

百度查询： 苏州浪潮智能科技有限公司 一种基于AEP内存的HBase集群性能优化方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD