申请/专利权人：中山大学

申请日：2020-10-09

公开（公告）日：2024-04-23

公开（公告）号：CN112328355B

主分类号：G06F9/455

分类号：G06F9/455

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2021.02.26#实质审查的生效;2021.02.05#公开

摘要：本发明公开了一种针对长寿命容器的自适应最优内存预留估计方法，所述方法应用于数据中心Spark分布式集群的不同阶段，包括以下步骤：S1：在服务器集群的初始阶段执行MEER+策略，搜集服务器中应用程序运行的历史数据，并利用历史数据估计集群在初始阶段的最优内存预留；S2：在服务器集群的稳定阶段执行DEEP‑MEER策略，利用历史数据得到稳定阶段的最优内存预留模型，并利用该模型估计当前阶段的最优内存预留。本发明对数据中心中的Spark分布式集群在不同生命周期阶段采用不同的最优内存预留估计策略，在集群初始阶段通过细化步长逼近最优值，提高了估计的准确度，在集群稳定阶段利用丰富的历史数据建立强化学习模型，从而保证了应用程序性能的稳定。

主权项：1.一种针对长寿命容器的自适应最优内存预留估计方法，所述方法应用于数据中心Spark分布式集群的不同阶段，其特征在于，包括以下步骤：S1：在Spark分布式集群的初始阶段执行MEER+策略，搜集服务器中应用程序运行的历史数据，并利用历史数据估计Spark分布式集群在初始阶段的最优内存预留；所述MEER+策略执行流程包括三个过程分别记为：试运行阶段、迭代搜索阶段、逼近阶段，所述试运行阶段指的是应用程序首次被提交时，在超额预留下运行，试运行生成最初的内存占用及程序运行数据，由历史服务器和度量系统记录，并基于内存占用数据，使用直方图分析模型计算出内存使用量的期望值，然后将内存使用量的期望值传达给资源管理器；所述迭代搜索阶段指的是当应用程序被再次提交时，资源管理器将采用上一次的估计结果Mn-1作为本次运行的内存预留，MEER记录程序运行过程中的内存占用量及程序的运行时间，计算内存占用期望Mn，并评估性能，如果性能满足终止条件中的任意一条，则终止搜索，Mn-2即为最终估计出的最优预留；否则，MEER将计算出的期望值Mn作为该应用程序的新内存预留值，应用于下一次执行；所述终止条件有三种，条件一：执行时间大于预设值，条件二：垃圾回收耗时大于预设值，条件三：内存利用率达到预期目标；所述逼近阶段指的是根据终止条件的不同，最优内存预留估计有两个分支；如果在迭代搜索阶段满足的终止条件为条件一或条件二，则MEER+的内存预留计算公式为：Mn＝Mn-1+Mf,whereMfMt-1-Mt，1其中Mf是为了矫正估计结果而添加的增量或减量,Mt是满足终止条件的估计的内存预留；逼近阶段在不再满足任何终止条件时终止，最终的最优内存预留为上一次迭代的估计结果Mn-1；如果在迭代搜索阶段满足的终止条件为条件三，则MEER+执行外侧的过程，内存预留计算公式为：Mn＝Mn-1-Mf,whereMfMt-M，2直到满足条件一或条件二才停止，最终的最优内存预留为上一次迭代中使用的内存预留值Mn-2，即再上一轮迭代的估计结果；S2：在Spark分布式集群的稳定阶段执行DEEP-MEER策略，利用已知历史数据得到稳定阶段的最优内存预留模型，并利用该模型估计当前阶段的最优内存预留；所述DEEP-MEER策略执行方式为：当应用程序被提交时，资源管理器将采用上一次的最优内存预留估计结果Mn-1作为本次运行的内存预留，历史服务器和度量系统记录下本次运行的内存占用数据，并使用Actor-Critic模型计算出内存使用量的期望值Mn，然后将期望值传达给资源管理器。

全文数据：

权利要求：

百度查询： 中山大学 一种针对长寿命容器的自适应最优内存预留估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD