申请/专利权人：深圳先进技术研究院

申请日：2018-04-28

公开（公告）日：2024-03-19

公开（公告）号：CN110427263B

主分类号：G06F9/50

分类号：G06F9/50;G06F9/455;G06N20/00

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2020.09.22#实质审查的生效;2019.11.08#公开

摘要：本发明实施方式公开了一种面向Docker容器的Spark大数据应用程序性能建模方法，还公开了相应的设备以及存储设备。本发明实施例中，通过获取影响Docker容器及Spark大数据应用程序性能的关键参数及相应的实验数据，然后将实验数据放入机器学习中进行模型训练，并获取对应的资源分配模型，再根据资源分配模型以及输入的测试数据获取最优资源分配模型；本发明通过对Docker容器和Spark大数据应用程序的资源参数进行联合调优，找出Spark大数据应用程序的资源参数与Docker容器的资源参数之间的对应关系，依据Docker容器的资源参数的大小来设置最佳的Spark大数据应用程序的资源分配参数值，从而使基于Docker容器的Spark大数据应用程序更加稳定。

主权项：1.一种面向Docker容器的Spark大数据应用程序性能建模方法，其特征在于，包括：获取影响Docker容器及Spark大数据应用程序性能的关键参数，并采集相应的实验数据；包括：获取Docker容器的关键参数，所述关键参数包括CPU、内存和磁盘参数；在限制Docker容器某一资源使用量的情况下，调节Spark大数据应用程序的资源分配，并获取影响Spark大数据应用程序执行性能的关键参数；将所述实验数据放入机器学习中进行模型训练，并获取对应的资源分配模型；包括：将所述实验数据分成多组数据作为模型训练数据集；将所述模型训练数据集输入到R机器学习库或Python机器学习库中进行模型训练，获取R机器学习库或Python机器学习库资源分配模型；根据所述资源分配模型以及输入的测试数据获取最优资源分配模型；包括：将测试数据输入获取的资源分配模型中进行性能预测，获取预测值；将所述预测值与真实值相比较获取误差率；根据误差率评估各资源分配模型，并找出最优资源分配模型。

全文数据：

权利要求：

百度查询： 深圳先进技术研究院 一种面向Docker容器的Spark大数据应用程序性能建模方法、设备及存储设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD