申请/专利权人：浙江工业大学

申请日：2020-09-02

公开（公告）日：2024-03-19

公开（公告）号：CN111985845B

主分类号：G06F9/50

分类号：G06F9/50;G06N3/0499;G06N3/084;H04L67/1008

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2020.12.11#实质审查的生效;2020.11.24#公开

摘要：本发明涉及一种异构Spark集群的节点优先级调优方法，本发明在建立节点优先级评价指标体系的基础上，使用层次分析法确定各个性能评价指标的初始权重，进一步使用BP神经网络对初始权重进行优化，生成优化的节点优先级。本发明提出的节点优先级调优方法能够提高Spark系统的运行效率，缩短作业执行时间。相比Spark的默认调度算法和使用初始节点优先级的Spark任务调度算法SDASA，本发明提出的算法能够有效提高集群系统的性能。相对于上述两种算法，当执行不同数据量的同种任务时，使用优化的节点优先级集群性能平均提升10.74％和5.96％；当执行不同种任务时，使用优化的节点优先级集群性能平均提升12.03％和6.05％。

主权项：1.一种异构Spark集群的节点优先级调优方法，其特征在于，包括如下步骤：1分析影响节点性能的静态指标和动态指标，使用层次分析法建立节点优先级评价指标体系，并计算出各指标的初始权重；2在集群中部署分布式集群资源监控系统Ganglia，实时采集节点的评价指标值；3对采集得到的节点的评价指标值进行归一化处理，并将各指标归一化后的数据作为神经网络训练样本的输入；4使用初始权重和归一化后的节点数据计算出节点对应的优先级，将此优先级作为神经网络训练样本的输出；5建立三层BP神经网络模型；其中，建立的三层BP神经网络模型包括输入层、输出层以及隐含层，其中具体如下：5.1确定输入层节点的个数，其中输入节点个数与评价指标的个数相对应，输入层节点个数为8个；5.2确定输出层节点的个数，输出层节点个数为1个；5.3确定隐含层节点的个数；其中，确定隐含层节点的个数的方法为：采用如下公式确定隐含层的神经元个数： 其中α是[1,10]之间的整数，隐含层神经元数S取值范围为[5,9；n是输入层节点个数，为8个；m是输出层节点个数，为1个；6基于训练样本进行BP神经网络训练，得到权重矩阵；具体如下：神经网络的输入是归一化后的各节点性能评价指标的数值，输出是使用各评价指标的初始权重计算得到的每个节点的优先级；BP神经网络训练完成后，对网络进行分析，获得权重矩阵；其中权重矩阵大小为5×9，其中矩阵的前8列分别对应输入层的8个神经元，最后一列对应输出层神经元；矩阵的各行分别对应隐含层的5个神经元；矩阵中第i行第j列的元素表示第j个输入神经元与第i个隐含层神经元之间的权重；矩阵最后一列的元素分别表示输出神经元与各隐含层神经元之间的权重；其中，i＝1,2,..,5；j＝1,2,..,8；7对权重矩阵进行分析处理，得到评价指标体系中各个指标的优化权重；具体如下：7.1采用下列公式计算相关显著性系数： 其中x＝ωjk；7.2采用下列公式计算相关指数：Rij＝|1-e-y1+e-y|其中y＝rij；7.3采用下列公式计算绝对影响系数： 其中i为神经网络输入层神经元，i＝1,2,..,n；j为神经网络输出层神经元，j＝1,2,..,m；k表示神经网络隐含层神经元，k＝1,2,..,p；ωjk表示输出层神经元j和隐含层神经元k之间的权值系数；计算得到的绝对影响系数Sij即为各节点优先级评价指标的优化权重。

全文数据：

权利要求：

百度查询： 浙江工业大学 一种异构Spark集群的节点优先级调优方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD