申请/专利权人：北京工业大学

申请日：2024-01-03

公开（公告）日：2024-04-16

公开（公告）号：CN117891597A

主分类号：G06F9/50

分类号：G06F9/50;G06F17/16;G06N3/0464;G06N3/048;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.03#实质审查的生效;2024.04.16#公开

摘要：本发明提供一种面向数据中心微服务的资源瓶颈检测方法面向数据中心微服务的资源瓶颈检测方法，分为五个步骤：初始化、应用级别性能状态特征提取、性能状态模型构建、资源瓶颈检测模型构建、资源瓶颈检测。本发明针对数据中心微服务应用，提取了应用状态日志中与CPU资源相关的特征属性集，基于所提取的特征属性集提取了应用级别的性能状态特征，基于所提取的应用级别性能状态特征构建了性能状态模型，并利用图注意力神经网络构建资源瓶颈检测模型。本发明涉及基于图注意力神经网络的训练构建方法，可在任意时间窗口检测出应用中存在的资源瓶颈微服务，对微服务资源调度，提升应用性能具有指导意义。

主权项：1.一种面向数据中心微服务的资源瓶颈检测方法，其特征在于：由五个步骤组成：初始化、应用级别性能状态特征提取、性能状态模型构建、资源瓶颈检测模型构建、资源瓶颈检测；参数如下：神经网络的学习率step、迭代次数β、批尺寸b，第1至3层图注意力神经网络的输出矩阵列数c1、c2、c3，图注意力神经网络的注意力头数head，全连接神经网络输出层列数k；step取0.001，β取30-50，b取64-128，c1取64，c2取32，c3取8，head取3，k取1；执行本方法前，将所需日志数据读入；1初始化：使用日志中的微服务性能指标以及对应时间窗口内的请求执行链路追踪信息进行数据的初始化，日志包含的请求类型信息RT＝{1，2…T}；日志包含的微服务应用状态S＝{s1，s2…sN}，第t个时间窗口下的应用状态st由应用性能状态、前端工作负载强度、应用资源状态以及请求执行信息组成，表示为st＝{pt，ft，bt，rt}；应用性能状态pt由每个微服务的性能状态组成，表示为pt＝{pt，1，pt，2…pt，V}，微服务i的性能状态pt，i由多个机器性能指标组成，表示为pt，i＝{mpt，i，1，mpt，i，2…mpt，i，o}，前端工作负载强度ft由请求类型信息RT中每个请求类型的负载强度组成，表示ft＝{ft，1，ft，2…ft，T}，第i类请求的工作负载的强度为ft，j；应用资源状态信息bt由每个微服务的资源状态即瓶颈与非瓶颈组成，表示为微服务i的资源状态为bt，i；请求执行信息rt由多个请求执行记录组成，表示为rt＝{rt，1，rt，2...rt，m}；第q个请求执行记录rt，q由请求类型、响应时间以及微服务执行记录列表组成，可以表示为每个微服务服务执行记录k，p，l包含当前微服务k、上游微服务p以及执行时间l；2应用级别性能状态特征提取：2.1对于任意时间窗口t，微服务应用级别性能状态特征由微服务平均响应延迟与工作负载强度组成，首先使用矩阵定义所有微服务平均响应延迟，平均响应延迟矩阵如下 矩阵的行数为H，与应用中的微服务数量相同，矩阵的列数为T，与工作负载类型数量相同；每一行代表一个微服务，每一列代表一类请求，矩阵中的元素li，j为微服务i对应某类请求的平均响应延迟，由第t个时间窗口下的请求执行记录rt计算，如公式1所示；cmij为在请求执行记录rt中，请求类型为j且当前微服务为i的微服务执行记录数量，clij为在请求执行记录rt中，请求类型为j且当前微服务为i的微服务执行记录中的响应延迟总和； 2.1对于任意时间窗口t，使用矩阵定义微服务的工作负载强度，工作负载强度矩阵如下 矩阵的行数为H，与应用中微服务数量相同，矩阵的列数为T，与工作负载类型数量相同，每一行代表一个微服务，每一列代表一类请求，矩阵中的元素为某请求在微服务上的工作负载强度，由前端工作负载强度ft与请求执行记录rt计算，如公式2所示,ft，j为前端工作负载强度ft中请求类型为j的工作负载强度，crj为在请求执行记录rt中，请求类型为j的请求执行记录数量，sci，j为在请求执行记录rt中，请求类型为j，当前微服务为i的微服务执行记录总数量； 3性能状态模型构建：3.1对于所有时间窗口t，其性能状态模型由微服务应用性能状态特征与调用依赖结构组成，首先通过邻接矩阵定义其调用依赖结构，邻接矩阵形式如下 矩阵的行数与列数均为H，该矩阵的行数与列数与应用中的微服务应用中的微服务数量相等，每一行代表一个微服务，每一列代表一个微服务，矩阵中的元素为无服务间的两两组合；矩阵的任意元素dua，1≤u≤H，1≤a≤H，表示微服务mu是否调用微服务ma；3.2对于任意时间窗口t，使用矩阵定义性能状态特征，性能状态特征由节点特征嵌入矩阵Yt与混合工作负载特征矩阵Qt组成，其形式如下： 节点特征嵌入矩阵Yt与混合工作负载特征矩阵Qt的行数均为微服务数量H，列数分别为U和S；矩阵Yt任意元素yj,q,1≤j≤H,1≤q≤U，表示微服务mj中，节点特征嵌入在属性q上的属性值；矩阵Qt任意元素yj，q，1≤j≤H，1≤q≤U，表示微服务mj中，混合工作负载特征在属性q上的属性值；3.3对于任意时间窗口t，将时间窗口t下的应用资源状态bt作为资源状态矩阵Lt，其形式如下：Lt＝[bt1，bt2…btH]T资源状态矩阵Lt的行数为H，与应用中微服务的数量相同，列数为1，矩阵中任意元素bt，q表示对应微服务q在时间窗口t下所处的资源状态；3.4对于任意时间窗口t，根据日志中的请求执行信息R初始化邻接矩阵A，对R中请求执行记录进行遍历，当发现微服务执行记录存在k,p,l时，设置邻接矩阵A中的dp,k＝1，对于不存在调用依赖关系的微服务组合，设置dp,k＝0；对于每一个微服务mi，根据其包含微服务数量H、平均响应延迟矩阵ALt、工作负载强度矩阵WLt以及性能指标特征pt初始化节点特征嵌入矩阵Yt和混合工作负载特征矩阵Qt，节点特征嵌入矩阵Yt使用平均响应延迟矩阵ALt与性能指标特征pt填充，混合工作负载特征矩阵Qt使用工作负载强度矩阵WLt填充；使用应用资源状态bt填充资源状态矩阵Lt；4资源瓶颈检测模型构建4.1使用图注意力神经网络作为微服务资源瓶颈检测模型的设计结构，微服务资源瓶颈检测模型由节点特征嵌入网络和预测网络构成，节点嵌入网络由三层图注意力卷积网络层构成，预测网络由三层全连接层构成；节点特征嵌入网络的输入为尺寸为H×H的邻接矩阵A与尺寸为H×U的节点嵌入特征矩阵Y，输出为尺寸为H×L的微服务的隐藏特征矩阵Z；预测网络的输入为尺寸为L+S-U的隐藏特征向量与混合工作负载特征矩阵Q对应行向量联结后的向量，输出为资源瓶颈概率p，设置神经网络的学习率为step，训练的批尺寸为b；节点嵌入网络中的图注意力卷积层使用基于空域的图卷积计算方法，如公式3所示，其中是第m层的输入矩阵Zm中第i行的特征向量，图的节点特征嵌入矩阵Y为Z0，图的节点特征嵌入矩阵Y中第i行节点特征向量为Ni为邻接矩阵A中第i行元素为1的列下标集合，vj∈Ni表示邻接矩阵A中元素di，j为1；aijm是第m层的注意力系数，计算公式如公式4所示，是第m层的权重参数矩阵的转置，||表示将两个特征向量进行级联操作，σ·是LeakyReLU非线性激活函数；Wm是图卷积操作的权重矩阵，通过Wm可以将第m层具有cm维特征的矩阵Zm映射至cm+1维，Wm是行数为cm、列数为cm+1的实数矩阵，其中cm为图注意力神经网络第m层输出矩阵列数；ξ·是sigmoid激活函数；节点嵌入网络输出大小为H×L的隐藏特征矩阵，每一行为微服务的隐藏特征向量Zm，神经元个数为8； 预测网络中的全连接层由输入层、隐藏层以及输出层组成，输入层的神经元数量Ninput为隐藏特征向量Zm与混合工作负载特征向量Qm的特征数量之和；隐藏层的神经元数量是Ninput2；输出层的神经元数量为1；对于一个批尺寸大小为b的输入批，训练时损失值根据预测网络输出与对应时间窗口下资源状态矩阵Lt计算，具体公式如公式5所示；其中N是图中的微服务数量，yi是微服务i对应资源状态矩阵Lt中的元素bti，pi是预测网络的输出；ω0，1是动态权重，具体公式如公式6所示；ni表示资源状态矩阵Lt中值为i的元素个数； 4.2使用微服务应用状态集W训练微服务资源瓶颈检测模型；4.2.1训练构建好的微服务资源瓶颈检测模型，将微服务应用状态集W中的所有时间窗口下的wt作为样本数据，wt代表该微服务应用在时间窗口t时的状态；每次训练输入b个样本，邻接矩阵A、节点特征嵌入Y以及混合工作负载特征矩阵Q作为模型的输入值，通过向前传播算法和Adam优化器更新模型参数进行训练，重复输入直到所有作业训练完毕；4.2.2重复3.2.1的过程β次，对模型进行多轮参数更新，在参数更新结束后作业训练完成，完成对应的微服务资源检测模型构建；5资源瓶颈检测5.1对任意时间窗口下的微服务应用状态w，将邻接矩阵A与节点嵌入矩阵Y输入至微服务资源瓶颈检测模型中的节点嵌入网络，将输出的微服务隐藏特征矩阵与混合工作负载特征矩阵Q联结，并将联结后的每一行特征向量循环输入到预测网络，即可得到每一个微服务所处的资源瓶颈状态概率p，将p0.5的微服务视为资源瓶颈微服务。

全文数据：

权利要求：

百度查询： 北京工业大学 一种面向数据中心微服务的资源瓶颈检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD