申请/专利权人：北京工业大学

申请日：2024-01-03

公开（公告）日：2024-04-09

公开（公告）号：CN117851863A

主分类号：G06F18/24

分类号：G06F18/24;G06F18/23213;G06N3/0442;G06N3/08;G06F18/22;G06F17/16

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本发明公开了一种面向微服务异常检测的特征指标选取方法，分为五个步骤：初始化、特征指标时间序列预测模型构建、特征指标选取模型构建、特征指标去冗余模型构建、微服务异常检测。本发明针对不同种类的异常，以异常发生时刻为基点，使用循环神经网络通过历史数据预测正常状态下，自该时刻点起一段时间内指标数据序列，若异常状态下相应时段的指标真实序列与该预测序列存在较大差异，即表示该指标对于异常有较强的显示度，可作为异常特征指标，然后，利用聚类算法验证此指标在多微服务场景下的普适性，最后，使用谱聚类算法对异常特征指标集合进行去冗余。通过本方法可以更准确得到表征异常类别的精简指标集，进而提高微服务异常检测的准确率。

主权项：1.一种面向微服务异常检测的特征指标选取方法，其特征在于：由五个步骤组成：初始化、特征指标时间序列预测模型构建、特征指标选取模型构建、特征指标去冗余模型构建、微服务异常检测；参数如下：神经网络的学习率step，迭代次数β，滑动窗口缺省值sw，第1层与第2层循环神经网络隐藏层单元个数c1、c2，K均值聚类的聚类数量clusterNum，谱聚类特征值数量featureNum；step取0.001，β取100，sw取8，c1取32，c2取16，clusterNum取2，featureNum取8；执行本方法前，将所需指标数据读入；1初始化使用数据集中的异常发生点来进行数据的初始化，令数据集中包含的异常类别为AC＝{ac1,ac2,…,acz}，z表示异常类别的数量，数据集中包含的指标全集为K＝{k1,k2,…,kn}，n表示指标的数量，时间戳为T＝{1,2,……,t}，异常发生点为AHS＝{ah1,ah2,…,ahm},m表示在1-t的时间间隔内发生异常的时刻数量，异常结束点为AHE＝{ah1+sw-1,ah2+sw-1,…,ahm+sw-1}，第v类异常的异常发生点为acAHv＝{ahv1,ahv2,…,ahvh},v＝1,2,…,z,h＜m,acAHv∈AHS，h表示在1-t的时间间隔内发生第v类异常的时刻数量，K中的第i个指标ki由t个值组成，表示为ki＝{ki1,ki2,…,kit},i＝1,2,…,n，第i个指标ki依据第v类异常发生点划分为f个异常序列发生第v类异常时第i个指标kvi的第j个异常序列为第j-1个异常点的部分数据即ahj-1时刻点之后第的sw个数据作为起始数据与第j个异常点之后的sw个数据组成，表示为使用滑动窗口sw对异常序列进行划分，得到多个等宽即长度为sw的时间子序列，第i个指标ki的第j个异常序列划分后的子序列表示为l代表子序列的数量，发生第v类异常时第i个指标ki的第j个异常序列中第p个子序列其中发生第v类异常时第i个指标ki的第j个异常序列中最后一个子序列为异常发生点之后的sw个数据点形成的异常子序列，记为第1至l-1个子序列为正常子序列，记为2特征指标时间序列预测模型构建2.1使用门控循环网络GRU模型作为时间序列预测模型的设计结构，门控循环网络GRU模型由双层门控循环网络构成；模型的输入是大小为sw×1的真实子序列输出是大小为sw×1的预测子序列该预测子序列在考虑历史数据在时间上的依赖性得出；设置门控循环网络GRU的学习率为step，第1层与第2层门控循环网络隐藏层单元个数c1、c2；门控循环网络包括更新门和重置门，其中，更新门用以决定隐藏状态中需要遗忘的状态信息；重置门用以决定如何将新的状态信息与前面的记忆相结合；重置门使用tanh激活，表达式ht如式1所示，xt表示当前输入，ht-1为上一个时刻的隐藏信息；重置门ht中rt控制要遗忘多少过去的信息，计算如式2所示，⊙表示点乘，σ表示使用Sigmoid激活函数；ht包含了当前输入xt的信息，并选择性的将当前的隐藏状态添加到重置门中，更新门zt由式4确定，W、Wr、Wz、U和Ur均为自适应学习的权重矩阵；ht＝tanhWxt+Urt⊙ht-11rt＝σWrxt+Urht-12ht＝1-zt⊙ht-1+zt⊙ht3zt＝σWzxt+Uzht-14对于一个长度为sw的输入序列，训练时损失值根据离散情况与连续情况两方面的差异计算，具体公式如7所示；其中，pre_yI为经GRU预测得到的指标子序列的第I个值，real_xI为GRU的输入的第I个值，DisKPI代表将GRU模型输入出值看作离散点情况时在取值上的差异程度，ConKPI代表将GRU模型输入出值看作连续情况时的差异程度； Loss＝DisKPI+ConKPI72.2使用指标全集K中正常子序列训练门控神经网络GRU2.2.1训练构建好的门控神经网络GRU，将发生第v类异常时指标全集K中第i个指标的正常子序列NKvi作为样本数据，NKvi代表指标全集中发生第v类异常时第i个指标的所有正常子序列构成的序列集合，第i个指标kvi的第j个异常序列中第p个子序列作为模型的输入值，通过向前传播算法和Adam优化器更新模型参数进行训练；2.2.2重复2.2.1的过程β次，对模型进行多轮参数更新，在参数更新结束后模型训练完成，完成对应异常类中指标的门控神经网络的构建；2.2.3重复2.2.1与2.2.2的过程z*n次，对每一类异常中指标全集K中的指标使用构建好的模型进行预测，完成对应异常类中指标的预测；3特征指标选取模型构建3.1将指标的真实子序列与预测子序列的欧式距离Eud与余弦相似度Cos作为属性二元组sim＝Eud,Cos，欧式距离的计算公式如式8所示，主要衡量真实子序列与预测子序列两向量间的几何距离，余弦相似度的计算公式如式9所示，具体表示含义与公式6相同；使用K均值聚类算法进行分类，定义K均值聚类簇数k＝clusterNum，分类集CL＝{cl1,…,clk}；初始化随机选取k个簇的中心点，中心点集合为CT＝{c1,…,ck},ci代表第i个簇的中心点样本,此时cli＝{ci}； 3.2遍历每一类指标ki的属性二元组SIM＝{sim1,sim2,…,simM}，M表示指标ki经滑动窗口对任意simj按照公式10计算其与k个中心点的距离，与simj距离最小的中心点所在的簇作为simj的归属，其中clusterparam函数返回param所属的簇,将simj加入集合clustersimj中；遍历ki的属性二元组SIM，SIM中任意二元组simj存在归属簇后，重新计算每个簇的中心点，按照公式11所示更新每个簇的中心点，ci为簇cli的中心点，o为簇cli中元素数量；clustersimj＝clustermini＝1，......，k||simj-ci||10 3.3重复步骤3.2，直到簇的中心点不再发生变化，至此完成指标属性二元组的聚类，得到聚类模型；3.4类簇中元素之比等于正异常子序列数量之比，则该指标为可表征此类异常的特征指标，否则不可表征；3.5遍历异常类AC中每一异常类别的指标全集K中所有指标，循环步骤3.4，完成异常类AC中每一异常类别的异常特征指标的确定；4特征指标去冗余模型构建4.1对于指标全集K中任意指标ki,1≤i≤z,计算两两指标间的互信息Iki；kj，构建相似矩阵，计算公式如式12所示；相似矩阵A形式如下： 公式12中pki,kj表示指标ki和指标kj的联合分布，pkipkj分别代表指标ki和指标kj的边缘分布，互信息Iki；kj是指标ki和指标kj联合分布与指标ki和指标kj边缘分布的相对熵；矩阵的行数与列数均为H，该矩阵的行数与列数与表征此类异常的特征指标数量相等，每一行代表一个指标，每一列代表一个指标，矩阵中的元素为指标间两两互信息结果；矩阵的任意元素Ii,j,1≤i≤H,1≤j≤H,表示指标ki与指标kj的互信息；4.2对于表征此类异常的特征指标ki,1≤i≤H，构造度矩阵D，其形式如下： D＝diagde1,de2,...,deH度矩阵D为对角矩阵，其中任一元素Dii＝dei，dei代表与指标ki互信息不为0的指标数量，当指标ki与指标kj互信息为1时，deg取值为1，否则，deg取值为1；根据度矩阵D与相似矩阵A构造拉普拉斯矩阵，并对其进行正则化Lsym，具体构造方式如下，其中I为单位矩阵； 谱聚类的最优分割问题，转化为拉普拉斯矩阵前k小特征值的求解和特征聚类问题；对于正则化拉普拉斯矩阵Lsym，有0＝λ0≤λ1≤…≤λn；取前k小特征值λ1,λ2,…,λk对应的特征向量V1,V2,…,Vk，且特征向量相互正交；4.3对异常类aci，对特征向量进行拼接得到特征矩阵Q，对Q使用聚类算法，得到每一个指标所属的类簇，对每一类簇内的指标，使用遍历算法，即得到异常类aci精简指标集合；4.4重复步骤4.1至4.3，完成异常类AC中所有异常类的精简指标集合选取；5微服务异常检测5.1将得到的可表征每一类别的异常特征指标集合作为微服务的特征指标进行异常检测，使用分类器，得到微服务异常检测结果。

全文数据：

权利要求：

百度查询： 北京工业大学 一种面向微服务异常检测的特征指标选取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD