申请/专利权人：桂林电子科技大学

申请日：2023-12-29

公开（公告）日：2024-03-19

公开（公告）号：CN117725510A

主分类号：G06F18/2415

分类号：G06F18/2415;G06N3/0455;G06N3/042;G06N3/0464;G06F18/25;G06F18/22

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.12#实质审查的生效;2024.03.19#公开

摘要：本发明公开了一种基于Transformer和图注意力神经网络的工业多变量时间序列异常检测方法及存储介质，所述方法针对工业设备运行实际环境中的状态数据，首先经过数据预处理和滑动窗口方法。然后通过多尺度的Transformer模块来学习数据中不同尺度的特征表示，通过整合多个编码器的输出，使提取到的特征中蕴含更加丰富的时间表征信息。接着从空间维度出发，以特征变量为节点，通过图结构学习生成节点间边关系构建图结构数据，并利用图注意力神经网络来捕获节点间复杂的空间关系。最后构建了一个向量级的时空交互模块，使模型以更加细粒度的方式探索数据中的有效信息，从而可以精确的识别数据存在的微小偏差，提升整体检测性能，尤其是面对高复杂性数据时的检测性能。

主权项：1.一种工业多变量时间序列异常检测方法，所述方法包括以下步骤：1定义D＝{x1,x2,…xt,…,xT}，通过滑动窗口方法将D中所有数据点转化成窗口数据其中：D表示工业设备的运行状态数据，T表示数据采集的最大时间跨度，xt表示设备在第t个时刻的状态数据，且xt∈Rm，m为特征数量；表示为第i条窗口数据，它包含了n条设备记录，且n等于滑动窗口的大小；2将窗口数据输出到多尺度Transformer模块，通过公式分别计算各时刻序列对窗口序列的贡献度作为权重值，根据权重大小筛选出重要性高的TopTK个时间序列公式中，表示窗口中的数据记录，Wk,Wj表示权重参数；3将与位置嵌入信息叠加输入到Encoder1产生Q、K和V三个向量，基于Q和K向量计算注意力权重，并根据权重对V进行融合更新得到单头注意力层的输出H；根据公式MHA＝ConcatHii∈{1,2,...,h}和公式OMHA＝LayerNormMHA整合得到其输出OMHA；然后，将OMHA连接到前馈神经网络层，得到Encoder1的输出Oenc1；公式中，Hi表示第i头注意力层的输出结果，h表示自注意力层的头数，Concat表示连接操作，LayerNorm表示层归一化操作；4Encoder2和Encoder3分别以上一层Encoder的输出作为输入，通过重复步骤3的操作得到Oenc2和Oenc3；然后，将Oenc1、Oenc2和Oenc3分别输入到对应的Decoder中得到不同尺度的表征信息，并进行整合输出得到Transformer的特征提取结果Otrans；5将Transformer模块的输出矩阵Otrans进行转置，转换数据的时间和空间维度；6利用转置后的矩阵构建图结构数据，其节点表示不同的特征变量，每个节点vi包含同一变量n个时刻的观察值；基于节点间的相似性来生成节点边，针对节点vi∈Rm,它有m-1个候选节点Cj＝{1,2,...,n},j≠i；首先计算节点vi和vj的相似性；然后根据相似性结果，筛选出节点vi的TopGK个邻近节点Nij；最后在vi与Nij中的节点间生成对应边；7将构建好的图结构数据输入到GAT模块，对于节点vi，首先逐个计算它与邻居节点j以及自身的相似系数；然后利用LeakyRELU激活函数计算注意力得分，并使用softmax函数对得分进行归一化；8基于得到注意力得分，对节点vi进行邻域信息的融合，通过整合所有节点的表征信息，得到GAT模块的输出OGAT；9将Transformer和GAT的输出结果Otrans和OGAT输入到时空交互模块，在其输入端，采用了全连接网络对齐时间表征与空间表征的维度，并通过向量级的交互通道让时空表征进行充分融合，最后通过卷积神经网络整合多个位置的时空交互特征，得到全局的融合信息；10将得到的时、空间特征以及时空融合信息输入到全连接层得到异常检测结果。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 工业多变量时间序列异常检测方法及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD