申请/专利权人：北京工业大学

申请日：2023-01-09

公开（公告）日：2023-06-23

公开（公告）号：CN116306803A

主分类号：G06N3/0464

分类号：G06N3/0464;G06N3/048;G06N3/08;G06F17/16

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.07.11#实质审查的生效;2023.06.23#公开

摘要：一种基于WSFA‑AFE的ILSTM神经网络的出水BOD浓度预测方法涉及人工智能领域。本发明针对神经网络进行出水BOD多元时间序列预测时，输入的特征变量及输入历史步长难以确定的问题，提出了一种WSFA‑AFE方法。其能够自适应地提取多元时间序列中的动态特征变量，使得神经网络对出水BOD浓度进行更好得预测。本文针对标准LSTM神经网络结构参数众多，训练过程耗时长的问题，提出了一种ILSTM神经网络。通过简化结构方程中的递归项权值，减少了网络中所需训练参数的数目，并且通过参数更新算法加快收敛速度。本发明根据污水处理过程采集的数据实现了未来时刻污水出水BOD浓度的高效、准确、低成本预测。

主权项：1.一种基于WSFA-AFE的ILSTM神经网络的出水BOD浓度预测方法，其特征在于包括以下步骤：步骤1：选取出水BOD浓度历史多元时间序列，生成预测样本；获取污水处理厂获得的出水BOD浓度数据其中其中t＝1,2,…,T，T表示时间跨度；N表示所有变量的个数，在此表示为8个变量；xt中的各列分别代表：进水BOD浓度、生化池溶解氧浓度、进水油类、出水氨氮浓度、进水色度、出水总氮浓度、进水磷酸盐浓度、出水BOD浓度；此外，令为xt中最后一列，表示预测变量，为出水BOD浓度；表示xt中前七列，表示外部变量，为进水BOD浓度、生化池溶解氧浓度、进水油类、出水氨氮浓度、进水色度、出水总氮浓度、进水磷酸盐浓度；利用滑动窗口方法，利用截断最近的M个数据点用于预测；M的大小，其取值为2-8之间的某一值；N表示所有变量的个数，为8；步骤2：设计WSFA-AFE方法；步骤2.1：设计加权慢特征分析，获得映射矩阵gp，生成慢特征并使用加权系数ηi进行加权；步骤2.1.1：从矩阵X中获得二阶扩展项S，N表示所有变量的个数，为8； 步骤2.1.2：求解映射矩阵gp，并将二阶扩展项S映射为慢特征s；令s＝[g1S,...,gPS]，其中P＝N-1+NN-12，N＝8表示所有变量，故P＝35，gp可通过求解下列公式得到，其中p＝1,2…,P： subjecttogp＝03gp2＝14 其中，是gp对时间的导数，·表示时间平均；公式2表示使得gp的导数或变化率Δgp的平方最小；公式3用来确保映射出的慢特征具有零均值；公式4用来确保映射出的慢特征具有单位方差；公式5用来确保映射函数的输出相互独立，并且特征的慢度逐渐递减，即g1是提取出的最慢特征，其中p'与p取值范围相同，且p'为小于p的某值；步骤2.1.3：从s中选择所需慢特征F； 且u表示所选择的慢特征个数，将向量gpS使用matlab中的AR模型进行建模，以衡量慢特征的缓慢程度，并依次计算与前一慢特征的缓慢程度差。当缓慢程度差与先前缓慢程度差相差1.5倍以上时，停止选取慢特征；其中ft表示t时刻所有的被选择慢特征；步骤2.1.4：通过预设最大滑动窗口Lmax，取8，多元时间序列X被重构为E；其中且r＝1,2,…,Lmax+1；其最后一列表示需要预测的出水BOD浓度，E的第i列Ei由系数ηi加权，其中i＝1,2,...,Lmax·u+1，由下式计算得到： 其中，是Ei和之间的最大信息系数，V＝Lmax·u+1是E中代表历史数据Lmax个数据点的列总数；步骤2.1.5：计算输入的加权矩阵，Lmax＝8且u＝3；使用ηi对输入矩阵各元素进行加权，Q＝{[ηi×Ei],i＝1,2,...,Lmax·u+1}；步骤2.2：设计自适应滑动窗口算法； Lmax和Lmin代表滑动窗口的最大和最小值，设置为8和2，是Lmax和Lmin的平均值，为5；||ΔOt||＝||Rt-Rt-1||是Rt-1和Rt的欧几里得范数之差，其中代表t时刻使用的历史时刻预测变量，从距离的角度衡量数据的波动；cosθt是Rt-1和Rt之间的余弦相似度，从方向的角度衡量数据的波动；|ΔVt|＝|ΔVt-ΔVt-1|是Vt和Vt-1的绝对值之差，Vt和Vt-1分别代表Rt和Rt-1的方差；ΔO0、cosθ0和|ΔV0|分别是||ΔOt||、cosθt和|ΔVt|历史时刻的平均值；步骤3：设计ILSTM神经网络结构，ILSTM从结构与算法两方面进行了优化；其中结构方面：设计的ILSTM神经网络结构包含三个门即遗忘门、输入门和输出门，其各门中的递归项权值的每个值代表神经元自身在上一时间步的输出与当前时刻神经元的连接，而不是标准LSTM中与所有神经元的连接；ILSTM的隐含层单元数设定为15，ILSTM各结构的计算功能如下：①输入门：输入门it控制向当前状态单元中添加新信息的数量，计算如下：it＝σWixt+Qi⊙ht-1+bi10其中，xt为t时刻的输入向量，为步骤2.1.4中矩阵E的前t-Lt至t-1行首位顺次连接组成的向量；ht-1为t-1时刻的输出向量，Wi和Qi分别为输入门中的输入权重矩阵和递归项权值矩阵，bi为输入门中的偏置矩阵，⊙表示矩阵元素乘法，σ为sigmoid激活函数；②遗忘门：遗忘门ft决定对上一时刻状态信息的遗忘程度，以允许网络重置其状态，计算如下：ft＝σWfxt+Qf⊙ht-1+bf11其中，xt为t时刻的输入向量，为步骤2.1.4中矩阵E的前t-Lt至t-1行首位顺次连接组成的向量；ht-1为t-1时刻的输出向量，Wf和Qf分别为遗忘门中的输入权重矩阵和递归项权值矩阵，bf为遗忘门中的偏置矩阵，⊙表示矩阵元素乘法，σ为sigmoid激活函数；；③当前状态单元ct：将当前状态信息与之前状态信息结合起来，计算如下：ct＝ft⊙ct-1+it⊙zt12其中，ct-1为上一时刻状态信息，it表示输入门，ft表示遗忘门，zt为当前时刻状态信息，计算如下：zt＝tanhWzxt+Qz⊙ht-1+bz13其中，xt为t时刻的输入向量，为步骤2.1.4中矩阵E的前t-Lt至t-1行首位顺次连接组成的向量；ht-1为t-1时刻的输出向量，Wz和Qz分别为当前状态中的输入权重矩阵和递归项权值矩阵，bz为当前状态中的偏置矩阵；④输出门：输出门决定LSTM在当前时刻的最终输出量ht，计算如下：οt＝σWoxt+Qo⊙ht-1+bo14ht＝ot⊙tanhct15其中，xt为t时刻的输入向量，为步骤2.1.4中矩阵E的前t-Lt至t-1行首位顺次连接组成的向量；ht-1为t-1时刻的输出向量，Wo和Qo分别为输出门中的输入权重矩阵和递归项权值矩阵，bo为输出门中的偏置矩阵，ht为t时刻的输出向量；步骤4：设计ILSTM神经网络学习算法：步骤4.1：定义损失函数； 其中，yrt和yt分别是ILSTM的期望输出和实际输出，对于不同单元状态维度的模型输出ht，需将其转换为单维度yt，转换公式如公式17所示，其中Wy和by为输出层的权重矩阵Wy和偏置by：yt＝Wyht+by17步骤4.2：设计AMSGD算法更新ILSTM模型参数①计算输出层参数的梯度；对于输出层，损失函数对于Wy和by的梯度分别计算如公式18、19所示： ②更新输出层参数；权值Wy和by更新公式分别如公式20、21所示： 其中，Wy,t+1是t+1时刻的输出层权值，Wy,t是t时刻的输出层权值，Wy,t-1是t-1时刻的输出层权值，by,t+1是t+1时刻的输出层偏置，by,t是t时刻的输出层偏置，by,t-1是t-1时刻的输出层偏置；η为学习率，取0.01，β为动量系数，β取值为0.9；③定义损失函数对ht、ft、it、zt、ot的偏导；定义δh,t为损失函数对ht的偏导，记为公式22所示： 类似地定义δf,t、δi,t、δz,t、δo,t分别为损失函数对ft、it、zt、ot的偏导，如公式23-26所示： ④计算隐含层参数的梯度；损失函数在整个过程中对各个权重矩阵以及偏置向量的梯度如公式27-29所示： 其中θ为{f,i,z,o}中的任意一个；⑤更新隐含层参数；则权值更新公式如公式30-32所示： 式中，θ为{f,i,z,o}中的任意一个，Wθ,t+1、Qθ,t+1、bθ,t+1分别代表其中的输入权重矩阵、递归项权重矩阵、以及偏置向量；η为学习率，为0.01，β为动量系数，β取值为0.9；至此，所有参数更新完成；⑥每次迭代后判断停止条件，停止条件为达到最大迭代次数2000次；当达到停止训练条件时结束参数更新过程，否则继续返回①训练参数；此外，在学习过程中，设置学习率的自适应调整机制，如公式33所示： RMSEn是第n次迭代中的均方根误差函数，如果权值修正的方向错误时，误差函数值变大，则需要通过乘以一个阻尼因子kdec来降低学习速率；当误差函数值变小时，说明权值修正的方向是正确的，可以通过乘以一个增量因子kinc来增加学习步长；kdec与kinc分别设置为0.95和1.05；学习率设置上下限阈值，将学习率调整范围限制在某范围内，为0.001-0.1之间；步骤5：出水BOD预测；将测试样本数据作为训练好的ILSTM神经网络的输入，得到ILSTM神经网络的输出。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于WSFA-AFE的ILSTM神经网络的出水BOD浓度预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD