申请/专利权人：河北工业大学

申请日：2022-05-05

公开（公告）日：2022-09-20

公开（公告）号：CN115080634A

主分类号：G06F16/2458

分类号：G06F16/2458;G06N3/04;G01N33/00

优先权：

专利状态码：在审-实质审查的生效

法律状态：2022.10.11#实质审查的生效;2022.09.20#公开

摘要：本发明公开一种联合transformer注意力循环网络的网格化PM2.5浓度预测方法，该预测方法针对PM2.5浓度的空间关联和时间波动，将transformer里注意力引入到PredRNN中，提出了联合transformer注意力循环预测网络。核心单元MH‑LSTM中，不仅仅包含隐藏状态H、细胞状态C，还设计出了新的记忆状态M，增加网络中时空信息流信息提取。Transformer中注意力采用全局并行计算，能够处理更广泛的空间信息，捕捉全局空间相关性，应对PM2.5浓度在时间上出现的波动性，同时多头注意机制能够学习多重上下文信息，减小随机参数影响，增加时空序列PM2.5浓度图像预测的准确性。

主权项：1.一种联合transformer注意力循环网络的网格化PM2.5浓度预测方法，其特征在于，该预测方法包括如下步骤：步骤1：对东经105°-125°、南纬30°-50°地域范围内的监测站的PM2.5浓度的监测数据进行采集，得到原始的PM2.5浓度的micaps格点数据；原始的PM2.5浓度的micaps格点数据为时空序列向量Z＝[Z1,Z2,Z3,…Zt…,ZT-1,ZT]，表示在第t个采样时刻点时该地域范围内所有监测站点所监测到的PM2.5浓度值，H表示经度上的格点数，W表示纬度上的格点数，H与W的值均为81；监测站的PM2.5浓度的监测数据为3小时采样间隔，micaps格点数据精度为0.25*0.25；步骤2：对步骤1中获得的原始的PM2.5浓度的micaps格点数据的时空序列向量首先采用克里金插值法进行插值补充缺失时刻的PM2.5浓度数据，并采用阈值质控的方式对异常值进行合理化处理，最后采用归一化处理，得到历史的时空序列数据；步骤3：根据该地域范围内PM2.5浓度季节特征，从历史的时空序列数据中挑选出每年10月至次年3月的作为一个数据样本，对每一个数据样本采用48帧宽的滑动窗口进行切片，每一个切片由48个连续帧组成；将不少于2个数据样本的切片数据作为训练集，将另外的不少于一个数据样本的切片数据作为验证集；步骤3：搭建联合transformer注意力循环网络，该联合transformer注意力循环网络由MH-LSTM单元阵列构成，其中，水平方向的MH-LSTM单元为时间维度，水平方向上的每一个MH-LSTM单元代表一个采样时刻点，水平方向上的每一行中的每一个MH-LSTM单元与本行中的其它MH-LSTM单元的参数共享；竖直方向的MH-LSTM单元为空间维度，每一列中的每一个MH-LSTM单元与本列中的其它的MH-LSTM单元的参数不共享，同一列中的MH-LSTM单元对应同一个采样时刻点；在空间维度上，一列堆叠架构中的L个MH-LSTM单元之间的信息交互方程为： 式中：f·表示经过一个MH-LSTM单元的处理，为第t个采样时刻点的第一层MH-LSTM单元的输入数据；为第t-1个采样时刻点的第一层的MH-LSTM单元的隐藏状态，为第t-1个采样时刻点的第L层的MH-LSTM单元的记忆状态，为第t-1个采样时刻点的第一层的MH-LSTM单元的细胞状态；为第t个采样时刻点的第l层的MH-LSTM单元的细胞状态，为第t个采样时刻点的第l层的MH-LSTM单元的记忆状态，为第t个采样时刻点的第l层的MH-LSTM单元的隐藏状态，l的取值范围为[1,L]；MH-LSTM单元的信息处理方程如下: 公式1与公式2中：*是卷积运算，⊙为矩阵乘法，mha·表示transformer注意力机制计算；Xt、是MH-LSTM单元的输入，it、i′t为输入门，ft、f′t为遗忘门，ot为输出门，tanh和σ为两种激活函数，ct为过渡的细胞状态，mt为过渡的记忆状态；为第t+1个采样时刻点的数据预测值；联合transformer注意力循环网络中需要训练的参数为公式1与公式2中所有的W和所有的b，以及堆叠架构中MH-LSTM单元的层数L、注意力机制中的注意力层数；其中，Wzr为1×1的参数矩阵，其余的W均为3×3的参数矩阵，b为偏移量参数；步骤4：训练联合transformer注意力循环网络模型步骤4.1：首先初始化联合transformer注意力循环网络，将第一个采样时刻点的前一个采样时刻点的各层MH-LSTM单元的隐藏状态H、细胞状态C以及记忆状态M设置为0，将所有需要训练的参数随机赋值；步骤4.2：将训练集中的第一个切片数据的48个连续帧的前24个连续帧输入到步骤4.1中完成初始化的网络模型中，并将第24个采样时刻点输出的数据预测值作为第25个采样时刻点的输入，得到第26个采样时刻点的数据预测值，按照此方法，得到后24个连续帧的数据预测值；将根据第一个切片数据中的前24个连续帧得到的后24个连续帧的数据预测值和切片数据中的后24个连续帧的真实值分别进行反归一化处理，并采用Huber函数作为损失函数，计算该切片数据的后24个连续帧的预测损失： 式中，Y＝y1,…,yt,…,y24，其中yt为第t个采样时刻点的PM2.5浓度真实值，为第t个采样时刻点的PM2.5浓度预测值，δ是损失参数，取值为的均值；根据公式6得到第一个切片数据的预测损失，根据预测损失进行反向传播更新所有需要训练的参数，优化算法使用Adam优化器，调整所有需要训练的参数的值，完成一个切片数据的训练；根据当前网络模型的参数值和前一个切片数据中最后一个采样时刻点各层的隐藏状态H、细胞状态C以及记忆状态M，将后一个切片数据中前24个连续帧输入网络模型中，得到后24个连续帧的数据预测值；然后计算当前切片数据的预测损失，并根据预测损失再次进行反向传播更新所有需要训练的参数；网络模型每处理完一个切片数据，均会调整一次网络参数，直至处理完训练集中的所有切片数据，则该网络模型完成一次训练，保存当前网络模型的隐藏状态H、细胞状态C以及记忆状态M和参数；步骤4.3：将验证集中的切片数据输入到完成一次训练的网络模型中，根据保存好的隐藏状态H、细胞状态C以及记忆状态M和参数，由验证集的每个切片数据的前24个连续帧得到其后24个连续帧的数据预测值；将验证集中的每个切片数据的后24个连续帧的数据预测值与真实值进行反归一化处理，并分别计算该网络模型下的每个采样时刻点的MAE的平均值MAE’与RMSE的平均值RMSE’；步骤4.4：将步骤4.2中完成一次训练时的网络模型的隐藏状态H、细胞状态C以及记忆状态M和参数作为网络模型的初始化条件，并将训练集中的切片数据再次输入到网络模型中，重复步骤4.2的操作，完成网络模型的第二次训练，并将第二次训练所得的网络模型的隐藏状态H、细胞状态C以及记忆状态M和参数作为下一次训练的网络模型的初始化条件，直至训练次数达到预设值，网络模型的训练完成；网络模型每完成一次训练，执行一次步骤4.3的操作，得到该网络模型下的MAE’和RMSE’；比较每次执行步骤4.3的操作得到的MAE’和RMSE’，选择MAE’和RMSE’最小值对应的网络模型为有效网络模型；步骤5：获取待预测日前三天24个采样时刻点的PM2.5浓度的监测数据，将其按照步骤2中所述的方法进行处理，得到24个采样时刻点的切片数据；将该24个采样时刻点的切片数据输入到步骤4.4中选择出的有效网络模型中，得到后三天24个采样时刻点的数据预测值；将后24个采样时刻点的数据预测值进行反归一化处理，即得到待预测日及其后两天的PM2.5浓度预测值。

全文数据：

权利要求：

百度查询： 河北工业大学 一种联合transformer注意力循环网络的网格化PM2.5浓度预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD