申请/专利权人：广西大学

申请日：2023-12-18

公开（公告）日：2024-03-15

公开（公告）号：CN117708536A

主分类号：G06F18/20

分类号：G06F18/20;G06N3/0442;G06N3/0499;G06N3/084;G06N3/048;G06N3/096

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.02#实质审查的生效;2024.03.15#公开

摘要：本发明提出一种可解释性增量Transformer的风电场出力量子迁移平行预测方法，该方法由可解释性多头注意力网络、量子前馈神经网络、变量选择网络、平行系统以及长短期记忆网络编码器和解码器等组件组成。该方法中的量子前馈神经网络能够准确捕捉数据的非线性变化规律，对风电出力进行精准预测。当风向、风速等气候环境发生变化时，该方法通过增加可解释性多头注意力网络的头数实现增量学习，以适应变化后的环境，从而提高实时适应能力。通过对该方法框架中最后两层的量子前馈神经网络和全连接层进行微调，实现迁移学习从而在数据有限的情况下高效利用已有数据，提高泛化能力。此外，平行系统的引入有助于找到最优的模型参数，提高预测性能和鲁棒性。

主权项：1.一种可解释性增量Transformer的风电场出力量子迁移预测方法，其特征在于，该方法能对风电出力进行精准预测，具备可解释性、鲁棒性和泛化能力强；建立nP个参数不同的系统，每个系统都由可解释性增量Transformer的风电场出力量子迁移平行预测方法组成；这nP个系统同时运行，寻找最优参数，最优的系统被用于预测中；每个系统中可解释性增量Transformer的风电场出力量子迁移平行预测方法在使用过程中的步骤为：步骤1SCADA系统采集t时刻的回溯数据Dt＝[D1,t-k:t,D2,t-k:t,D3,t-k:t,D4,t-k:t,D5,t-k:t]和前瞻数据St＝[S1,t:t+τ,S2,t:t+τ,S3,t:t+τ]；t时刻的回溯数据为历史风电场出力数据D1,t-k:t、历史风速数据D2,t-k:t、历史风向数据D3,t-k:t、历史湿度数据D4,t-k:t以及历史温度数据D5,t-k:t；D1,t-k:t为在t时刻过去k小时的风电场出力数据；D2,t-k:t为在t时刻过去k小时的风速数据；D3,t-k:t为在t时刻过去k小时的风向数据；D4,t-k:t为在t时刻过去k小时的湿度数据；D5,t-k:t为在t时刻过去k小时的温度数据；t时刻的前瞻数据为未来风速数据S1,t:t+τ、未来风向数据S2,t:t+τ以及未来湿度数据S3,t:t+τ；未来风速数据、未来风向数据和未来湿度数据从气象站采集得到；S1,t:t+τ为在t时刻未来τ小时的风速数据；S2,t:t+τ为在t时刻未来τ小时的风向数据；S3,t:t+τ为在t时刻未来τ小时的湿度数据；步骤2可解释性增量Transformer的风电场出力量子迁移预测方法由变量选择网络A、变量选择网络B、长短期记忆网络编码器、长短期记忆网络解码器、门控线性单元A、门控线性单元B、门控线性单元C、Min-Max归一化层A、Min-Max归一化层B、Min-Max归一化层C、门控残差网络A、门控残差网络B、门控残差网络C、可解释性多头注意力网络、量子前馈神经网络以及全连接层组成；将回溯数据Dt输入到变量选择网络A中，得到t时刻的第1融合特征变量为的第1个元素，为的第2个元素；为的第k个元素；步骤3将第1融合特征变量输入到长短期记忆神经网络编码器中，得到t时刻的编码候选隐藏状态与编码特征和的维度均为1×k；步骤4将步骤3得到的编码特征输入到门控线性单元A中，得到t时刻的第1选择变量的维度为1×k；步骤5将和进行对应位置的元素相加求和，得到t时刻的第1求和变量为的第1个元素，为的第2个元素；为的第k个元素；步骤6将第1求和变量输入到Min-Max归一化层A中，得到t时刻的第1归一化变量为的维度为1×k；步骤7将第1归一化变量输入到门控残差网络A中，得到第1残差变量的维度为1×k；步骤8将前瞻数据St输入到变量选择网络B中，得到t时刻的第2融合特征变量其中，为的第1个元素，为的第2个元素；为的第k个元素；步骤9将第2融合特征变量和步骤3中得到的编码候选隐藏状态输入到长短期记忆神经网络解码器中，得到t时刻的解码特征其中，的维度均为1×τ；步骤10将步骤9中得到的解码特征输入到门控线性单元B中，得到t时刻的第2选择变量的维度为1×τ；步骤11将和进行对应位置的元素相加求和，得到t时刻的第2求和变量的维度为1×τ；步骤12将第2求和变量输入到Min-Max归一化层B中，得到t时刻的第2归一化变量为的维度为1×τ；步骤13将第2归一化变量输入到门控残差网络B中，得到第2残差变量的维度为1×τ；步骤14将步骤7中得到的第1残差变量和步骤13中得到的第2残差变量输入到可解释性多头注意力网络中，得到t时刻的可解释注意变量Yatten,t；步骤15将Yatten,t输入到门控线性单元C中，得到t时刻的第3选择变量的维度为1×τ；步骤16将和进行对应位置的元素相加求和，得到t时刻的第3求和变量的维度为1×τ；步骤17将第3求和变量输入到Min-Max归一化层C中，得到t时刻的第3归一化变量为的维度为1×τ；步骤18将第3归一化变量输入到门控残差网络C中，得到第3残差变量其中，为的第1个元素，为的第2个元素；为的第τ个元素；步骤19将第3残差变量输入到量子前馈神经网络中，得到t时刻的量子特征其中，q1,t为Qt的第1个元素，q2,t为Qt的第2个元素；q2,t为Qt的第mQ个元素；步骤20将量子特征Qt输入到全连接层中，输入得到t时刻的风力出力预测变量Pt；Pt的维度为1×24，表示未来24小时的风电场出力情况；步骤21变量选择网络A由6个门控残差网络和1个Softmax激活函数组成；6个门控残差网络分别为：门控残差网络A1、门控残差网络A2、门控残差网络A3、门控残差网络A4、门控残差网络A5以及门控残差网络A6；门控残差网络A1的输出为：YGRN,A1＝fGRN,A1D1,t-k:t＝LayerNormD1,t-k:t+GLUW1,GRN,A1ELUW2,GRN,A1D1,t-k:t+b2,GRN,A1+b1,GRN,A11式中，YGRN,A1为门控残差网络A1的输出；fGRN,A1·为门控残差网络A1函数；LayerNorm·为Min-Max归一化函数；GLU·为门控线性单元；W1,GRN,A1和b1,GRN,A1分别为门控残差网络A1中第1个全连接层的权重和偏置；W2,GRN,A1和b2,GRN,A1分别为门控残差网络A1中第2个全连接层的权重和偏置；ELU·为指数线性单位激活函数；门控残差网络A1中的门控线性单元、门控残差网络A2中的门控线性单元、门控残差网络A3中的门控线性单元、门控残差网络A4中的门控线性单元、门控残差网络A5中的门控线性单元、门控残差网络A6中的门控线性单元、门控残差网络B1中的门控线性单元、门控残差网络B2中的门控线性单元、门控残差网络B3中的门控线性单元、门控残差网络B4中的门控线性单元、门控线性单元A、门控线性单元B和门控线性单元C具有一致的结构；输入与输出的计算过程为： 式中，Yout,GLU为门控线性单元的输出；Xin,GLU为门控线性单元的输出；WGLU,1和bGLU,1分别为门控线性单元中第1个全连接层的权重和偏置；WGLU,2和bGLU,2分别为门控线性单元中第2个全连接层的权重和偏置；σ·是sigmoid函数；为哈达玛积；门控残差网络A2的输出为：YGRN,A2＝fGRN,A2D2,t-k:t＝LayerNormD2,t-k:t+GLUW1,GRN,A2ELUW2,GRN,A2D2,t-k:t+b2,GRN,A2+b1,GRN,A23式中，YGRN,A2为门控残差网络A2的输出；fGRN,A2·为门控残差网络A2函数；W1,GRN,A2和b1,GRN,A2分别为门控残差网络A2中第1个全连接层的权重和偏置；W2,GRN,A2和b2,GRN,A2分别为门控残差网络A2中第2个全连接层的权重和偏置；门控残差网络A3的输出为：YGRN,A3＝fGRN,A3D3,t-k:t＝LayerNormD3,t-k:t+GLUW1,GRN,A3ELUW2,GRN,A3D3,t-k:t+b2,GRN,A3+b1,GRN,A34式中，YGRN,A3为门控残差网络A3的输出；fGRN,A3·为门控残差网络A3函数；W1,GRN,A3和b1,GRN,A3分别为门控残差网络A3中第1个全连接层的权重和偏置；W2,GRN,A3和b2,GRN,A3分别为门控残差网络A3中第2个全连接层的权重和偏置；门控残差网络A4的输出为：YGRN,A4＝fGRN,A4D4,t-k:t＝LayerNormD4,t-k:t+GLUW1,GRN,A4ELUW2,GRN,A4D4,t-k:t+b2,GRN,A4+b1,GRN,A45式中，YGRN,A4为门控残差网络A4的输出；fGRN,A4·为门控残差网络A4函数；W1,GRN,A4和b1,GRN,A4分别为门控残差网络A4中第1个全连接层的权重和偏置；W2,GRN,A4和b2,GRN,A4分别为门控残差网络A4中第2个全连接层的权重和偏置；门控残差网络A5的输出为：YGRN,A5＝fGRN,A5D5,t-k:t＝LayerNormD5,t-k:t+GLUW1,GRN,A5ELUW2,GRN,A5D5,t-k:t+b2,GRN,A5+b1,GRN,A56式中，YGRN,A5为门控残差网络A5的输出；fGRN,A5·为门控残差网络A5函数；W1,GRN,A5和b1,GRN,A5分别为门控残差网络A5中第1个全连接层的权重和偏置；W2,GRN,A5和b2,GRN,A5分别为门控残差网络A5中第2个全连接层的权重和偏置；门控残差网络A6的输出为：YGRN,A6＝fGRN,A6Dt＝LayerNormDt+GLUW1,GRN,A6ELUW2,GRN,A6Dt+b2,GRN,A6+b1,GRN,A67式中，YGRN,A6为门控残差网络A6的输出；fGRN,A6·为门控残差网络A6函数；W1,GRN,A6和b1,GRN,A6分别为门控残差网络A6中第1个全连接层的权重和偏置；W2,GRN,A6和b2,GRN,A6分别为门控残差网络A6中第2个全连接层的权重和偏置；变量选择网络A的输出为： 式中，vG1为第1选择系数矩阵，变量选择网络A的第1选择系数矩阵为：vG1＝SoftmaxYGRN,A69步骤22变量选择网络B由4个门控残差网络和1个Softmax激活函数组成；4个门控残差网络分别为：门控残差网络B1、门控残差网络B2、门控残差网络B3以及门控残差网络B4；门控残差网络B1的输出为：YGRN,B1＝fGRN,B1S1,t:t+τ＝LayerNormS1,t:t+τ+GLUW1,GRN,B1ELUW2,GRN,B1S1,t:t+τ+b2,GRN,B1+b1,GRN,B110式中，YGRN,B1为门控残差网络B1的输出；fGRN,B1·为门控残差网络B1函数；W1,GRN,B1和b1,GRN,B1分别为门控残差网络B1中第1个全连接层的权重和偏置；W2,GRN,B1和b2,GRN,B1分别为门控残差网络B1中第2个全连接层的权重和偏置；门控残差网络B2的输出为：YGRN,B2＝fGRN,B2S2,t:t+τ＝LayerNormS2,t:t+τ+GLUW1,GRN,B2ELUW2,GRN,B2S2,t:t+τ+b2,GRN,B2+b1,GRN,B211式中，YGRN,B2为门控残差网络B2的输出；fGRN,B2·为门控残差网络B2函数；W1,GRN,B2和b1,GRN,B2分别为门控残差网络B2中第1个全连接层的权重和偏置；W2,GRN,B2和b2,GRN,B2分别为门控残差网络B2中第2个全连接层的权重和偏置；门控残差网络B3的输出为：YGRN,B3＝fGRN,B3S3,t:t+τ＝LayerNormS3,t:t+τ+GLUW1,GRN,B3ELUW2,GRN,B3S2,t:t+τ+b2,GRN,B3+b1,GRN,B312式中，YGRN,B3为门控残差网络B3的输出；fGRN,B3·为门控残差网络B3函数；W1,GRN,B3和b1,GRN,B3分别为门控残差网络B3中第1个全连接层的权重和偏置；W2,GRN,B3和b2,GRN,B3分别为门控残差网络B3中第2个全连接层的权重和偏置；门控残差网络B4的输出为：YGRN,B4＝fGRN,B4St＝LayerNormSt+GLUW1,GRN,B4ELUW2,GRN,B4St+b2,GRN,B4+b1,GRN,B413式中，YGRN,B4为门控残差网络B4的输出；fGRN,B4·为门控残差网络B4函数；W1,GRN,B4和b1,GRN,B4分别为门控残差网络B4中第1个全连接层的权重和偏置；W2,GRN,B4和b2,GRN,B4分别为门控残差网络B4中第2个全连接层的权重和偏置；变量选择网络B的输出为： 式中，vG2为第2选择系数矩阵，变量选择网络B的第2选择系数矩阵为：vG2＝SoftmaxYGRN,B415步骤23长短期记忆网络编码器和长短期记忆网络解码器由长短期记忆神经网络的记忆单元组成，具有一样的结构；长短期记忆神经网络的记忆单元结构由遗忘门、输入门、输出门和细胞状态构成；输入门的表达式为： 式中，是长短期记忆神经网络中输入门的第一权重矩阵；是长短期记忆神经网络中输入门的第二权重矩阵；是长短期记忆神经网络中输入门的偏置；σ·是sigmoid函数；iLSTM,t是长短期记忆神经网络中输入门t时刻的输出；hLSTM,t-1为长短期记忆神经网络输出门t-1时刻的输出；xLSTM,t为长短期记忆神经网络t时刻的输入变量；在长短期记忆网络编码器中： 在长短期记忆网络解码器中： 遗忘门的表达式为： 式中，是长短期记忆神经网络中遗忘门的第一权重矩阵；是长短期记忆神经网络中遗忘门的第二权重矩阵；是长短期记忆神经网络中遗忘门的偏置；fLSTM,t是长短期记忆网络中遗忘门t时刻的输出；输出门的表达式为： 式中，是长短期记忆神经网络中输出门的第一权重矩阵；是长短期记忆神经网络中输出门的第二权重矩阵；是长短期记忆神经网络中输出门的偏置；hLSTM,t是长短期记忆神经网络中输出门t时刻的输出；在长短期记忆网络编码器中： 在长短期记忆网络解码器中： 长短期记忆网络中t时刻的细胞状态为： 式中，cLSTM,t为长短期记忆神经网络中t时刻的细胞状态；cLSTM,t-1为长短期记忆神经网络中t-1时刻的细胞状态；为长短期记忆神经网络中t时刻的候选隐藏状态；⊙为点乘运算；在长短期记忆网络编码器中： 步骤24在步骤14中的可解释性多头注意力网络中，在每个头中共享数值，并对所有头进行加法汇总： 式中，Qw为Q映射矩阵、Kw为K映射矩阵、Vw为V映射矩阵；为t时刻可解释性多头注意力网络的输入变量；InterpretableMultiHead·为可解释性多头注意力网络函数；Hcomb,t为可解释性多头注意力网络中t时刻所有头的输出的组合；WH为可解释性多头注意力网络中每个头的权重矩阵；可解释性多头注意力网络中所有头的输出组合为： 式中，mH为可解释性多头注意力网络的头数；为第h个头的Q变换矩阵；为第h个头的K变换矩阵；WV为所有头共享的V变换矩阵；·T表示矩阵转置运算；datten为注意力缩放因子；步骤25量子前馈神经网络由输入到输出的过程依次为：经典空间到量子空间的编码过程、量子隐藏层的操作过程、量子输出层的操作过程以及量子空间到经典空间的解码过程；经典空间到量子空间的编码过程表示为： 式中，|ψinput为量子编码变量；Uinput为量子输入层的幺正变换；表示的第1个量子态；表示的第2个量子态；表示的第τ个量子态；量子隐藏层的操作过程表示为：|ψhidden＝Uhidden|ψinput28式中，|ψhidden为量子隐藏层的输出；Uhidden为量子隐藏层的幺正变换；量子输出层的操作过程表示为：|Ψoutput＝Uoutput|ψhidden＞29式中，|ψoutput为输出层的输出；|ψoutput的量子比特个数为nQ；Uoutput为量子输出层的幺正变换；量子空间到经典空间的解码过程表示为： 式中，q1,t为Qt的第1个元素，q2,t为Qt的第2个元素；q2,t为Qt的第mQ个元素；Qt为量子前馈神经网络的输出；α1为|ψoutput＞的第1个量子比特；α2为|ψoutput＞的第2个量子比特；为|ψoutput＞的第nQ个量子比特。

全文数据：

权利要求：

百度查询： 广西大学 一种可解释性增量Transformer的风电场出力量子迁移平行预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD