申请/专利权人：广西大学

申请日：2023-09-21

公开（公告）日：2024-03-19

公开（公告）号：CN117725492A

主分类号：G06F18/2411

分类号：G06F18/2411;G06N3/0464;G06N3/048;G06N3/08;G06Q50/06

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.05#实质审查的生效;2024.03.19#公开

摘要：本发明提出一种增量协同Attention卷积的电力终端多标签识别与拒识方法，该方法将多标签识别与拒识、支持向量机、增量学习、协同注意力机制和移动卷积神经网络结合，用于电力终端识别。所述方法的步骤为：用电数据获取，利用蛇形矩阵进行数据预处理，协同注意力机制和移动卷积神经网络训练，识别，未被学习的电力终端的增量处理，采用One‑Versus‑All策略建立多个二分类器，分类器训练与预测，计算每个分类器的置信度概率值和拒识。所述方法能解决电力终端的识别问题，实现同时识别电力终端多个标签的功能，优化电力终端多标签识别与拒识的性能和计算过程，提高识别结果的可靠性和实时性。

主权项：1.一种增量协同Attention卷积的电力终端多标签识别与拒识方法，其特征在于，将多标签识别与拒识、支持向量机、增量学习、协同注意力机制和移动卷积神经网络结合，用于电力终端识别，实现对电力终端的快速、精准识别；基于增量协同Attention卷积的电力终端多标签识别与拒识方法分为以下9个步骤：步骤1用电数据获取：使用电压电流传感器对电力终端各个工况下的运行电流和电压数据进行5kHz采样频率下的波形采集；步骤2利用蛇形矩阵进行数据预处理：将传感器获得的电流和电压数据转化为电力终端图矩阵的形式；在数据预处理过程中，电压波形数据和电流波形数据为两个通道独立进行处理；在这两个通道中，每个电网周期的电压数据和电流数据将被按照时序分为四段，并按照蛇形存入4行25列的图中，形成电力终端图矩阵；步骤3协同注意力机制和移动卷积神经网络训练：将移动卷积神经网络与协同注意力机制结合；将卷积神经网络的卷积过程拆分为深度卷积和逐点卷积；深度卷积的结果为： 其中，为深度卷积输出的结果，为深度卷积核，深度卷积核的大小为DK×DK×M，为深度卷积核的一个元素；F为被卷积的大小为DW×DH×M的电力终端图矩阵，Fk+i-1,l+j-1,m为输入电力终端图矩阵的一个元素，·为两个数的乘积；移动卷积神经网络对卷积神经网络的卷积过程进行改进，逐点卷积的作用是扩充和压缩输入电力终端图矩阵的通道数；逐点卷积是使用1×1×M×N的卷积核对输入电力终端图矩阵进行卷积操作；深度卷积和逐点卷积的卷积过程的计算量为：DK·DH·M·DW·DW+M·N·DW·DH2其中，DK为深度卷积核的高度和宽度，DH和DW分别为输入电力终端图矩阵的高度和宽度，M为卷积核的通道数，N为输出通道的数量，·为两个数的乘积；在移动卷积神经网络中，单次卷积的过程由逐点卷积升维过程、6型线性整流函数激活过程、深度卷积过程、6型线性整流函数激活过程、逐点卷积降维过程、线性全连接过程组成；6型线性整流函数ReLU6表示为：ReLU6＝minmax0,x1,63式中，ReLU·为线性整流函数，x1为输入变量，max·,·表示取两数之间的最大值，min·,·表示取两数之间的最小值；协同注意力机制在水平方向上使用DH,1的池化核，在垂直方向上使用1,DW的池化核，对大小为DH,DW的电力终端图矩阵在水平和垂直方向上进行全局池化；协同注意力机制对高度层为h的第c个通道在水平方向上进行全局池化的输出zH,ch为： 其中，xch,i为输入电力终端图矩阵中第h行第i列，第c个通道处的元素值；协同注意力机制对宽度层为w的第c个通道在垂直方向上进行全局池化的输出zW,cw为： 其中，xcj,w为输入电力终端图矩阵中第j行第w列，第c个通道处的元素值；协同注意力机制对输入的电力终端图矩阵进行水平和垂直方向上的全局池化之后，将池化结果使用卷积变换进行连接输出的特征矩阵f为：f＝δF1[zH,zW]6其中，[·,·]为沿空间维度的连接操作；δ·表示非线性激活函数；其中r为控制块大小的缩减率；F1·为1×1的卷积变换函数；zH和zW分别为所有层zH,c和zW,c的并集；沿着空间维度将f重新分解为两个单独的向量和再使用1×1的卷积核对两个单独的向量fH和fW进行卷积，和分别表示Cr×H和Cr×W的实数空间，将结果变换到与输入电力终端图矩阵相同的维度上，得到电力终端图矩阵垂直和水平方向上的权重值分别为：gH＝σFHfH7gW＝σFWfW8其中，gH和gW分别为电力终端图矩阵垂直和水平方向上的权重值，卷积变换函数FH·和FW·分别表示垂直和水平方向的1×1卷积函数，σ·是激励函数；协同注意力机制赋予通道c上输入电力终端图矩阵第i行第j列元素的权重值yci,j为：yci,j＝xci,j×gH,ci×gW,cj9其中，gH,ci和gW,cj分别为电力终端图矩阵垂直和水平方向上第c个通道处的权重值；xci,j为通道c上输入电力终端图矩阵中第i行第j列的元素值；yc为赋予权重值之后的电力终端图矩阵；×为对应位置上输入元素的叉乘；将被赋予权重值后的电力终端图矩阵送入移动卷积神经网络中进行学习，移动卷积神经网络和协同注意力机制参数在学习过程中同步更新；步骤4识别：在步骤3协同注意力机制和移动卷积神经网络训练结束之后，继续使用电压和电流传感器获取电力终端运行工况下的电压和电流波形，并按照步骤2数据预处理的方法形成电力终端图矩阵，采用步骤3的协同注意力机制和移动卷积神经网络进行识别；步骤5未被学习的电力终端的增量处理：提出基于自选择增量表征学习和学习率控制的增量学习策略；并将自选择增量表征学习应用于协同注意力机制和移动卷积神经网络中，将学习率控制应用于协同注意力机制中；增量学习策略中的自选择增量表征学习由对已学习数据中的部分数据进行重新学习的阶段和增量数据学习阶段组成；对已学习数据中的部分数据进行重新学习的阶段有效避免神经网络的灾难性遗忘；增量数据学习阶段使神经网络能够识别未被学习的电力终端；采用步骤3中的已完成训练的协同注意力机制来选取对已学习数据中的部分数据进行重新学习的阶段所需要的数据；将所有已学习数据送入协同注意力机制进行处理，得到每个数据的权重值矩阵；将权重值矩阵按照列向量进行连接，并求取权重值矩阵的模值，将模值最大的10个电力终端图矩阵选出，为已学习数据中的部分数据进行重新学习的阶段所需要的数据；将已学习数据中的部分数据进行重新学习的阶段所需要的数据和增量数据进行组合，并扩展协同注意力机制和移动卷积神经网络的分类层，使用以下的损失函数对协同注意力机制和移动卷积神经网络再次进行训练： 其中，lΘ为损失函数；Θ为协同注意力机制和移动卷积神经网络中移动卷积神经网络部分的参数；Xi为第i个输入数据，Xi的前s-1个输入数据为已学习数据中的部分数据进行重新学习的阶段所需要的数据，Xi的s到t个数据为增量数据；Yi为对应Xi的标签；为使用激活函数后的真实值；qY,i为概率化后的真实值；gYXi为Xi对应的预测值；log·为以10为底的对数，∑·为累加符号；增量学习策略中的学习率控制作用于步骤3中的协同注意力机制；含电机元件的电力终端启动时刻波形起伏较大，含电机元件的电力终端形成的电力终端图矩阵在垂直方向上的具有差异；在使用含电机元件的电力终端数据进行训练时，协同注意力机制垂直方向卷积的学习率为：ηY＝ηo1+logConv2dYXi11其中，ηo为初始设定的学习率；Conv2dY·函数值表示在垂直方向上使用协同注意力机制得到的权重值；在使用不含电机元件的电力终端数据进行训练时，协同注意力机制水平方向卷积的学习率为：ηX＝ηo1+logConv2dXXi12其中，Conv2dX·函数值表示在水平方向上使用协同注意力机制得到的权重值；步骤6采用One-Versus-All策略建立多个二分类器：在步骤3协同注意力机制和移动卷积神经网络训练结束之后输出的电力终端图矩阵为yc，电力终端设备用k1个标签来描述，将标签从1到k1进行编码，创建k1个二分类器；第一个二分类器以类别1为正例，其它k1-1个类别为负例，第二个二分类器以类别2为正例，其它k1-1个类别为负例，以此类推；标签集合用向量表示为y＝[1,2,…,k1]；步骤7分类器训练与预测：对每个二分类器都训练一个支持向量机，通过寻找一个最优超平面来实现二分类；使用核函数将数据映射到高维特征空间，进而在高维空间中寻找最优超平面，选择的高斯核函数为： 其中，K·,·是高斯核函数，即径向基函数，能计算两个低维向量在高维空间中的内积；y′表示原始样本空间中区别于yc的输入样本；γ是高斯核函数的指数参数，能决定样本在特征空间中的相似度衰减速度，e表示自然常数；在高维特征空间中，构建一个最优超平面来区分不同类别的数据点，每个分类器对应支持向量机决策函数的输出值fyc为：fyc＝sign∑αcyKyc,y′+b14其中，sign·函数是符号函数，fyc是每个分类器对应支持向量机决策函数的输出值，αc为支持向量的权重系数，Kyc,y′为输入样本yc与y′时高斯核函数的计算结果；步骤8计算每个分类器的置信度概率值：通过计算模型的置信度来评估分类结果的准确性，判断模型预测的准确程度；样本点到超平面的距离为： 其中，||w||表示超平面法向量的模，dyc为样本点到超平面的距离，距离值越大，样本点离超平面越远，对应的置信度越高；支持向量机输出的决策函数值能通过Sigmoid函数映射到0到1之间；支持向量机输出的置信度概率值为： 其中，gyc表示当输入样本为yc时支持向量机输出的置信度概率值，a为置信度控制常数，用于控制Sigmoid函数的斜率；步骤9拒识：样本yc对应第q个标签，标签的类别总数为k1，经过降序排列操作后输出的结果为则单分类器采用线性组合的拒识方法输出的结果为： 其中，α1和β1分别为g1yc和的权重系数，α+β＝1；g1yc表示支持向量机输出的置信度概率值经过降序操作后的最大概率值，g2yc表示支持向量机输出的置信度概率值经过降序操作后排在第二位的概率值，表示支持向量机输出的置信度概率值经过降序操作后排在第k1位的概率值，0≤r3yc≤1；TH2为选取的高阈值，TH1为选取的低阈值；当r3yc＜TH1时，则样本yc不属于标签q；当r3yc＞TH2时，则样本yc属于标签q；当TH1≤r3yc≤TH2时，样本yc输出置信度概率值处在模糊区域，分类器不能准确判断样本yc是否属于标签q，称为拒识；将单分类器的拒识方法扩展到多个分类器中，标签的类别总数为k1，构建k1个分类器，第q个标签对应第q个分类器，则当输入样本yc时第q个分类器经过多标签拒识方法计算的结果Hq为： 其中，r1qyc表示当输入样本为yc时第q个分类器采用线性组合拒识方法计算的结果；当Hq＝-1时样本yc不属于标签q；当Hq＝1时样本yc属于标签q；当Hq＝0时分类器不能准确判断样本yc是否属于类别q，称为拒识；样本yc通过多标签拒识方法计算得到的结果为当输入样本yc时第1、2和k1个分类器经过多标签拒识方法计算的结果分别为H1、H2和

全文数据：

权利要求：

百度查询： 广西大学 一种增量协同Attention卷积的电力终端多标签识别与拒识方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD