申请/专利权人：北京工业大学

申请日：2021-09-28

公开（公告）日：2024-04-09

公开（公告）号：CN114169385B

主分类号：G06V10/82

分类号：G06V10/82;G06N3/0475;G06N3/0464;G06N3/045;G06N3/094;G06N3/084;G06V10/774

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2022.03.29#实质审查的生效;2022.03.11#公开

摘要：基于混合数据增强的MSWI过程燃烧状态识别方法属于燃烧状态识别领域。本发明针对目前燃烧状态识别方法存在的局限性，归纳总结了研究中存在的问题，首次将GAN用于MSWI过程燃烧状态识别；分析了生成式数据增强的缺陷，并提出一种混合式数据增强的方法，弥补了生成对抗式数据增强的不足；设计一种切实可行的实验策略，通过弗雷歇距离FréchetInceptionDistance,FID，对不同生成模型生成的图像质量进行评估，为样本筛选提供了评价指标。通过与其他识别模型对比，表明本文所构建的燃烧状态识别模型泛化性能好、准确率高且鲁棒性强。

主权项：1.基于混合数据增强的MSWI过程燃烧状态识别方法，其特征在于：提出基于混合数据增强的MSWI过程燃烧状态识别模型，该模型由数据预处理模块、生成式数据增强模块、增强图像选择模块、燃烧状态识别模块四部分组成；XFW、XNM和XBC表示燃烧线前移、正常和后移三种燃烧状态数据集；X'FW、X'NM和X'BC表示前移、正常和后移三种燃烧状态的训练样本集；X"FW、X"NM和X"BC表示前移、正常和后移三种燃烧状态的验证集和测试集样本；z表示服从正态分布的100维随机噪声；Gz表示由随机噪声经过生成网络得到的虚拟样本；SD,t和SG,t表示燃烧图像粗调DCGAN中获得的判别网络和生成网络的结构参数；Xreal在燃烧图像粗调DCGAN子模块中参加博弈的真实数据，该数据不随博弈而改变，故无下标t；Xfalse,t表示在燃烧图像粗调DCGAN子模块参加第t轮博弈的生成数据；θD,t和θG,t表示在燃烧图像粗调DCGAN子模块中第t次博弈判别网络和生成网络分别更新前的网络参数；Dt·，·和Dt+1·，·分别表示在燃烧图像粗调DCGAN子模块判别网络参数分别为θD,t和θD,t+1时判别网络的预测值集合；YD,t和YG,t表示在燃烧图像粗调DCGAN子模块中第t次博弈训练判别网络和生成网络的真实值集合；lossD,t和lossG,t分别表示在燃烧图像粗调DCGAN子模块中第t次博弈更新判别网络和生成网络的损失值；Gtz表示在燃烧图像粗调DCGAN子模块第t次博弈中由随机噪声经过生成网络得到的虚拟样本；和分别表示在燃烧线前移、正常和后移精调DCGAN子模块中参加博弈的真实数据，该数据不随博弈次数的变化而变化；和分别表示在燃烧线前移、正常和后移精调DCGAN子模块中参加第t次博弈的生成数据；和分别表示在燃烧线前移、正常和后移DCGAN子模块中第t次博弈判别网络更新前的网络参数；和分别表示在燃烧线前移、正常和后移DCGAN子模块中第t次博弈生成网络更新前的网络参数；和分别表示在燃烧线前移、正常和后移精调DCGAN子模块中判别网络参数分别为和时判别网络的预测值集合；和分别表在燃烧线前移、正常和后移精调DCGAN子模块中判别网络参数分别为和时判别网络的预测值集合；和分别表示在燃烧线前移、正常和后移精调DCGAN子模块中第t次博弈训练判别网络的真实值集合；和分别表示燃烧线前移、正常和后移精调DCGAN子模块中第t次博弈训练生成网络的真实值集合；和分别表示燃烧线前移、正常和后移精调DCGAN子模块中第t次博弈更新判别网络的损失值；和分别表示燃烧线前移、正常和后移精调DCGAN子模块中第t次博弈更新生成网络的损失值；ξFW、ξNM和ξBC分别表示增强图像选择模块中前移、正常和后移FID值的阈值；YCNN,t表示燃烧状态识别模块第t次更新CNN模型真实输出集合；YCNN,t表示燃烧状态识别模块第t次更新CNN模型预测值集合；lossCNN,t表示燃烧状态识别模块第t次更新CNN的损失；θCNN,t表示燃烧状态识别模块第t次更新CNN的网络更新参数；1数据预处理模块：其输出为典型工况下的三种燃烧状态图像；从MSWI电厂采集图像数据，并选取典型工况得到三种燃烧状态图像数据，并将其划分为训练样本集、验证样本集和测试样本集；2生成式数据增强模块：主要由一个粗调DCGAN子模块和三个精调DCGAN子模块组成，在燃烧图像粗调DCGAN子模块中：其输入是在所有燃烧图像中随机采样获取的数据集，其输出是判别网络、生成网络的结构参数；在三个精调DCGAN子模块中：其输入为对应燃烧状态的训练样本集和粗调DCGAN中生成网络、判别网络的结构参数，其输出为对应燃烧状态的生成图像；3增强数据选择模块：其输入为生成的不同燃烧状态的优质样本和对应状态下的训练样本，其输出为构建不同燃烧状态的训练、验证和测试集；分别计算对应子模块中真实数据与生成数据间FID值，基于FID值选择优质样本放入训练集；4燃烧状态识别模块：其输入为上述模块构建的训练、验证和测试集，其输出为验证集、测试集的准确率与损失；对上述模块构建的训练样本进行非生成式数据增强，并基于混合数据训练CNN；数据预处理模块：燃烧火焰视频通过电缆传输和视频卡采集，然后将采集的视频以分钟为周期进行存储，选择燃烧线处于不同位置的标准火焰图像；按照干燥段、燃烧段和燃烬段共3个区域对标准火焰图像进行划分，并对每张图像进行标记；生成式数据增强模块由四个DCGAN子模块组成，燃烧图像粗调DCGAN子模块随机选取固废燃烧图像进行博弈，其余子模块采用燃烧图像粗调DCGAN的网络结构，并对其超参数进行精调；粗调DCGAN子模块中第t轮博弈：首先，将随机获取的燃烧图像作为DCGAN的Xreal，由z通过生成网络得到Xfalse,t；接着，Xreal和Xfalse,t经过网络参数为θD,t的判别网络后得到Dt·，·，通过将真实图片标记为1和虚假图片标记为0得到YD,t，将Dt·，·和YD,t根据损失函数计算得到lossD,t，其经过优化器得到判别网络的新参数θD,t+1以更新判别网络；然后，Xreal和Xfalse,t经过网络参数为θD,t+1的判别网络后得到Dt+1·，·，通过将真实图片和虚假图片均标记为1得到YG,t，将Dt+1·，·和YG,t根据损失函数的计算得到lossG,t，其经过优化器得到生成网络新参数θG,t+1以更新生成网络；重复进行上述博弈以获得生成数据；DCGAN网络结构DCGAN由生成网络和判别网络两个前馈网络组成；生成网络由全连接层、批归一化层、形状变换层、上采样层、卷积层和激活层组成；生成网络的设计目标是将潜在空间100维的随机向量z生成符合真实图像分布的图像：首先，由潜在空间100维的随机向量z经全连接层输出具有16*16*128＝32768个变量的一维向量；接着，通过形状变换将其变为16,16,128的张量；然后，上采样操作将形状为16,16,128的张量转化为形状32,32,128的张量，将形状为32,32,128的张量转化为形状64,64,128的张量，每个上采样操作后添加卷积核尺寸为4、填充方式为“same”、步长为1、通道数分别为128、64和3的卷积层，使网络能够记录火焰图像的空间特征，并最终变换成64,64,3的目标形状，即RGB图像的目标形状；使用Tanh激活函数将最终输出转换成-1～1之间的实数；将批量归一化层添加在全连接层后；判别网络由全连接层、形状变换层、上采样层、卷积层和激活层组成；判别网络的目标是给出图片为真的概率：首先，由卷积核尺寸为4、通道数分别为32、64、128和256的4个卷积层的叠加实现特征提取，卷积层中间添加LeakyRelualpha＝0.2，增加网络非线性的同时保证判别网络在与生成网络博弈过程的稳定，Dropout0.5层通过随机丢失50％神经元缓解网络过拟合问题；然后，Flatten层将特征图铺平；最后，将激活函数为“sigmoid”的Dense层作为分类器，得到图片为真的概率；在DCGAN中，生成网络和判别网络均属于前馈神经网络，以燃烧图像粗调DCGAN中第t轮判别网络更新为例：其参数更新步骤包括用反向传播算法计算梯度和Adam算法更新权重参数；1反向传播算法计算梯度：为表述方便，将图像集[Xreal；Xfalse,t]表示为X即[x1；x2；...；xa；...]，其中xa表示第a张图片，Dtxa表示第a张图片输入判别网络预测值，DtX表示判别网络预测值集合即Dt·，·，YD,t表示判别网络真实输出集合[y1；y2；...；ya；...]，其中ya表示第a张图片的真值，L为损失函数，损失函数的表达式为LYD,t,DtX，进而将某个具体损失函数表示为：Lya,Dtxa，其梯度如下式所示： 采用反向传播算法通过链式法则由后往前推导，从而简化判别网络节点的梯度，如下式所示： 式中，第i层的误差为δi；第i层输出为Oi；第i层的权重和偏置为Wi和Bi；第i-1层的权重和偏置的当前梯度分别为和上标T表示转置；采用Adam梯度下降算法更新判别网络参数，Adam更新权重的公式为： 式中，θD,t为第t次判别网络的参数；α为学习率，值为0.00015；γ为很小的正实数，用于防止分母为0；mD,t表示第t次判别网络的一阶动量，如下式： vD,t表示第t次判别网络的二阶动量，如下式: 式中，β1、β2为超参数，β1＝0.5，β2＝0.99；为第t次判别网络参数的梯度；对于第t轮迭代，判别网络参数的更新步骤为：首先，根据式2～5计算当前每层参数的梯度，进而获得整个网络参数的梯度接着，根据历史梯度计算一阶动量mD,t与二阶动量vD,t；然后，计算第t次的下降梯度ηD,t，如下式： 最后，采用ηD,t更新第t次的判别网络参数θD,t以得到t+1次的网络参数θD,t+1，如下式：θD,t+1＝θD,t-ηD,t10由于mD,0＝0和vD,0＝0，所以一阶动量与二阶动量在更新参数的初始阶段接近于0；因此，式7和8中mD,t和vD,t被修正,修正后的一阶动量与二阶动量为mD,t和如下所示： 燃烧图像粗调DCGAN中Adam梯度下降算法更新生成网络参数，其学习率值为0.00015，β1＝0.5，β2＝0.99；燃烧图像粗调DCGAN第t次博弈：更新判别网络参数和生成网络参数的目标函数如式13和14所示，其中，prx表示真实数据的概率分布；pzz表示潜在空间100维的随机向量z服从的正态分布；E表示期望；Gtz表示在燃烧图像粗调DCGAN子模块第t次博弈中由随机噪声经过生成网络得到的虚拟样本；θD,t和θG,t表示在燃烧图像粗调DCGAN子模块中第t次博弈判别网络和生成网络分别更新前的网络参数；θD,t+1和θG,t+1表示在燃烧图像粗调DCGAN子模块中第t次博弈判别网络和生成网络分别更新后的网络参数；Dtx和Dt+1x分别表示在燃烧图像粗调DCGAN子模块判别网络参数分别为θD,t和θD,t+1时判别网络的预测值集合；Ex～prxlogDtx表示logDtx的期望，其中，x服从真实数据的概率分布；表示log1-DtGtz的期望，其中，z服从pzz；表示logDt+1Gtz的期望，其中，z服从pzz； 在博弈过程中，交替更新判别网络和生成网络参数；实现该目标函数的方式为：设GAN的损失函数为二元交叉熵函数，如下式所示： 式中，Y表示神经网络真值集合，fX表示神经网络预测值集合，xa表示第a张图片，fxa表示第a张图片输入神经网络的预测值，ya表示第a张图片的真值，n表示图片的总个数；当训练判别网络时，将真实图像标记为1，生成图像标记为0，目的是使等价于式13，步骤如下：1输入一张真实图像，ya＝1，损失为-logDtxa＝-logDtx；当输入一组真实图像数据集时，可获得下式： 2当输入一个虚假图像，ya＝0，损失为log1-Dtxa＝-log1-DtGtz；当输入一组生成图像数据集时可获得下式： 综合步骤1和2可得等价于式13；当训练生成网络时，真实图像与虚假图像都标记为1即ya＝1，输入一个真实图像和虚假图像均为logDt+1xa，可知等价于式14；本文中的对抗网络生成模型共有四个：燃烧图像粗调DCGAN、燃烧线前移精调DCGAN、燃烧线正常精调DCGAN和燃烧线后移精调DCGAN，其原因在于：在pr和pg是常数的情况下GAN的目标函数已被证明网络能够收敛，而实际pr和pg是混合高斯分布；对每个燃烧状态采用该网络结构并微调其超参数；微调结果如表1所示，其中，epochs表示遍历整个数据集的次数，Epoch_FID_start表示从Epoch_FID_start轮迭代开始计算FID；表1超参数微调 在上述3个生成模型更新的过程中，采用的FID指标如下式所示： 式中，μr与μg表示真实图像集和生成图像集多元正态分布的均值；Covr与Covg表示真实图像集和生成图像集的协方差矩阵；Tr表示真实图像集矩阵的迹；首先，抽取Inception网络的中间层映射，构建一个多元正态分布学习这些特征映射的概率分布；然后，使用式18计算真实图像与生成图像间的FID分数，其中，FID分数越低，说明模型质量越高，其生成具有多样性、高质量的图像的能力也越强；最后，采用FID对生成模型的图像质量进行评估；当FID小于设定阈值时，将生成合格燃烧图像并将其放入训练集，其中，前移、正常和后移的阈值ξFW、ξNM和ξBC分别为60、60和63。

全文数据：

权利要求：

百度查询： 北京工业大学 基于混合数据增强的MSWI过程燃烧状态识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD