申请/专利权人：南京农业大学

申请日：2018-04-25

公开（公告）日：2021-07-20

公开（公告）号：CN108682006B

主分类号：G06T7/00(20170101)

分类号：G06T7/00(20170101);G06T7/44(20170101);G06T7/90(20170101)

优先权：

专利状态码：失效-未缴年费专利权终止

法律状态：2023.03.31#未缴年费专利权终止;2018.11.13#实质审查的生效;2018.10.19#公开

摘要：本发明公开了一种非接触式罐装堆肥腐熟判断方法，包括以下步骤：S1、提取t时刻图像数据；S2、预处理；S3、基于S2获得的数据，构建卷积神经网络CNN进行堆肥图像特征提取得到255维的特征向量；S4、将S1中热成像图颜色直方图数据同S3中图像特征提取卷积神经网络输出的特征向量组合在一起形成堆肥实时特征，并归一化处理；S5、基于长短期记忆网络LSTM进行预测；S6、输出判断结果。采用本方法基于温度、外观的实时检测堆肥状态的方法结果准确、操作难度小。

主权项：1.一种非接触式罐装堆肥腐熟判断方法，其特征在于包括以下步骤：S1、提取t时刻图像数据，包括255×3维热成像图颜色直方图数据和堆肥表面RGB图像数据；S2、预处理，将堆肥表面RGB图像数据进行中值滤波处理；S3、基于S2获得的数据，构建卷积神经网络CNN进行堆肥图像特征提取得到255维的特征向量；S3中，CNN特征提取由两个步骤组成：首先是训练，具体做法是将N幅已标记腐熟、未腐熟样本图像送入CNN通过梯度下降算法训练得到图像特征并提取网络的各项参数；然后将训练好的CNN模型参数用于监测过程的特征提取；CNN包括3个卷积层、3个池化层、2个全连接层、以及1个分类层，第二个全连通层的255维向量为图像的最终特征；CNN中，输入的是三通道的RGB图像数据矩阵，卷积层输出图片尺寸计算公式为： 式1中，W1为输入矩阵宽度，W2为输入经过卷积层卷积之后的矩阵宽度，F为卷积核大小，P为是否采用零填充，采用零填充P值为1，未采用零填充P值为0，S为步长；池化层输出图片尺寸计算公式为： 式2中，W1为输入矩阵宽度，W2为输入经过池化层之后的矩阵宽度，F为滤波器大小，S为步长；S4、将S1中热成像图颜色直方图255×3维数据同S3中图像特征提取卷积神经网络输出的255维特征向量组合在一起形成255×4维堆肥实时特征，并归一化处理；S5、基于长短期记忆网络LSTM进行预测，以S4获得数据为输入量，输入门、遗忘门和输出门之前时刻的数据同时作为输入数据；长短期记忆网络LSTM预测模型通过不断地训练网络更新参数值获得；S6、输出判断结果。

全文数据：非接触式罐装堆肥腐熟判断方法技术领域[0001]本发明将肥堆的自然图像信息和热成像仪拍摄的热成像图像通过深度学习神经网络进行特征提取然后分类的方法来实时判断堆肥的腐熟度，属于农业信息学领域。背景技术[0002]肥料的腐熟对农作物的生长有着极为重要的意义，使用未腐熟的肥料不仅不会对作物的生长有积极作用，还会招来蝇虫产卵腐蚀作物根系，微生物的大量繁殖也会造成土壤缺氧。完全腐熟的肥料不会对环境造成不良影响同时方便运输，有利于提高土壤肥力和促进植物生长。[0003]腐熟度是反映堆肥化过程稳定化程度的指标，现有的腐熟度判别指标有物理指标、化学指标、生物指标。一般情况下把物理指标中的温度变化作为评价堆肥腐熟的重要指标。堆肥过程中，微生物分解有机物质产生的热量使堆肥内部温度升高，高温阶段可达60〜70°C甚至80°C，随后堆肥温度逐渐下降。但经过搅拌后温度将再次上升，然后再下降。经过几次搅拌及温度反复上升和下降后，堆肥材料中相对易分解有机物质逐渐消失，以后即使再搅拌温度也不再上升。传统的接触式温度判断腐熟方法为人工测温和在堆肥中埋设温度传感器。此外，腐熟的肥料与未腐熟的肥料表面形状特征也存在一定差异。发明内容[0004]本发明针对背景技术中存在的问题，将堆肥表面的自然图像特征和热成像图像特征作为堆肥的特征描述，运用深度学习的方法学习堆肥的图像特征实现腐熟度预测。[0005]技术方案:一种非接触式罐装堆肥腐熟判断方法，包括以下步骤：[0006]S1、提取t时刻图像数据，包括255X3维热成像图颜色直方图数据和堆肥表面RGB图像数据；[0007]S2、预处理，将堆肥表面RGB图像数据进行中值滤波处理；[0008]S3、基于S2获得的数据，构建卷积神经网络CNN进行堆肥图像特征提取得到255维的特征向量；[0009]S4、将Sl中热成像图颜色直方图255X3维数据同S3中图像特征提取卷积神经网络输出的255维特征向量组合在一起形成255X4维堆肥实时特征，并归一化处理；[0010]S5、基于长短期记忆网络LSTM进行预测，以S4获得数据为输入量，输入门、遗忘门和输出门之前时刻的数据同时作为输入数据;长短期记忆网络LSTM预测模型通过不断地训练网络更新参数值获得；[0011]S6、输出判断结果。[0012]具体的，Sl中，热成像图颜色直方图数据表示为：[0013][0014][0015][0016]式中，Qr、Qc、别为R、G、B分量上的色度概率值;拍摄时，把热成像仪放在堆肥罐顶正对堆肥表面，距离堆肥表面15-lOOcm。[0017]具体的，SI中，通过下式提取t时刻堆肥表面RGB图像数据：[0018][0019]Pt是堆肥自然图像的RGB彩色图像矩阵，拍摄时普通数字摄像头在罐顶正对堆肥表面拍摄，罐内通过LED灯补光，距离堆肥表面15-lOOcm，取拍摄图像正中间区域90*90像素，n=90〇[0020]具体的，S2中，所述中值滤波过程为：由RGB图像三个通道上（iJ处通过滤波窗口卷积结果相加，然后再取激活函数值得到滤波后图像Li，j的值。[0021]具体的，S3中，CNN特征提取由两个步骤组成：[0022]首先是训练，具体做法是将N幅已标记腐熟、未腐熟样本图像送入CNN通过梯度下降算法训练得到图像特征并提取网络的各项参数；[0023]然后将训练好的CNN模型参数用于监测过程的特征提取；[0024]CNN包括3个卷积层、3个池化层、2个全连接层、以及1个分类层，第二个全连通层的255维向量为图像的最终特征。[0025]具体的，CNN中，输入的是三通道的RGB图像数据矩阵，卷积层输出图片尺寸计算公式为：[0026]式—D[0027]式1中，Wi为输入矩阵宽度，W2为输入经过卷积层卷积之后的矩阵宽度，F为卷积核大小，P为是否采用零填充，采用零填充P值为1，未采用零填充P值为〇，S为步长；[0028]池化层输出图片尺寸计算公式为：[0029]咖[0030]式2中，W1为输入矩阵宽度，评2为输入经过池化层之后的矩阵宽度，F为滤波器大小，S为步长。[0031]具体的，S4中，归一化函数如下：[0032][0033]其中，XtKX1*别是归一化前、后堆肥实时特征向量，μ为所有样本数据的均值，σ为所有样本数据的标准差。[0034]具体的，S5中，长短期记忆网络LSTM包括三层:输入层、隐藏层和输出层，输入维数255X4=1020，隐藏层神经元500，单输出；在第一次使用LSTM时训练网络参数，将t时刻的堆肥状态特征向量xt，同时将遗忘门中数据乘以遗忘系数ft、输入数据乘以输入门衰减系数it、输出门数据乘以输出系数〇t，通过tanh激活函数进行数据整合得到网络输出，网络根据标记值进行反向传播，计算网络误差，通过不断地训练网络更新参数值来减小误差，得到LSTM预测模型。[0035]具体的，反向传播算法为：[0036]WhbhW^b^Wodo均为网络参数，初始值为随机值，通过网络不断地训练，由反向传播算法求出各参数的梯度值实现参数值的更新。[0037]LSTM中，通过隐藏状态ht的梯度和Ct的梯度—步步向前传播，对损失函数进行求导得到梯度公式：[0038]δΡ的梯度由本层的输出梯度误差决定，即：[0039][0040]的反向梯度误差由前一层难+1的梯度误差和本层的从ht传回来的梯度误差，两部分组成，梯度公式为：[0041][0042]基于和δ|}易获得参数的梯度。[0043]具体的，反向传播算法过程为：[0044]1初始化遗忘门参数Wf、bf，输出门参数Wo、i〇，输入门参数Wi、bi，索引输出参数V、C[0045]2数据预处理，将图片数据转化为可处理的Tensor张量，并进行归一化处理[0046]3foritertoIto训练迭代步数[0047]4forstart=Ito训练集数据长度[0048]5利用前向传播算法计算t时刻预测值y~t[0049]6计算损失函数L[0050]7通过链式求导法则利用输出层结点的偏导值，计算所有隐藏层结点的偏导值[0051]8通过优化函数一步步更新胃£、匕£、胃1、1^、¥〇、;[0参数值[0052]循环结束[0053]循环结束[0054]结束。[0055]具体的，S6中，LSTM前向传播实现输出肥料腐熟度的预测信息，将t时刻的堆肥状态特征向量Xt输入网络，输出预测值t。[0056]本发明的有益效果[0057]本发明是以罐式堆肥方法为研究对象，罐式的特点较为封闭，传统接触式的两种测温方式操作难度大。热成像仪是一种非接触式测温方法，能够实时拍摄物体表面的热成像图，图中不同颜色能够代表不同的温度。虽然只是表面温度，比较于堆体内部的人工测温和温度传感器测温有一定的损失，但通过大量测温点，基本可以反映堆肥的温度及变化信息，且测温准确方便安装。在罐式堆肥中，化学、生物等判断堆肥腐熟的方法操作难度大，单一的评价指标判断误差大。采用非接触式基于温度、外观的实时检测堆肥状态的方法结果准确、操作难度小。附图说明[0058]图1为本发明腐熟判断流程。[0059]图2为CNN滤波原理图。[0060]图3为CNN网络结构图。[0061]图4为LSTM内部结构图。[0062]图5为实施例中堆肥表面自然图像。具体实施方式[0063]下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：[0064]以某堆肥厂为例，堆肥原料为动物粪便和尾菜，在发酵罐顶部安装摄像头和热成像仪监测发酵罐一个生产周期，数据采集间隔设为2小时，共收集热成像图像、堆肥表面1500条数据。其中300个测试样本和1200个训练样本。[0065]结合图1，一种非接触式罐装堆肥腐熟判断方法，包括以下步骤：[0066]S1、提取t时刻图像数据，包括255X3维热成像图颜色直方图数据和堆肥表面RGB图像数据。[0067]安装具有网络通讯功能功能摄像头用于拍摄自然堆肥图像和热成像仪用于拍摄热成像图像，编制程序采集热成像图像名称、自然图像名称、时间等数据保存在数据库中以便数据调度，图像以JPG的文件格式保存。[0068]S1-1，提取t时刻热成像图颜色直方图数据：[0069]把热成像仪放在堆肥罐顶正对堆肥表面，距离堆肥表面15-lOOcm，在t时刻拍摄得到堆肥表面热成像图像。用颜色直方图描述t时刻热成像图像在RGB三个分量上的概况，获取到不同色度在图像中所占的比率。[0070][0071][0072][0073]RGB三个分量的取值范围均为[0,255]，所以每个分量都有255维的数据，Qr、Qg、Qb分别为R、G、B分量上的色度概率值。[0074]S1-2，提取t时刻堆肥表面RGB图像数据：[0075][0076]Pt是堆肥自然图像的RGB彩色图像矩阵，拍摄时普通数字摄像头在罐顶正对堆肥表面拍摄，罐内通过LED灯补光，距离堆肥表面15-lOOcm，取拍摄图像正中间区域90*90像素，n=90〇[0077]S2、预处理，将堆肥表面RGB图像数据进行中值滤波处理：[0078]对堆肥表面RGB图像采用训练好的卷积滤波窗口进行中值滤波。如图2所示，以窗口大小为3X3的滤波窗口为例，滤波后图像Li，j出的值，是由RGB图像三个通道上（i，j处通过滤波窗口卷积结果相加然后再取激活函数值得到的。将得到的图像放入全连接层得至IJ255维的特征向量。[0079]S3、基于S2获得的数据，构建卷积神经网络CNN进行堆肥图像特征提取得到255维的特征向量：[0080]卷积神经网络模拟人类大脑视觉信息处理从低阶特征到高阶特征的模式，利用多个连续卷积层提取出递进复杂的特征。前端卷积层滤波器检测低阶特征，后端随着卷积层的增加，滤波器组合出更复杂的图像特征表达。故本方法用卷积神经网络提取堆肥图像特征，CNN特征提取由两个步骤组成，首先是训练，具体做法是将N幅已标记腐熟、未腐熟样本图像送入CNN通过梯度下降算法训练得到图像特征并提取网络的各项参数;然后将训练好的CNN模型参数用于监测过程的特征提取。[0081]卷积神经网络含多层神经网络，每层由多个平面组成，每个层面有若干独立神经元，具体为输入、卷积层、池化层、全连接层和输出等模块类型。堆肥图像特征提取使用的卷积神经网络包括3个卷积层、3个池化层、2个全连接层，以及1个分类层。第二个全连通层的255维向量为图像的最终特征。网络结构如图3所示。[0082]图2中首先输入的是三通道的RGB图像数据矩阵，第一层卷积层中卷积核大小为5X5输出32维大小为88X88的特征映射，第一层池化层的滤波器大小为2X2输出32维大小为44X44的特征映射。第二层卷积层中卷积核大小为3X3，输出64维大小为44X44的特征映射，第二层池化层的滤波器大小为2X2输出64维大小为22X22的特征映射。第三层卷积层中卷积核大小为3X3,输出128维大小为22X22的特征映射，第三层池化层的滤波器大小为2X2输出128维大小为11X11的特征映射。最后两层全连接层分别是的数据为15488维和255维。[0083]卷积层输出图片尺寸计算公式为：[0084].式1[0085]式1中，Wi为输入矩阵宽度，W2为输入经过卷积层卷积之后的矩阵宽度，F为卷积核大小，P为是否采用零填充，采用零填充P值为1，未采用零填充P值为〇，S为步长。[0086]池化层输出图片尺寸计算公式为：式2[0087][0088]式2中，W1为输入矩阵宽度，评2为输入经过池化层之后的矩阵宽度，F为滤波器大小，S为步长。[0089]S4、将Sl中热成像图颜色直方图255X3维数据同S3中图像特征提取卷积神经网络输出的255维特征向量组合在一起形成255X4维堆肥实时特征，并归一化处理：[0090]至此，已经收集到热成像图像特征为RGB三个分量上的颜色分布概率温度数据大小为3个255维的特征向量，自然图像特征为一条255维的特征向量，组合在一起形成堆肥实时特征。考虑到这些数据不同维度之间数量级上存在差异，在将数据送入模型进行训练前，先对数据进行标准差标准化归一化处理。经过处理的数据符合正太分布，平均值为〇,标准差为1，归一化函数如下：[0091]试3[0092]具中，X。、X1分别是归一化前后堆肥实时特征向量，μ为所有样本数据的均值，σ为所有样本数据的标准差。[0093]S5、基于长短期记忆网络LSTM进行预测，以S4获得数据为输入量，输入门、遗忘门和输出门之前时刻的数据同时作为输入数据;长短期记忆网络LSTM预测模型通过不断地训练网络更新参数值获得：[0094]近年来深度学习模型发展迅速，长短期记忆网络LSTM在网络结构设计中结合了时序和遗忘的概念，使其在时序数据和时间间隔较长的数据分析中表现出较强的适应性。LSTM的特点在于通过增加输入门限、遗忘门限和输出门限，使得自循环的权重是变化的，这样一来在模型参数固定的情况下，不同时刻的积分尺度可以动态改变，从而避免了梯度消失或者梯度膨胀的问题。在某一时间点，LSTM接收堆肥状态输入向量，输入门、遗忘门和输出门将之前时刻的重要数据同时作为输入数据，并且将当前重要数据保存下来。数据通过激活函数更新网络隐含层节点状态，由输出层做出预测。每一层的隐藏状态都会向后一直传递，故其隐含层的状态存储了堆肥历史时刻的信息，可以挖掘出历史与当前时刻信息之间的关系。[0095]1遗忘门工作原理[0096]当t_1时刻的网络信息传入t时刻的网络时，首先要决定它的遗忘程度，将t时刻之前的记忆状态乘以一个〇〜1之间的衰减系数，紧接着加上t时刻学到的记忆传入t+Ι时刻网络的记忆单元。衰减系数的计算方法为将t-Ι时刻的网络输出ht-i和这一步的网络输入Xt结合起来再做线性变换，最后经过sigmoid激活函数，将结果映射到0〜1之间作为记忆网络的衰减系数，记作ft。衰减系数计算公式为：[0097][0098]2输入门工作原理[0099]首先，计算当前时刻学习到的内容匕，它对应一个衰减系数it。当前状态学习到的记忆Gt是通过线性变换和tanh激活函数得到的。当前时刻学习到的内容Gt的计算公式为：[0100][0101]衰减系数it和遗忘门衰减系数计算方法相同，衰减系数it计算公式为：[0102][0103]最后将t-1时刻的衰减系数ft乘以t-1时刻的记忆Cu，加上该时刻t下学到的记忆Gt:乘以它的衰减公式得到t时刻记忆状态ct，计算公式为：[0104][0105]3输出门工作原理[0106]首先使用类似于计算遗忘系数的方法计算输入门得到的系数〇t，这个系数决定了输出的多少，然后根据系数Ot得出输出值ht。系数Ot和网络输出ht的计算公式为：[0107][0108][0109]更新当前序列索引预测输出，V为系数向量，c为偏置：[0110][0111]第一次使用需要训练LSTM网络参数。[0112]结合图4,本发明堆肥腐熟预测方法使用的长短期记忆神经网络LSTM包括三层:输入层、隐藏层和输出层，输入维数255X4=1020维，隐藏层神经元500，时间步长为10。[0113]LSTM网络参数设置如下：[0114]LSTMinput_size=1020,hidden_size=500,num_layers=2,batch_first=True[0115]Linearhidden_size=500,n_class=2[0116]其中，input_size表示的是输入的数据维数;hidden_size表示的是输出维数；而111_15^18表不堆叠几层的1^1]\1，默认是1;匕1：311_；1^；^81：1'1'116或者？186，因为1111.181：111接受的数据输入是序列长度，batch，输入维数），使用batch_first，我们可以将输入变成batch，序列长度，输入维数）；n_class代表类别。[0117]S6、输出判断结果：在检测状态下，LSTM前向传播实现输出肥料腐熟度的预测信息，将t时刻的堆肥信息即Xt输入网络，输出预测值t。[0118]本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

权利要求：1.一种非接触式罐装堆肥腐熟判断方法，其特征在于包括以下步骤：51、提取t时刻图像数据，包括255X3维热成像图颜色直方图数据和堆肥表面RGB图像数据；52、预处理，将堆肥表面RGB图像数据进行中值滤波处理；53、基于S2获得的数据，构建卷积神经网络CNN进行堆肥图像特征提取得到255维的特征向量；54、将Sl中热成像图颜色直方图255X3维数据同S3中图像特征提取卷积神经网络输出的255维特征向量组合在一起形成255X4维堆肥实时特征，并归一化处理；55、基于长短期记忆网络LSTM进行预测，以S4获得数据为输入量，输入门、遗忘门和输出门之前时刻的数据同时作为输入数据;长短期记忆网络LSTM预测模型通过不断地训练网络更新参数值获得；56、输出判断结果。2.根据权利要求1所述的方法，其特征在于Sl中，热成像图颜色直方图数据表示为：式中，Qr、Qg、Qb分别为R、G、B分量上的色度概率值；拍摄时，把热成像仪放在堆肥罐顶正对堆肥表面，距离堆肥表面15-100cm。3.根据权利要求1所述的方法，其特征在于SI中，通过下式提取t时刻堆肥表面RGB图像数据：Pt是堆肥自然图像的RGB彩色图像矩阵，拍摄时普通数字摄像头在罐顶正对堆肥表面拍摄，罐内通过LED灯补光，距离堆肥表面15-lOOcm，取拍摄图像正中间区域90*90像素，η=90〇4.根据权利要求1所述的方法，其特征在于S2中，所述中值滤波过程为：由RGB图像三个通道上（i，j处通过滤波窗口卷积结果相加，然后再取激活函数值得到滤波后图像Li，j的值。5.根据权利要求1所述的方法，其特征在于S3中，CNN特征提取由两个步骤组成：首先是训练，具体做法是将N幅已标记腐熟、未腐熟样本图像送入CNN通过梯度下降算法训练得到图像特征并提取网络的各项参数；然后将训练好的CNN模型参数用于监测过程的特征提取；CNN包括3个卷积层、3个池化层、2个全连接层、以及1个分类层，第二个全连通层的255维向量为图像的最终特征。6.根据权利要求5所述的方法，其特征在于CNN中，输入的是三通道的RGB图像数据矩阵，卷积层输出图片尺寸计算公式为：式I式1中，Wi为输入矩阵宽度，W2为输入经过卷积层卷积之后的矩阵宽度，F为卷积核大小，P为是否采用零填充，采用零填充P值为1，未采用零填充P值为〇，S为步长；池化层输出图片尺寸计算公式为：式2式2中，Wi为输入矩阵宽度，W2为输入经过池化层之后的矩阵宽度，F为滤波器大小，S为步长。7.根据权利要求5所述的方法，其特征在于S4中，归一化函数如下：Xi=Χ〇-μ〇试3其中，X^X1*别是归一化前、后堆肥实时特征向量，μ为所有样本数据的均值，σ为所有样本数据的标准差。8.根据权利要求1所述的方法，其特征在于S5中，长短期记忆网络LSTM包括三层：输入层、隐藏层和输出层，输入维数255X4=1020,隐藏层神经元500,单输出；在第一次使用LSTM时训练网络参数，将t时刻的堆肥状态特征向量Xt，同时将遗忘门中数据乘以遗忘系数ft、输入数据乘以输入门衰减系数it、输出门数据乘以输出系数〇t，通过tanh激活函数进行数据整合得到网络输出，网络根据标记值进行反向传播，计算网络误差，通过不断地训练网络更新参数值来减小误差，得到LSTM预测模型。9.根据权利要求8所述的方法，其特征在于反向传播算法为：Wf、bf、Wi、bi、Wo、io均为网络参数，初始值为随机值，通过网络不断地训练，由反向传播算法求出各参数的梯度值实现参数值的更新。LSTM中，通过隐藏状态ht的梯度.和Ct的梯度一步步向前传播，对损失函数进行求导得到梯度公式：的梯度由本层的输出梯度误差决定，即：」的反向梯度误差由前一层\的梯度误差和本层的从ht传回来的梯度误差，两部分组成，梯度公式为：基于_易获得参数的梯度。10.根据权利要求8所述的方法，其特征在于反向传播算法过程为：11.根据权利要求1所述的方法，其特征在于S6中，LSTM前向传播实现输出肥料腐熟度的预测信息，将t时刻的堆肥状态特征向量Xt输入网络，输出预测值t。

百度查询： 南京农业大学 非接触式罐装堆肥腐熟判断方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD