申请/专利权人：国网河北省电力有限公司电力科学研究院;国家电网有限公司;国网河北能源技术服务有限公司

申请日：2018-12-25

公开（公告）日：2021-02-23

公开（公告）号：CN109784205B

主分类号：G06K9/00(20060101)

分类号：G06K9/00(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);G06T7/11(20170101)

优先权：

专利状态码：有效-授权

法律状态：2021.02.23#授权;2019.06.14#实质审查的生效;2019.05.21#公开

摘要：一种基于多光谱巡检图像的杂草智能识别方法。本发明涉及深度学习图像识别领域，特别是涉及一种基于神经网络对巡检图像中杂草的识别方法。本发明以提高多光谱巡检图像中杂草的识别率为目标，以多光谱巡检图像中杂草的特征为基础，结合卷积神经网络方法，解决多光谱巡检图像中电力设备附近杂草识别问题。通过对多光谱巡检图像进行样本数据增广和图像分割，依据杂草和依附的电力设备的特征，在不丢失边缘信息的情况下，获得完整的区域分割结果。接着引入区域生成网络，提取出整幅图像的基础信息，然后再对图像提取固定个数的候选框的图像特征，和改进的图像分类网络连接在一起，得到最终的卷积神经网络模型对杂草进行智能识别。

主权项：1.一种基于多光谱巡检图像的杂草智能识别方法，包含对多光谱巡检图像的样本数据增广、图像分割和基于卷积神经网络模型的杂草识别，其特征在于：首先从杂草图像库中分別抓取各类场景的样本图像，然后对图像添加标签、数据增广、图像预处理，并将处理后的图像划分为训练集和测试集，训练集用于训练图像分类模型和区域生成模型，测试集用于测试模型的识别效果，在测试时，为每幅样本图像提取出目标候选区域，并将候选区域通过之前训练好的分类网络，判别出候选区域中是否存在已标记的类别，进而得出整幅图像中杂草的位置信息；该方法进一步包括：1针对多光谱巡检图像中存在电气设备在中心位置这个特征，对图像进行随机上下左右翻转、随机变换对比度和尺度变换三种数据增广办法，并且引用基于数学形态学的IKONOS多光谱图像分割技术对多光谱巡检图像进行分割；2卷积神经网络模型中的图像分类网络使用改进后的AlexNet网络，为了使得网络能够适应各种尺寸的图像，将最后一层池化层改为兴趣区域池化层，使得不同尺寸的图像在到全连接层时连接为相同尺寸的特征向量，其中图像分类网络的结构为：第一层和第二层分别由卷积层加修正线性单元层、池化层和局部响应归一化层组成，第一层的卷积核数量为96，卷积核尺寸为11，步长为4；第二层的卷积核数量为256，卷积核尺寸为5，步长为4，第一层和第二层的池化层的核尺寸均为3，步长均为2，并且局部响应归一化层的局部尺寸均为5；第三层和第四层均为卷积层加修正线性单元层，卷积核数量均为384，卷积核尺寸均为3；第五层由卷积层加修正线性单元层和兴趣区域池化层构成，卷积核数量为256，卷积核尺寸为3，兴趣区域池化层的作用是区域划分；第六层和第七层为全连接层加修正线性单元层加丢弃层；第八层为一个全连接层；3卷积神经网络模型中的区域生成网络中，候选区域的代价函数计算如下式所示： 式中，pi是分类网络对该区域为前景或后景的置信度，为前后景真实标签，若为1则表示该区域真实为前景，后项计入计算，否则为后景，后项不计入计算；ti为标记图像区域位置和尺寸的四维向量，为真实物体方框的区域位置和尺寸；用来描述网络计算分类置信度和真实类别的误差，本方法用真实分类u对应的概率计算；如下式所示： 表示候选区域检测误差，用于比较真实物体区域V与预测候选区域tu间的平移缩放参数误差，如下式所示： 式中，g为smoothL1损失函数，对异常值不敏感，如下式所示： 得到区域生成网络后，将它和图像分类网络连接在一起，再用区域生成网络产生的候选区域通过兴趣区域池化层训练图像分类网络，对于基础特征提取网络，首先用ImageNet训练得到初始参数W0，再用巡检图像数据对网络参数细调，具体的调节方法如下：1以W0为初始化参数，先训练区域生成网络，用区域生成网络提取原数据集中的候选区域；2以W0为初始化参数，用第1步产生的候选区域训练图像分类网络，产生的参数记为W1；3以W1为初始参数训练，重新训练区域生成网络。

全文数据：一种基于多光谱巡检图像的杂草智能识别方法技术领域本发明涉及深度学习图像识别领域，特别是涉及一种基于神经网络对巡检图像中杂草的识别方法。背景技术由于目前电力巡检主要存在地形复杂、环境复杂、气候复杂、工作量庞大、高空作业危险性大、突发事件响应不及时的特点，并且随着线路里程不断增加，人均运维长度逐年增加，人工巡检方式效率低，有些区域还无法拍摄，所以采用无人机进行线路巡检，通过多光谱设备对每级杆塔或每条线路进行近距离观察，快速获取目标的图像数据，提升巡检效率。针对无人机获取的多光谱巡检图像，由于杂草可能会造成高压设备对地短路，所以需要对图像中的杂草进行识别。而卷积神经网络由一个或多个卷积层和顶端的全连通层对应经典的神经网络组成，同时也包括关联权重和池化层。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像方面能够给出更好的结果。所以使用卷积神经网络对多光谱巡检图像进行杂草识别。近年来，为了解决图像中的杂草识别问题，研究人员从多个方面展开研究，被广泛采纳和使用的是基于机器视觉的识别方法，所取得的成果主要有：1空洞卷积结合全局池化的杂草识别方法该方法中，针对传统AlexNet模型参数大、特征尺度单一的问题，该文提出一种空洞卷积结合全局池化的卷积神经网络识别模型。通过对初始卷积层的卷积核进行膨胀，以增大感受野而不改变参数计算量，并采用传统的全连接层来减少模型的参数，通过设置不同膨胀系数的初始卷积层卷积核与全局池化层类型，得到的模型对正常情况下不同作物幼苗与杂草识别性能较好，为后续深入探索复杂背景下的杂草识别打下基础。2提取多尺度分层特征的杂草识别方法该方法中，首先建立卷积神经网络模型，以从图像的高斯金字塔中提取多尺度分层特征作为识别依据，再与多层感知器相连接实现图像中各像素的识别；为了避免目标交叠带来的问题，对图像进行超像素分割，通过计算每个超像素内部的平均像素类别分布确定该超像素块的类别，再将相同类别的相邻超像素合并，最终实现图像中的目标识别。该方法实现了精确、稳定和高效的杂草识别，为精确除草的发展提供了参考。方法1和方法2所针对的主要是田间环境背景下的农作物与杂草的识别，而针对无人机采集的多光谱巡检图像，使用卷积神经网络在电力设备背景下对杂草进行识别同样具有重要意义。发明内容本发明以提高多光谱巡检图像中杂草的识别率为目标，以多光谱巡检图像中杂草的特征为基础，结合卷积神经网络方法，解决多光谱巡检图像中电力设备附近杂草识别问题。具体包括：1.对多光谱巡检图像进行样本数据增广和图像分割，依据杂草和依附的电力设备如电塔的特征，将正常区域与背景环境相互交错的图像进行精准分割，在不丢失边缘信息的情况下，获得完整的区域分割结果，同时考虑图像边缘特征和区域特征，为后续的卷积神经网络的识别打下基础。2.引入区域生成网络，提取出整幅图像的基础信息，然后再对图像提取固定个数的候选框的图像特征，通过roi_pooling兴趣区域池化层映射为统一尺寸的候选区域特征向量，再通过fc全连接层转换为候选区域属于目标区域的概率和该窗口应该平移缩放的参数，再和改进的图像分类网络连接在一起，得到最终的卷积神经网络模型对杂草进行识别。与现有技术相比，本发明的创新之处在于：面对无人机采集的多光谱巡检图像，利用其多光谱的特性对图像进行预处理，引入卷积神经网络的方法对杂草进行自动识别，减轻人工识别的负担。具体体现在：1.进行电力设备背景下的杂草识别时，针对现用的图像样本进行数据增广，并采用多光谱图像分割技术完成图像分割的预处理，提高卷积神经网络对杂草识别的准确率。2.将卷积神经网络应用到多光谱巡检图像的杂草识别，利用区域生成网络完成候选区域提取，确定杂草在图像中的所在位置，帮助电力巡检人员判断电力设备的当前状态，从而做出合理决策。附图说明图1基于多光谱巡检图像的杂草智能识别流程图2区域生成网络结构示意图图3区域生成网络与图像分类网络连接示意图具体实施方式参阅附图1，首先从杂草图像库中分別抓取各类场景的样本图像，然后对各类图像添加标签、数据增广、图像预处理，并将处理后的图像划分为训练集和测试集。训练集用于训练图像分类模型和区域生成模型，测试集用于测试模型的识别效果。在测试时，为每幅样本图像提取出目标候选区域，并将候选区域通过之前训练好的分类网络，判别出候选区域中是否存在已标记的类别，进而得出整幅图像中杂草的位置信息。实际实施过程中主要包含三个阶段进行实施：第一，图像预处理。首先由于大部分巡检图像中的电气设备在中心位置，针对这个特征，我们对图像进行数据增广，主要有如下方法：1.对图像随机进行上下左右翻转；2.对图像随机变换对比度；3.对图像进行尺度变换。由于多光谱巡检图像中杂草区域与背景环境相互交错，所以对多光谱巡检图像进行精准分割能够为杂草识别提供有效的依据，本方法在这里引用基于数学形态学的IKONOS多光谱图像分割技术，首先利用K-L变换得到PC1图像，该图像是多波段图像信息的归纳和综合，以可见光波谱信息为主，然后利用一定形态和尺寸的结构元素SE探测图像，获取最终的结果梯度图像，具体过程如下：1.利用平坦的不同尺寸的SE提取图像的多尺度形态学梯度：式中,Bi0≤i≤n表示大小为2i+1×2i+1的一组结构元素,n是尺度。2.考虑到多光谱巡检图像对象边缘在不同方向上的异质性,采用一组由5×5像素构成的8个方向的平坦结构元素进行多方向边缘检测,多方向梯度算子的形式如下:3.最后,将多尺度梯度和多方向梯度的加权和作为结果梯度图像。第二，图像分类网络。本方法使用改进后的AlexNet网络作为图像分类网络。为了使得网络能够适应各种尺寸的图像，将最后一层pooling池化层改为roi_pooling兴趣区域池化层，使得不同尺寸的图像在到fc全连接层时连接为相同尺寸的特征向量。该层将不同尺寸的输入图像统一划分为4×4、2×2和1×1的区域，然后对不同的区块用最大值池化采集。表1为图像分类网络的结构。表1图像分类网络结构表第三，区域生成网络。区域生成网络的前向网络结构如附图2所示。首先通过一个由conv卷积层和pooling池化层等层次组成的基础特征提取网络提取出整幅图像的基础信息，然后再对图像提取固定个数的候选框的图像特征，通过roi_pooling兴趣区域池化层映射为统一尺寸的候选区域特征向量，再通过fc全连接层转换为候选区域属于目标区域的概率和该窗口应该平移缩放的参数。基础特征提取包含五个conv卷积层和五个ReLU修正线性单元层，候选区域生成采用一种暴力穷举的方法，对图像的每一个位置产生九个可能的窗口，包括三种面积和三种比例的组合。将产生的候选区域映射至图像信息相应的位置得到该区域的基础图像信息，再通过roi_pooling兴趣区域池化层转换为统一尺寸的候选区域图像信息输入后面的窗口分类网络。分类网络输出每个位置上的9个候选窗口属于前景和背景的概率，每个位置共1个参数。该层网络通过fc全连接层与前向的特征向量连接。值得注意的是，该层网络并没有直接提取任何候选区域，而是通过网络自身对暴力穷举得到的候选区域进行筛选和矫正得到正确的候选区域。得到网络输出的候选区域位置和候选区物体类别后，再与实际的候选区域位置和物体种类进行比较，计算相应的代价函数，再对前面的网络通过链式求导优化各层参数。本方法在计算代价函数时将候选区域与真实的目标物体区域进行对比，选择较明显的前景和后景区域计入代价函数。具体的做法是首先列出与真值物体区域重叠面积最大的候选区域，记为前景样本；对剩余的候选区域将重叠比例大于0.7的区域记为前景，重叠比例小于0.3的记为后景，剩余不是很明确或者跨越图像边界的候选区域均不计入代价函数。候选区域的代价函数计算如下式所示：式中，pi是分类网络对该区域为前景或后景的置信度，为前后景真实标签，若为1则表示该区域真实为前景，后项计入计算，否则为后景，后项不计入计算。ti为标记图像区域位置和尺寸的四维向量，为真实物体方框的区域位置和尺寸。用来描述网络计算分类置信度和真实类别的误差，本方法用真实分类u对应的概率计算。如下式所示：表示候选区域检测误差，用于比较真实物体区域V与预测候选区域tu间的平移缩放参数误差，如下式所示：式中，g为smoothL1损失函数，对异常值不敏感，如下式所示：得到区域生成网络后，将它和图像分类网络连接在一起，如附图3所示，共享部分基础网络层，再用区域生成网络产生的候选区域通过roi_pooling兴趣区域池化层训练图像分类网络。对于基础特征提取网络，本方法首先用数据量较大的ImageNet训练得到初始参数W0，再用数据量较小的巡检图像数据对网络参数细调，具体的调节方法如下：1.以W0为初始化参数，先训练区域生成网络，用区域生成网络提取原数据集中的候选区域；2.以W0为初始化参数，用第1步产生的候选区域训练图像分类网络，产生的参数记为W1；3.以W1为初始参数训练，重新训练区域生成网络。

权利要求：1.一种基于多光谱巡检图像的杂草智能识别方法，包含对多光谱巡检图像的样本数据增广、图像分割和基于卷积神经网络模型的杂草识别，其特征在于：1针对多光谱巡检图像中存在电气设备在中心位置这个特征，我们对图像进行随机上下左右翻转、随机变换对比度和尺度变换三种数据增广办法，并且引用基于数学形态学的IKONOS多光谱图像分割技术对多光谱巡检图像进行分割；2卷积神经网络模型中的图像分类网络使用改进后的AlexNet网络，为了使得网络能够适应各种尺寸的图像，将最后一层pooling池化层改为roi_pooling兴趣区域池化层，使得不同尺寸的图像在到fc全连接层时连接为相同尺寸的特征向量；3卷积神经网络模型中的区域生成网络中，候选区域的代价函数计算如下式所示：式中，pi是分类网络对该区域为前景或后景的置信度，为前后景真实标签，若为1则表示该区域真实为前景，后项计入计算，否则为后景，后项不计入计算；ti为标记图像区域位置和尺寸的四维向量，为真实物体方框的区域位置和尺寸；用来描述网络计算分类置信度和真实类别的误差，本方法用真实分类u对应的概率计算；如下式所示：表示候选区域检测误差，用于比较真实物体区域V与预测候选区域tu间的平移缩放参数误差，如下式所示：式中，g为smoothL1损失函数，对异常值不敏感，如下式所示：

百度查询： 国网河北省电力有限公司电力科学研究院;国家电网有限公司;国网河北能源技术服务有限公司 一种基于多光谱巡检图像的杂草智能识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD