申请/专利权人：安徽大学

申请日：2023-11-22

公开（公告）日：2024-04-26

公开（公告）号：CN117576467B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/20;G06V10/82;G06V10/44;G06V10/56;G06V10/77;G06N3/0464;G06N3/047;G06N3/0455;G06V10/80;G06N3/08;G06N3/045

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2024.03.08#实质审查的生效;2024.02.20#公开

摘要：本发明涉及一种融合频率域和空间域信息的农作物病害图像识别方法，与现有技术相比解决了难以在复杂环境下实现农作物病害检测的缺陷。本发明包括以下步骤：农作物病害图像的获取及预处理；双分支病害图像识别模型的构建；双分支病害图像识别模型的训练；待识别农作物病害图像的获取；农作物病害图像识别结果的获得。本发明结合图像频率域信息与空间域信息提出了双分支的深度神经网络用于农作物病害识别，频率分支接受频域信息作为输入用于提取丰富的农作物病害频率分量特征，可变形注意力Transformer分支擅长于表征全局特征并且有选择的关注农作物病害局部区域特征，融合方法MSAF更好的融合农作物病害频率特征和空间特征。

主权项：1.一种融合频率域和空间域信息的农作物病害图像识别方法，其特征在于，包括以下步骤：11农作物病害图像的获取及预处理：获取田间农作物病害图像并进行预处理；12双分支病害图像识别模型的构建：基于频率域特征提取网络FCA和具有可变形注意力模块构建的DAT-Transformer网络构建出双分支病害图像识别模型；所述双分支病害图像识别模型的构建包括以下步骤：121设定双分支病害图像识别模型的第一部分为频率域特征提取网络FCA、第二部分为DAT-Transformer网络、第三部分为MSAF模块、第四部分为自适应平均池化层、第五部分为全连接层分类器；其中，频率域特征提取网络FCA用于将高分辨率农作物病害图像压缩为频率特征信息，生成频率信息特征，DAT-Transformer网络用于全局感知空间域农作物病害图像信息并关注病害区域，捕获有用病害特征信息，生成空间信息特征，MSAF模块用于融合频率信息特征和空间信息特征，然后依次输入步长分别为1和2的两个Ghostbottleneck模块进行抽象特征提取和空间尺寸减半，最后输入到自适应平均池化层得到特征向量并输入到全连接层分类器进行分类和识别；122设定频率域特征提取网络FCA，频率域特征提取网络FCA包括三个部分：Ycbcr颜色变换、离散余弦变换DCT和CNN网络；Ycbcr颜色变换将RGB图像转化为Y、cb和cr三个颜色分量公式如下：Y＝0.299R+0.587G+0.114BCb＝-0.1687R-0.3313G+0.5BCr＝0.5R-0.4187G-0.0813B；离散余弦变换DCT分别对Y、cb、cr三个颜色分量转化为频率信息，具体的，对于通道按照8×8分块，在每一个块中进行离散余弦变换得到64个频率分量，这样一张Y图像得到H8×W8个64频率分量，相当于64个通道，每一个通道大小H8×W8，每一个通道代表一类频率的信息，64个通道代表64个频率类别信息；将三个颜色分量得到的频率信息特征图进行concat得到192×H8×W8大小的频率信息特征图作为第三部分CNN的输入；123设定Ghostbottleneck模块；124设定CNN包括gate模块和Ghostbottleneck模块，gate模块用于有选择地过滤掉冗余频率信息特征，Ghostbottleneck用于学习频率信息特征；设定CNN包括gate模块和Ghostbottleneck构成的频率特征提取模块，对于以上三个颜色分量concat得到的频率信息特征图，首先通过gate模块过滤掉冗余频率信息特征，具体操作为对输入进行全局平均池化： 其中，Xt代表输入X的第t个通道特征图，H和W分别代表输入特征图X的高和宽，输出Zt为的第t个特征向量值，i是特征向量中第i行坐标值，j特征向量中第j列坐标值；最后经过并联的两个全连接层处理得到两组特征向量，在经过softmax处理后得到两组概率值和具体计算如下： 其中，Ai和Bi为可训练的全连接层中第i个权重参数值，zi为向量z的第i个元素，ai为a的第i个输出概率值，bi为b的第i个输出概率值,ai+bi＝1， 为第一个全连接层计算对应a的第i个权重值，为第二个全连接层计算对应b的第i个权重值；最后以b作为基准与a中相对应元素进行比较,若aibi,则保留第i个通道的频率信息特征图，反之去除该通道特征图然后经过1×1的卷积压缩冗余特征，将压缩后的特征输入CNN网络进行频率特征提取以及降维；125设定DAT-Transformer网络DAT-Transformer网络用于提取农作物病害图像的全局空间信息，包括三个阶段，前两个阶段均为两层的局部注意力加上移位窗口注意力构成，局部注意力关注局部病害特征信息，移位窗口注意力关注每一个窗口全局信息并减少模型参数量；第三个阶段由两层局部注意力加上可变形注意力构成，可变形注意力用于提高网络模型关注农作物病害特征重要区域，提高模型对密集病害区域的表达能力；具体的，对于输入先经过步长为2的3×3卷积下采样，然后通过patchembedding进行4×4大小分块得到96×H8×W8大小的特征图，最后依次通过三个阶段的注意力机制处理得到最后的抽象特征，即空间信息特征，用于MASF模块融合的输入；126设定MSAF模块，MASF模块用于融合结构差异的频率域信息特征和空间域信息特征，将空间特征图分为n组，即[X0,X1,…Xn],其中对每一个Xi通过多普通道注意力转化为频率权重，计算如下： 其中，[ui,vi]是对应于X的2D频率分量坐标索引值，H和W代表频率特征输入X的高和宽，代表压缩后的C′维向量，C表示特征通道数量，i代表n组中的第i组，h是第i组中每一个特征向量的第h行坐标值，w是第i组中每一个特征向量的第w列坐标值；对n个分组，每一个组具有相同频率权重，n个组表明具有n个不同的频率权重，然后对这n组得到的Freqi值进行concat连接得到整个特征的多频谱值，计算如下：Freq＝cat[Freq0,Freq1,…,Freqn-1]，其中，cat代表concat连接计算，代表压缩后的C′维向量，然后将得到的Freq值输入两级1×1卷积进行压缩和非线性处理；对于频率域特征提取网络FCA提取的频率特征同样进行两级1×1卷积和非线性处理，最后将这两个分支的输出进行相加得到权重g,在对X和Y进行融合，计算如下：Z＝X×g+Y×1-g其中代表最终特征融合的输出结果，X和Y分别代表DAT-T提取的空间信息特征和频率域分支提取的频率信息特征；127设定自适应平均池化层和全连接层分类，自适应平均池化层用于将最后融合和提取的抽象特征转化为特征向量，具体对于大小为1024×7×7的X抽象特征进行计算，计算公式如下： 其中，Vt为的第t个向量值，Xt为输入的第t个通道特征图；最后使用权重结构为1024×12的全连接层分类器得到12类农作物病害类别，计算如下： 其中，yt为的第t个输出类别，Vi为V的第i个特征向量值，wi为的第i个权重参数值；13双分支病害图像识别模型的训练：将预处理后的田间农作物病害图像输入双分支病害图像识别模型进行训练；14待识别农作物病害图像的获取：获取待识别农作物病害图像并进行预处理；15农作物病害图像识别结果的获得：将预处理后的待识别农作物病害图像输入双分支病害图像识别模型，得到农作物病害图像的识别结果。

全文数据：

权利要求：

百度查询： 安徽大学 一种融合频率域和空间域信息的农作物病害图像识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD