申请/专利权人：广西慧云信息技术有限公司

申请日：2021-12-30

公开（公告）日：2024-05-17

公开（公告）号：CN114511849B

主分类号：G06V20/68

分类号：G06V20/68;G06V10/26;G06V10/46;G06V10/764;G06V10/82;G06N3/042;G06N3/045;G06N3/048;G06N3/09;G06N5/04

优先权：

专利状态码：有效-授权

法律状态：2024.05.17#授权;2022.06.03#实质审查的生效;2022.05.17#公开

摘要：本发明属于及葡萄图像识别领域，特别涉及一种基于图注意力网络的葡萄疏果识别方法。本发明通过实例分割算法得到葡萄果粒的分割结果，根据葡萄果粒自身特征与果粒之间的关联特征建立图结构，其中，果粒的自身特征用果粒位置与尺寸信息表示，通过图注意力网络学习得到大小一致性特征，果粒之间的关联特征用果粒距离表示，通过图注意力网络学习得到果粒间隙特征，使用图注意力网络进行葡萄疏果整图分类，挖掘果粒图结构与是否疏果的判断之间存在的关联性，实现葡萄疏果识别。与现有葡萄疏果识别做法相比，提高了葡萄疏果自动识别的准确性。

主权项：1.一种基于图注意力网络的葡萄疏果识别方法，其特征在于：包括以下步骤：步骤S1，实例分割数据集制作：采集葡萄果穗图片数据，并对果粒进行实例分割标注，用标注工具标注葡萄果穗图片中每颗果粒的多边形区域，将采集的葡萄果穗图片数据划分为训练集、验证集与测试集；步骤S2，图注意力网络数据集制作：对步骤S1中的训练集、验证集分别进行疏果分类标注，标注人员对葡萄果穗图片进行分析判断，标注为已疏果或未疏果，并建立图结构，得到图注意力网络模型的训练集与验证集；所述葡萄果穗图片为一个完全图，设该完全图包括N个顶点，所有顶点由一条边相互连接，每个顶点代表一个果粒；步骤S3，实例分割模型训练：将步骤S1中的训练集输入实例分割模型中进行训练，训练过程中，将步骤S1中的验证集输入至训练好的实例分割中间模型进行验证；当训练好的实例分割中间模型的识别正确率大于等于预设值时，则将训练好的实例分割中间模型作为最终的实例分割模型输出，若是实例分割中间模型的识别正确率小于预设值，则重复步骤S3，直至训练好的实例分割中间模型的识别正确率大于等于预设值；步骤S4，图注意力网络构建：构建图注意力网络模型，所述图注意力网络包括输入层、图注意力模块、输出层；所述输入层为包含顶点特征的图结构，每个顶点包含F个特征，所述特征至少包括归一化后的果粒中心点的横坐标、归一化后的果粒中心点的纵坐标、归一化后的果粒像素面积；通过归一化后的果粒像素面积表征果粒大小一致性，通过归一化后的果粒之间的距离表征果粒间隙；所述归一化后的果粒之间的距离通过归一化后的果粒中心点的横坐标、归一化后的果粒中心点的纵坐标计算得到；所述图注意力模块通过多头注意力机制加权求和的方式实现特征学习；所述输出层用于对葡萄是否疏果进行识别；所述步骤S4中图注意力模块包括L个堆叠的图注意力层，第l+1个图注意力层第i个顶点维度为Fl+1的新特征向量采用以下公式计算得到： 其中，K表示多头注意力机制的头数；Ni表示第i个顶点的邻居顶点的集合，为第l个图注意力层第k个头中顶点i和顶点j的注意力系数；Wlk表示第l个图注意力层第k个头的权重矩阵；表示第l个图注意力层第j个顶点维度为Fl的特征向量；所述第k个头中顶点i和顶点j的注意力系数通过以下公式计算得到： 其中，表示第l个图注意力层第i个顶点维度为Fl的特征向量；表示注意力权重向量；运算符||表示特征拼接；λij表示第i个果粒和第j个果粒归一化后的距离；所述第i个果粒和第j个果粒归一化后的距离λij通过以下公式计算： 其中，xi、xj分别表示葡萄果穗图片中第i个果粒中心点和第j个果粒中心点的横坐标；yi、yj分别表示葡萄果穗图片中第i个果粒中心点和第j个果粒中心点的纵坐标；所述步骤S4中输出层包括1个用于分类的全连接层，类别数为C，葡萄疏果识别为二分类任务，C＝2，将图注意力模块的最后一个图注意力层的输出特征与全连接层的权重矩阵进行矩阵相乘运算，并通过sigmoid激活函数σ归一化到0～1，最终得到葡萄已疏果与未疏果的概率，计算方式如下：pc＝σWfcM；7其中，pc表示识别为类别c的概率，范围是0～1，c＝1,2；Wfc表示全连接权重矩阵；M表示图注意力模块的最后一个图注意力层的输出特征所有顶点的特征均值向量；步骤S5，图注意力网络损失函数构建：采用交叉熵作为整图分类训练的损失函数；步骤S6，图注意力网络模型训练：将步骤S2中处理好的图注意力网络训练集输入至步骤S4中构建的图注意力网络模型，并采用步骤S5构建的损失函数进行监督训练，训练过程中，将步骤S2中的图注意力网络验证集输入至训练好的图注意力网络中间模型进行验证；当训练好的图注意力网络中间模型的识别正确率大于等于预设值时，则将训练好的图注意力网络中间模型作为最终的图注意力网络模型输出，若是图注意力网络中间模型的识别正确率小于预设值，则重复步骤S6，直至训练好的图注意力网络中间模型的识别正确率大于等于预设值；步骤S7，模型推理：将步骤S1中的测试集的葡萄果穗图片输入至步骤S3中训练好的实例分割模型进行推理，得到实例分割结果；对实例分割结果进行图结构的特征选择，最后将图结构及其特征输入至步骤S6中训练好的图注意力网络模型进行判断是否疏果，最终得到葡萄疏果整图分类结果。

全文数据：

权利要求：

百度查询： 广西慧云信息技术有限公司 一种基于图注意力网络的葡萄疏果识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD