申请/专利权人：上海师范大学

申请日：2021-03-26

公开（公告）日：2024-04-05

公开（公告）号：CN113256704B

主分类号：G06F30/27

分类号：G06F30/27;G06F16/45;G06T7/13

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2021.08.31#实质审查的生效;2021.08.13#公开

摘要：本发明公开了一种谷粒长宽测量方法，包括以下步骤：准备谷粒图像数据集，并对谷粒进行打标构成训练数据集；构造特征金字塔卷积神经网络模型；获取谷粒图像，并对谷粒图像进行分块和归一化预处理；将预处理后的谷粒图像作为训练样本，利用卷积核逐步提取谷粒图像的特征和大小信息，并利用反向传播和随机梯度下降算法有监督地最小化损失函数，从而获得模型的连接权重，获得训练好的神经网络模型；将待测试的谷粒图像进行分块和归一化处理，然后输入训练好的网络模型中，得到谷粒检测结果；将谷粒检测结果的谷粒像素长宽值转换为实际的长宽值。本发明的一种谷粒长宽测量方法，具有简单、易用、成本低、快速、精度高等优势。

主权项：1.一种谷粒长宽测量方法，其特征在于，包括以下步骤：步骤1、准备谷粒图像数据集，并对谷粒进行打标构成训练数据集；准备谷粒图像数据集，并对谷粒进行打标构成训练数据集，具体包括以下步骤：准备谷粒，谷粒要求包括圆形的、长形的、有粘连各种情况下的谷粒状态，除了需要检测的饱满谷粒外，还允许谷粒具有以下各种情况：干瘪、发霉、有芒、枝梗没有脱粒干净；将谷粒平铺在A4纸上，允许谷粒之间存在粘连和重叠；利用手机拍摄1000幅谷粒的RGB彩色图像，用以构成谷粒图像数据集，每幅谷粒图像要求包含A4纸；利用Rolabelimg打标工具对每幅谷粒图像中的饱满谷粒进行打标，打标是将每颗饱满谷粒用带有角度的矩形框标注出来，从而得到训练数据集并作为深度神经网络的训练数据；步骤2、针对所述训练数据集，构造特征金字塔卷积神经网络模型；针对所述训练数据集，构造特征金字塔卷积神经网络模型，具体包括以下步骤：首先，构造包含网络层数为50的残差神经网络；残差神经网络包括模块C1，四个卷积单元模块C2，C3，C4，C5，以及平均池化层；模块C1包括卷积核为7*7，步长为2的卷积层，以及大小为3*3，步长为2的池化层；四个卷积单元模块C2，C3，C4，C5中，每个卷积单元模块包含三个卷积层；平均池化层，将图像特征进一步缩小，使特征更加抽象；其次，构造特征金字塔网络，所述残差神经网络的输出作为特征金字塔网络的输入；特征金字塔层分别为P3，P4，P5，P6，P7，其中P3，P4，P5通过上采样和横向连接从C3，C4，C5中产生，P6是在C5的基础上通过3*3的卷积核和步长为2的卷积得到，P7在P6的基础上通过ReLU激活函数，再通过3*3的卷积核和步长为2的卷积得到；特征金字塔层P3，P4，P5，P6，P7输出的特征图大小分别为32*32,64*64,128*128,256*256,512*512，其中每层金字塔层都为256个通道；每层特征金字塔有七种长宽比例，分别为：1:2,1:1,2:1,1:3,3:1,1:5,5:1，每一种长宽比例有三种尺寸大小，分别为：20,213,223,角度有-90°,-75°,-60°,-45°,-30°,-15°；所以，每层特征金字塔有126个尺度的锚点框，其中，每个锚点框有维度为1的种类数的向量和维度为5的目标矩形框向量，该矩形框向量包含矩形框中心点x,y，长宽值和旋转角度值；最后，构造优化模块，所述特征金字塔网络的输出作为优化模块的输入，所述优化模块的输出是图像中谷粒的预测框，预测框包含框的长、宽和旋转角度；优化模块包括：将上层提取的特征作为当前层的输入，分别送入并联的两个卷积层，其中，第一个是送入1*1卷积层后得到的新的特征信息，第二个是送入串联的5*1和1*5的卷积核后得到的新的特征信息，再将第一个和第二个特征信息进行特征融合得到最终的抽象特征信息，此特征信息定义为C10；将特征金字塔网络中每层的类别向量和矩形目标框向量分别送入两个平行的网络，分别为分类子网络和目标框回归子网络；分类子网络将特征金字塔作为输入，串联四个卷积核大小为3*3，通道数为256的卷积层，每层的激活函数为ReLU函数，然后连接卷积核大小为3*3，通道数为种类数乘以锚点框数的卷积层，激活函数为sigmoid函数，得到分类特征信息为C11；目标框回归子网络将特征金字塔作为输入，串联四个卷积核大小为3*3，通道数为256的卷积层，每层的激活函数为ReLU函数，然后连接卷积核大小为3*3，通道数为5乘以锚点框数的卷积层，激活函数为sigmoid函数，得到目标框特征信息C12；然后融合特征信息C10，C11和C12信息，最终将融合后的信息再次送入分类子网络和目标框回归子网络得到最终的分类和回归的预测结果；步骤3、获取所述谷粒图像数据集中的谷粒图像，并对所述谷粒图像数据集中的谷粒图像进行分块和归一化预处理；获取所述谷粒图像数据集中的谷粒图像，并对所述谷粒图像数据集中的谷粒图像进行分块和归一化预处理，具体包括以下步骤：首先，将A4纸上的谷粒图像分割为多块子图像，子图像和子图像之间重叠150个像素，将谷粒图像分割成600*600大小的子图像，同时将600*600大小的子图像放大为800*800，完成分块预处理；其次，将每幅子图像中各像素的R，G和B值分别除以255，完成归一化预处理；步骤4、将预处理后的谷粒图像作为训练样本，利用卷积核逐步提取所述谷粒图像的特征和大小信息，并利用反向传播和随机梯度下降算法有监督地最小化损失函数，从而获得模型的连接权重，获得训练好的神经网络模型；其中，损失函数表达为： 其中，N表示锚框的数量，obj是一个bool值，当值为1时表示为目标，值为0时表示为背景；v1表示预测框，v表示实际目标框；tn表示目标的标签值，pn表示目标的置信度；SkewIoU表示预测框和标签框的重叠程度；λ1和λ2为超参数，默认值为1；Lcls表示分类的损失值；步骤5、将待测试的谷粒图像进行分块和归一化处理，然后输入训练好的网络模型中，得到谷粒检测结果；将待测试的谷粒图像进行分块和归一化处理，然后输入训练好的网络模型中，得到谷粒检测结果，具体包括以下步骤：子图像和子图像之间重叠了150个像素，将待测试的谷粒图像分割成600*600大小的子图像，同时将600*600大小的子图像放大为800*800，完成分块预处理；其次，将每幅子图像中各像素的R，G和B值分别除以255，完成归一化预处理；步骤6、将所述谷粒检测结果的谷粒像素长宽值转换为实际的长宽值；将所述谷粒检测结果的谷粒像素长宽值转换为实际的长宽值，具体包括以下步骤：将所述待测试的谷粒原图像转化为灰度图；利用Canny算子进行边缘检测，遍历所有轮廓，找到面积最大的轮廓Omax，所述面积最大的轮廓Omax对应A4纸的轮廓；计算所述面积最大的轮廓Omax上所有点的x坐标的平均值接着计算所述面积最大的轮廓Omax上所有点的y坐标的平均值得到所述面积最大的轮廓Omax的中心点c，其坐标为利用过所述中心点c的水平线和垂直线将所述面积最大的轮廓Omax分为四等份，计算所述面积最大的轮廓Omax上各点与所述中心点c之间的距离，各等份中距离最大值所对应的点即为该等份的顶点；计算位于左右等份的2个顶点的距离d1；计算位于上下等份的2个顶点的距离d2；将所述距离d1和d2中的较大者作为A4纸的像素长d，A4纸的实际长为29.7cm，则谷粒的实际长宽值目标检测框的像素长宽值。

全文数据：

权利要求：

百度查询： 上海师范大学 一种谷粒长宽测量方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD