申请/专利权人：仲恺农业工程学院;岭南现代农业科学与技术广东省实验室

申请日：2023-03-24

公开（公告）日：2024-04-02

公开（公告）号：CN116138036B

主分类号：A01D46/04

分类号：A01D46/04

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2024.02.06#实质审查的生效;2023.05.23#公开

摘要：本发明提供一种用于名优茶嫩芽采摘的二次定位方法，包括：嫩芽初定位方法、嫩芽采摘点和采摘角度获取方法、以及嫩芽二次定位方法；采摘机器人包括固定安装在支架上的第一相机与固定安装在末端执行器上的第二相机。该方法能够极大提高对于名优茶嫩芽采摘点的定位精度、以实现对于名优茶嫩芽的采摘，避免现有采摘机器人由于环境因素的干扰而出现错采、漏采以及对茶叶、茶树造成损伤的问题。

主权项：1.一种用于名优茶嫩芽采摘的二次定位方法，其特征在于：包括：嫩芽初定位方法、嫩芽采摘点和采摘角度获取方法、以及嫩芽二次定位方法；采摘机器人包括固定安装在支架上的第一相机与固定安装在末端执行器上的第二相机；嫩芽初定位方法包括：通过预先训练完成的神经网络对第一相机中的图像进行识别、处理，获取嫩芽三维点云；然后利用嫩芽三维点云完成嫩芽的初步定位；具体为：S101、建立图像数据集：首先，在自然光照条件下，采用第一相机采集茶叶嫩芽图像数据，获取茶叶嫩芽的彩色图像与深度图像；然后，利用标记工具对彩色图像进行标注、并存储，获得图像数据集；S102、嫩芽检测识别：建立FCOS卷积神经网络模型，对符合制作名优茶标准的茶叶嫩芽进行检测识别；S103、获取嫩芽三维点云：首先，根据FCOS卷积神经网络模型的检测结果、得到检测框坐标，生成彩色图像与对应深度图像的感兴趣区域；然后，根据深度图像像素坐标与彩色图像像素坐标的映射关系，通过深度图像的坐标值、像素值和记录距离，得到对应的映射彩色图像坐标，再通过彩色图像与深度图像的坐标融合，获得茶叶三维点云；通过计算获得茶叶三维点云的平均值，并将该平均值作为距离阈值，将大于距离阈值的背景点云进行过滤，得到初步分割的三维点云；再采用DBSCAN密度聚类算法，通过设置参数半径Eps和邻域中要求含有的最低样本个数Mp，将初步分割的三维点云聚为一类，筛选出嫩芽三维点云；S104、茶叶嫩芽定位：采用主成分分析法筛选出嫩芽三维点云的三个坐标轴方向，即嫩芽三维点云x、y、x的方向，获得嫩芽最小外接长方体，完成茶叶嫩芽定位；嫩芽采摘点和采摘角度获取方法包括：利用嫩芽的初步定位，并按照嫩芽的生长态势，依次获取嫩芽的采摘点与采摘角度；嫩芽采摘点的获取方法具体为：根据嫩芽初定位方法中获取的嫩芽最小外接长方体，按照茶叶嫩芽的生长态势，选取嫩芽最小外接长方体在次主轴上最小的四个顶点坐标，即：，其中：i=1,2,3,4；其中，次主轴为嫩芽初定位方法中，主成分分析法分析嫩芽三维点云时，第二大特征值对应的特征向量的方向；嫩芽采摘点为嫩芽最小外接长方体的底面中心，具体为： ；嫩芽采摘角度的获取方法具体为：首先，获得嫩芽最小外接长方体底面的表达式，即： ；然后，利用次主轴上最小的四个顶点坐标建立方程式，获得表达式系数A、B、C、D；之后，计算原点（0,0,0）在嫩芽最小外接长方体底面上的投影点，具体如下： ；最后，获得嫩芽采摘角度： ；嫩芽二次定位包括：首先，通过嫩芽采摘点与采摘角度将末端执行器移动至采摘位置；然后，以第二相机为基准对嫩芽进行采摘点和采摘角度的获取；最后，采用坐标系转换将以第二相机为基准获取的采摘点和采摘角度转换到第一相机为基准的坐标系中，完成嫩芽二次定位；嫩芽二次定位方法中，采摘点和采摘角度的获取方法与第一相机为基准的坐标系一致，获得以第二相机为基准的坐标系的嫩芽采摘点与采摘角度；坐标系转换具体为：采用标定矩阵与向量变化矩阵对获取得到的嫩芽采摘点与采摘角度进行转换；其中，标定矩阵为末端执行器初始状态时，第二相机的图像坐标系转换为第一相机坐标系的矩阵，标定矩阵通过实验过程中标定测试获得；向量变换矩阵由采摘机器人驱动末端执行器移动到达第一相机的图像定位的嫩芽采摘点和采摘角度位置，返回的向量变换矩阵，向量变换矩阵通过末端执行器的移动路径获得；最终，获得映射后的嫩芽采摘点与采摘角度，具体为： ；式中：Mb表示标定矩，Mx表示向量变换矩阵。

全文数据：

权利要求：

百度查询： 仲恺农业工程学院;岭南现代农业科学与技术广东省实验室 一种用于名优茶嫩芽采摘的二次定位方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD