申请/专利权人：广东省现代农业装备研究所;广州市健坤网络科技发展有限公司

申请日：2020-08-28

公开（公告）日：2024-03-29

公开（公告）号：CN111950524B

主分类号：G06V20/10

分类号：G06V20/10;G06V20/17;G06V20/40;G06V10/75;G06V10/762;G06V10/774;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2020.12.04#实质审查的生效;2020.11.17#公开

摘要：本发明公开了一种基于双目视觉和RTK的果园局部稀疏建图方法和系统，利用农业作业车辆安装的高精度定位RTK及双目视觉测距模块，基于深度学习方法识别果树，并通过双目测距并结合RTK得到每棵树的经纬度坐标，获得局部稀疏建图。本发明公开的系统包括双目视觉模块和RTK定位模块；所述双目视觉模块包括左右两个用于采集果园果树视觉图像的摄像机，分别为左摄像机和右摄像机，左右视觉图像经过计算后获取果树坐标；RTK定位模块获取RTK模块所在位置的经纬度信息；双目视觉模块和RTK定位模块安装于作业车辆上，双目视觉模块的左摄像机和右摄像机对称安装于RTK定位模块的RTK天线左右两侧。

主权项：1.一种基于双目视觉和RTK的果园局部稀疏建图方法，其特征在于，所述局部稀疏建图方法包括以下步骤：1双目视觉相机成像；采集得到时间连续的一帧帧的图像；其图像采集方法为：利用双目摄像头拍摄在行进过程中的视频，将视频按每秒30帧张图像解压成多张图像；2对第i帧图像，通过深度学习算法对果树进行识别，并获取视觉图像中第k棵果树中心的像素坐标Pikx,y；深度学习算法核心采用卷积神经网络，深度学习步骤包括对收集的果树原始图像进行预处理，构成训练集和测试集，计算训练集和测试集的均值图像，通过深度学习识别出在第i帧图像中的第k棵树中心的像素坐标Pikx,y；a原始图像预处理包括：利用LabelImg软件对图像进行标签制作，即：将图像中每一颗果树用长方形框将其框起来，并保存这一棵树的标签x,y,w,h；其中，包括x,y为该棵树在图像中的中心点坐标、w为果树宽度、h为果树高度；随后对标注好的数据集按8：2比例分为训练集和测试集；b使用深度神经网络训练算法Yolo-v3对模型进行训练；其中，设置学习率为：0.001、每次输入图像张数为：2000；c部署训练好的深度学习模型，对新获取的图像进行识别，获得第i帧图像中第k棵果树在图像中的像素坐标Pikx,y；3进行机器视觉立体匹配并计算视差,根据每棵树中心的像素坐标、视差以及相机参数计算第i帧图像的第k棵果树的三维坐标Pikxc,yc,zc为： 其中，双目相机的参考坐标系为坐标系XYZ，其中坐标轴X指向右侧、坐标轴Y指向正上方、坐标轴Z指向正前方；f为相机焦距，B为是两个相机的基线距离，y＝yl＝yr，下标l表示双目视觉左相机，下标r表示双目视觉中右相机，xr-xl为视差；4根据第i帧图像的第k棵果树的三维坐标Pikxc,yc,zc，结合RTK坐标系下获取的坐标，计算得到该棵果树在WGS-84坐标系下经纬度坐标Fikxik,yik,zik；从而得到双目相机所获连续图像中识别得到的果树坐标集；5针对双目相机所获得连续图像中识别得到的果树坐标集，进行实时聚类，从而获得每棵树的唯一经纬度坐标；所述步骤5的实时聚类方法步骤包括：a假定双目视觉和RTK得到第1帧图像F1中的共k1棵果树，其经纬度坐标分别为并这将k1棵树的经纬度坐标分别存放在S1[]、S2[]、…、Sk1[]个数组中；b基于双目视觉和RTK得到第2帧图像F2中的共k2棵果树，其经纬度坐标分别为将F2中的每个经纬度坐标依次和F1中的每个经纬度坐标计算平面距离： 计算获得共k2组，每组共k1个平面距离；c取其中，1≤i≤k2，1≤k1'≤k1；如果将坐标点F2i存放在一个新的数组Sk1+i[N]中；如果距离则认为坐标F2i和坐标F1k1'为同一棵树的经纬度坐标，并将F2i插入到F1k1'所在的数组最后一个元素后；其中，Threshold为设定的阈值；d以此类推，基于双目视觉和RTK得到第j帧图像Fj中的共kj棵果树，其经纬度坐标分别为将Fj中的每个经纬度坐标依次和上一相邻图像Fj-1中的每个经纬度坐标计算平面距离，并按步骤c依次插入相应的数组或新数组中；e计算每棵树对应经纬度加权平均值；通过步骤a～d，不断迭代将新的图像中识别计算出来的果树的经纬度坐标插入进相应的距离阈值小于Threshold的数组中，获得数组S1[N1]、S2[N2]、…、Sm[Nm],其中，Sm[Nm]表示第m棵果树在多张图像中分别获得的经纬度坐标，共计Nm个坐标，并对各数组中的各元素进行加权求和计算新的经纬度加权平均值；即：第m棵果树的经纬度加权平均值其中，ami为数组Sm[Nm]中元素Smi的置信度权值，数组Sm[Nm]中各元素置信度和值满足：由于在建图的过程认为RTK和双目视觉模是前进的，相机距离果树越近所测量的结果的误差越小，因此，ami+1≥ami1≤i≤Nm-1；am1、am2…ami的取值服从指数型分布，即αmi＝αm1qi-1，并满足其中q为权重公比；由此计算获得：f判断步骤e计算获得的经纬度加权平均值是否为果树最终坐标。

全文数据：

权利要求：

百度查询： 广东省现代农业装备研究所;广州市健坤网络科技发展有限公司 一种基于双目视觉和RTK的果园局部稀疏建图方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD