申请/专利权人：中国农业大学

申请日：2020-12-25

公开（公告）日：2024-03-22

公开（公告）号：CN112614193B

主分类号：G06T7/80

分类号：G06T7/80;G06T5/80;G06V10/25

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2021.04.23#实质审查的生效;2021.04.06#公开

摘要：本发明涉及一种基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法，用于在返青期小麦植保作业前，对喷杆喷雾机的各相机进行标定，确定出每一个喷头对应检测区域在图像中的位置。方法包括：标定前准备；获取地面棋盘格图像和标识板平面棋盘格图像；识别标识板，确定喷头在图像中的位置；将图像中的喷头交点映射至标识板坐标系；喷头交点投影至地面；引入参数，确定喷头对应区域；将喷头对应检测区域返回图像坐标系，获取图像感兴趣区域。本发明由黑白棋盘格图像建立三维坐标系，通过标识板和黑白棋盘格快速确定喷头对应区域在图像中的位置，即感兴趣区域，无需人工测量相机的高度，俯仰角等信息，降低人工误差，具有通用性好、准确度高的特点。

主权项：1.一种基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法，用于在返青期小麦植保作业前，对喷杆喷雾机6的各相机1进行标定，确定出每一个喷头对应检测区域5在图像中的位置，所述喷杆喷雾机6包括垂直于机具前进方向的具有多个喷头7的喷杆4和多个朝向地面作物且位于喷杆4上方的相机1，其特征在于，该方法包括如下步骤：S1、标定前准备；在每一个喷头7的正上方各设置与机具前进方向平行的喷头标识板2；在每个相机1的采集区域内各设置与喷杆4平行的喷杆标识板3，喷头标识板2和喷杆标识板3位于同一水平的标识板平面11内；将黑白棋盘格标定板9分别设置在各相机1的采集区域内，各相机1分别采集一张带有黑白棋盘格标定板9的清晰图像，建立相机坐标系8和图像坐标系，提取图像中的棋盘格的角点信息，并对应黑白棋盘格标定板9的尺寸设置每个棋盘格角点的像素坐标；由张氏标定法获得相机的内参和畸变参数；所述喷头标识板2和喷杆标识板3的颜色不同；S2、获取地面棋盘格图像和标识板平面棋盘格图像；将与步骤S1相同的黑白棋盘格标定板9分别设置在各相机1的采集区域内的地面13和标识板平面11内，各相机1分别拍摄一张带有设置在地面13和标识板平面11的黑白棋盘格标定板9的地面棋盘格图像和标识板平面棋盘格图像，提取两幅图像中黑白棋盘格标定板9的棋盘格的角点信息，并根据黑白棋盘格标定板9的尺寸设置每个棋盘格角点的像素坐标，建立地面坐标系12和标识板坐标系10，使用步骤S1获得的相机的内参，对两幅图像中的棋盘格进行外参矩阵的估计，获得地面坐标系12的外参矩阵Mf_c和标识板坐标系10的外参矩阵Mp_c；S3、识别标识板，确定喷头在图像中的位置；S3.1、对步骤S2获得的各相机1的地面棋盘格图像和标识板平面棋盘格图像进行畸变校正，获得地面棋盘格校正图像和标识板平面棋盘格校正图像；S3.2、根据喷杆标识板3的颜色选择对应的颜色识别的方式对步骤S3.1获得的各相机1的标识板平面棋盘格校正图像中的喷杆标识板3进行识别，并进行二值处理；对得到的喷杆标识板3的二值图像的真值点使用最小二乘法进行拟合，得到喷杆标识板3的喷杆拟合直线以及该直线在图像坐标系下的喷杆拟合直线方程；S3.3、根据喷头标识板2的颜色选择对应的颜色识别的方式对步骤S3.1获得的各相机1的标识板平面棋盘格校正图像中的喷头标识板2进行识别，并进行二值处理；对得到的包含多个喷头标识板2的二值图像进行分区，每一个分区只包含一个喷头标识板2的二值图像，对每一个分区的二值图像使用最小二值法进行直线拟合，得到各喷头标识板2的喷头拟合直线以及该直线在图像坐标系下的喷头拟合直线方程；S3.4、将步骤S3.3获得的每一个喷头拟合直线方程和步骤S3.2获得的喷杆拟合直线方程进行联立求解，得到多个交点，所述交点为喷头交点，所述喷头交点为在标识板平面棋盘格图像中喷头的位置；S4、将图像中的喷头交点映射至标识板坐标系；由步骤S3.1获得的标识板平面棋盘格校正图像获取图像坐标到标识板坐标系10的单应性矩阵R3×3；再通过公式1将步骤S3.4获得的图像坐标系下的喷头交点映射到标识板坐标系10下，得到标识板坐标系10下的喷头交点坐标； 式中，x、y分别为标识板坐标系10下的喷头交点坐标的x轴坐标值、y轴坐标值，单位为mm；X、Y分别为图像坐标系下的喷头交点的x轴坐标值，y轴坐标系坐标值，单位为像素；s为比例因子，R3×3为单应性矩阵；S5、喷头交点投影至地面；通过公式2将步骤S4获得的标识板坐标系10下的喷头交点坐标转换到地面坐标系12，得到地面坐标系12下的喷头交点坐标； 式中，Mp_c为标识板坐标系10的外参矩阵，Mf_c-1为地面坐标系12的外参逆矩阵；Xpw，Ypw，Zpw为标识板坐标系10下的喷头交点坐标，Xpw、Ypw、Zpw分别为标识板坐标系10下的喷头交点坐标的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；Xf，Yf，Zf为在地面坐标系12下的喷头交点坐标，Xf、Yf、Zf分别为在地面坐标系12下的喷头交点坐标的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；S6、引入参数，确定喷头对应区域；令地面坐标系12的喷头交点坐标的Zf等于0，得到喷头交点在地面坐标系12下的喷头投影坐标；分别设置喷头7的有效喷幅宽度w、喷头7对应的检测区域与喷杆4之间的距离h1和喷头7对应检测区域宽度h2，通过公式3和公式4确定在地面坐标系12下的喷头对应的检测区域5的坐标； 式中，Xf1,Yf1为喷头交点在地面坐标系12下的喷头投影坐标，Xf1,Yf1分别为喷头交点在地面坐标系12下喷头投影坐标的x轴坐标值、y轴坐标值，单位为mm；α为地面坐标系12的喷杆投影直线与该坐标系横轴的夹角，单位为度；X′f1,Y′f1为Xf1,Yf1在地面坐标系旋转角度α后的喷头交点坐标，X′f1、Y′f1分别为Xf1,Yf1在地面坐标系旋转角度α后的喷头交点坐标的x轴坐标值、y轴坐标值，单位为mm；Xf2,Yf2，Xf3,Yf3，Xf4,Yf4，Xf5,Yf5为喷头对应检测区域5的四个边界点在地面坐标系12下的坐标，Xf2、Xf3、Xf4、Xf5为喷头对应检测区域5的四个边界点在地面坐标系12下的x轴坐标值，Yf2、Yf3、Yf4、Yf5为喷头对应检测区域5的四个边界点在地面坐标系12下的y轴坐标值，单位为mm；h1为喷头7对应的检测区域与喷杆4之间的距离，单位为mm；h2为喷头7对应检测区域宽度，单位为mm；w为喷头7的有效喷幅宽度，单位为mm；S7、将喷头对应检测区域返回图像坐标系，获取图像感兴趣区域；通过公式5和公式6将步骤S6获得的地面坐标系12下喷头对应的检测区域5返回至图像坐标系，获得对应的像素坐标值，获取图像感兴趣区域； 式中，Mf_c为地面坐标系12的外参矩阵，Xf,Yf,0为对应检测区域5在地面坐标系12下的坐标，Xf、Yf、0分别为对应检测区域5在地面坐标系12下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；Xcf,Ycf,Zcf为喷头对应检测区域5在相机坐标系8下的坐标，Xcf、Ycf、Zcf分别为喷头对应检测区域5在相机坐标系8下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm； 式中，A为相机的内参矩阵；s为比例系数；Xcf,Ycf,Zcf为喷头对应检测区域5在相机坐标系8下的坐标，Xcf、Ycf、Zcf分别为喷头对应检测区域5在相机坐标系8下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；u、v分别为检测区域在图像坐标系下的横坐标和纵坐标。

全文数据：

权利要求：

百度查询： 中国农业大学 基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD