申请/专利权人：上海大学

申请日：2024-01-19

公开（公告）日：2024-04-12

公开（公告）号：CN117876645A

主分类号：G06V10/10

分类号：G06V10/10;G06V10/25;G06V10/20;G06V10/774;G06V10/82;G06V20/56;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本发明公开一种基于视觉深度学习检测成熟番茄根茎的方法，通过在2D图像推导成熟番茄所对应茎秆框并进行角度推理，针对现有深度相机成像测距在识别茎秆此类边缘深度值变化大、有效平面面积小的物体丢失点云信息进行优化，合理稳定的输出所需茎秆世界坐标及倾斜角度。

主权项：1.一种基于视觉深度学习检测成熟番茄根茎的方法，其特征在于，包括如下步骤：步骤S1.利用采摘机器人拍摄获取采摘区域图像；步骤S2.对所述采摘区域图像进行识别与预处理，删除无番茄图像，形成待采摘番茄数据集，并按比例分为训练集、验证集和测试集；步骤S3.利用标注工具labelme对训练集中的待采摘番茄数据集标注上标签并截图，包括番茄截图、根茎截图、番茄带根茎截图；提取所述番茄带根茎截图按比例扩充所述待采摘番茄数据集；步骤S4.构建番茄根茎检测模型：基于训练集和验证集，更改训练超参对yolov5神经网络进行训练和验证，得到番茄根茎检测模型，模型接收图像则输出番茄锚框像素坐标、根茎锚框像素坐标；步骤S5.构建与训练番茄成熟度判别系统：将所述番茄截图进行hsv色域空间转换读取，获取成熟番茄的色相、饱和度和色明度区间；当接受所述番茄截图后，判断区间参数是否符合所述成熟番茄的色相、饱和度和色明度区间的像素点数量，当符合的像素点数量占总像素点超70％，则判定番茄成熟；步骤S6.获取成熟番茄的根茎坐标信息：利用采摘机器人拍摄获取待采摘区域图像，并将获取的RGB图像帧和深度帧对齐,使用torch加载训练后的番茄根茎检测模型，将待采摘区域图像输入，根据所述番茄根茎检测模型输出的番茄像素坐标进行截图，形成待采摘番茄截图集；将所述待采摘番茄截图集输入所述番茄成熟度判别系统，输出的番茄成熟度；如输出的番茄成熟度大于90，则根据根茎锚框平均像素长宽外扩番茄锚框，查找根茎、番茄连通域，即该成熟番茄的根茎；步骤S7：获取成熟番茄的根茎倾斜角度；对所述成熟番茄的根茎进行二次识别，获取根茎锚框像素坐标，并将根茎截图进行HSV色域分割、Canny算子提取边缘、Hough直线变换检测直线操作后，计算最长直线的斜率，获取成熟番茄的根茎倾斜角度，若无角度信息代表遮挡严重放弃采摘；步骤S8：获取成熟番茄的根茎点深度值：根据二次识别获取的成熟番茄像素坐标锚框计算中心点，将rgb像素坐标输入相机sdk深度值计算函数，若点云为未丢失，则返回深度值；若点云缺失，则采用广度优先搜索法寻找番茄平面有效深度点作为根茎点深度值。

全文数据：

权利要求：

百度查询： 上海大学 一种基于视觉深度学习算法检测成熟番茄根茎的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD