申请/专利权人：浙江大学

申请日：2023-02-07

公开（公告）日：2024-04-02

公开（公告）号：CN116416307B

主分类号：G06T7/73

分类号：G06T7/73;B25J9/16;B25J5/02;G06N3/0464;G06N3/088

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2023.07.28#实质审查的生效;2023.07.11#公开

摘要：本发明公开了一种基于深度学习的预制构件吊装拼接3D视觉引导方法，该方法包括以下步骤：首先基于RGB‑D图像，提取预制构件特征并进行掩码处理；然后基于CNN架构处理掩码处理后的预制构件像素块，以迭代估计预制构件6D姿态；最后通过机器人末端执行器拟运动至目标点的6D姿态，并基于RRT‑Star路径规划对预制构件吊装拼接进行3D视觉引导，以引导吊装机器人自动规划其末端执行器运动路径使已抓取到的拟吊装预制构件运动至拟吊装拼接位置。本发明能够通过计算机3D视觉智能感知识别和特征提取技术，实现预制构件的机器人自动化装配技术。

主权项：1.一种基于深度学习的预制构件吊装拼接3D视觉引导方法，其特征在于，包括以下步骤：1基于RGB-D图像，提取预制构件特征并进行掩码处理；其中，对于预制构件的识别，图像包含大范围的背景且没有目标预制构件位置的标注，预制构件出现在图像的任何位置，有各种不同的尺寸和形状；2基于CNN架构处理所述步骤1中掩码处理得到的预制构件像素块，以迭代估计预制构件6D姿态；所述步骤2中的CNN架构包括：用于处理颜色信息的全卷积网络，用于将所述步骤1中掩码处理得到的预制构件像素块中的每个像素点映射到颜色特征空间作为颜色特征嵌入；用于基于相机内参的坐标转换单元，用于将所述步骤1中掩码处理得到的预制构件像素块中的深度通道信息转换为点云数据，并将每个数据点映射到几何特征空间作为几何特征嵌入；和用于处理像素级图像融合的CNN网络，用于将颜色特征嵌入和几何特征嵌入相结合并基于无监督置信度得分迭代输出掩码处理得到的预制构件像素块的6D姿态；3通过所述步骤2获取机器人末端执行器拟运动至目标点的6D姿态，并基于RRT-Star路径规划对预制构件吊装拼接进行3D视觉引导，以引导吊装机器人自动规划其末端执行器运动路径使已抓取到的拟吊装预制构件运动至拟吊装拼接位置；所述步骤3中，通过给定机器人末端执行器拟运动至目标点的6D姿态，对机器人各个关节的运动位置和关节角进行求解，以对预制构件吊装拼接进行3D视觉引导，控制机械臂工作；基于拟抓取构件刚体模型建立机械臂自动化安装作业的路径规划、避障算法，具体做法是在RRT-Star路径规划架构中搭载闵可夫斯基差算子，其中，闵可夫斯基差是两个欧几里得空间的点集的差值；RRT-Star和闵可夫斯基差求解叠合使用，为自变量冗余的方程组增加多一维的运动学约束，以求得机器人在线性滑轨上的最优运动路径和机器人各个关节的最优运动轨迹，控制机械臂工作。

全文数据：

权利要求：

百度查询： 浙江大学 基于深度学习的预制构件吊装拼接3D视觉引导方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD