申请/专利权人：南京航空航天大学

申请日：2024-01-04

公开（公告）日：2024-03-29

公开（公告）号：CN117523206B

主分类号：G06V10/26

分类号：G06V10/26;G06V10/42;G06V10/44;G06V10/80;G06V10/82;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2024.02.27#实质审查的生效;2024.02.06#公开

摘要：本发明涉及一种基于跨源点云与多模态信息的自动化装配方法，包括获取待装配物体全局三维点云和二维图像，从而生成相应的待装配物体的局部三维点云；将二维图像、局部三维点云和全局三维点云的特征提取后聚合，最终语义分割出多对装配特征；根据点云中分割出的多对装配特征，使用ICP方法进行点云配准，使用BA优化算法进行位姿参数的融合，得到融合后的旋转矩阵和平移矩阵，完成位姿计算；将点云配准得到的旋转矩阵和平移矩阵分解到执行机构，对装配物体进行位姿调整，完成自动化装配。本发明采用深度学习的方法，结合跨源点云和多模态信息，从中提取分割特征，并进行点云的配准以及优化融合得到调姿参数，最后进行装配，完成自动化装配过程。

主权项：1.一种基于跨源点云与多模态信息的自动化装配方法，其特征在于，包括以下步骤：S1、获取待装配物体全局三维点云和二维图像，根据全局三维点云和二维图像生成相应的待装配物体的局部三维点云；S2、将待装配物体的二维图像、局部三维点云和全局三维点云输入基于自注意力机制的跨源多模态语义分割网络，将二维图像、局部三维点云和全局三维点云的特征提取后聚合，得到语义分割结果点云，最终语义分割出多对装配特征；具体过程包括以下步骤：S21、将待装配物体的二维图像输入跨源多模态语义分割网络，该网络加载一个在大规模图像数据集上训练的ResNet-50模型结构，在前向传播的过程中，截断模型，即在最后的分类头部之前停止网络的前向传播，从而不执行最终的分类任务直接获取图像的256通道特征图；S22、通过相机的外部参数[R|T]和相机的内部参数[K]将从ResNet得到的二维图像的256维特征F反投影到局部三维点云中，并与局部三维点云中对应点的坐标连接起来；S23、将根据结构光投影原理转换得到的局部三维点云进行下采样得到以保留结构细节的点云D1，该点云D1的点数为局部三维点云点数的50％；下采样后的局部三维点云中每个点除了欧几里得坐标x,y,z外，还连接了来自ResNet的256维特征F和顶点的法线nx,ny,nz，以此得到了262维特征x,y,z,nx,ny,nz,F的点，获得的点云D1用作后续阶段的局部三维点云；将扫描得到的全局三维点云下采样得到点云D2，以此用于学习全局特征，该点云D2的点数为全局三维点云点数的10％，获得的点云D2用作后续阶段的全局三维点云；S24、将点云D1和点云D2输入跨源多模态语义分割网络中，首先经过四个TransitionDown向下过渡模块下采样，每次TransitionDown模块将点数减少为之前的四分之一的同时进行特征编码，其中每一次的下采样后都经过了包含有PointTransformer点云变换器层的PointTransformer块，促进局部特征向量之间的信息交换，为所有数据点生成新的特征向量作为其输出；S25、将全局三维点云的特征与局部三维点云的特征进行串联，特征串联后的局部三维点云经过四个TransitionUp向上过渡模块，将点数恢复至初始状态并将特征解码，同时每个TransitionUp模块后同样跟有PointTransformer块，最终的解码器阶段为输入点集中的每个点生成一个特征向量，应用MLP将此特征映射，生成语义标签，根据语义标签即可完成装配特征的分割，得到语义分割结果点云；S3、根据待装配物体点云中分割出的多对装配特征，使用ICP方法进行点云配准，使用BA优化算法进行位姿参数的融合，得到融合后的旋转矩阵R和平移矩阵T，完成位姿计算；S4、将点云配准得到融合后的旋转矩阵R和平移矩阵T分解到执行机构，对装配物体进行位姿调整，完成自动化装配。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种基于跨源点云与多模态信息的自动化装配方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD