申请/专利权人：无锡埃姆维工业控制设备有限公司

申请日：2023-07-20

公开（公告）日：2024-04-19

公开（公告）号：CN116797625B

主分类号：G06T7/207

分类号：G06T7/207;G06T7/73

优先权：

专利状态码：有效-授权

法律状态：2024.04.19#授权;2023.10.13#实质审查的生效;2023.09.22#公开

摘要：本发明公开了一种单目三维工件位姿估计方法，所述方法包括：通过游戏引擎搭建工件位姿估计数据集，模拟实际应用中的各种环境条件，包括不同的背景、光照和视角；应用数据增强技术，包括添加噪声、改变光照条件、应用随机的几何变换，提升数据的多样性和模型的鲁棒性；搭建三维目标位姿估计网络，包括三维重建模块，三维目标检测模块，以及位姿估计模块，完成从单目图像的三维重建，到三维场景中工件的检测，再到检测出的工件的位姿估计；将生成和增强后的图像及深度图数据输入到三维目标位姿估计网络中进行训练。本发明能够仅利用单目相机实现可靠精准的工件三维位姿识别。

主权项：1.一种单目工件三维位姿估计方法，其特征在于，所述方法包括：步骤1，通过游戏引擎搭建工件位姿估计数据集，模拟实际应用中的各种环境条件，包括不同的背景、光照和视角；步骤2，应用数据增强技术，包括添加噪声、改变光照条件、应用随机的几何变换，提升数据的多样性和模型的鲁棒性；步骤3，搭建三维目标位姿估计网络，包括三维重建模块，三维目标检测模块，以及位姿估计模块，完成从单目图像的三维重建，到三维场景中工件的检测，再到检测出的工件的位姿估计；所述的三维目标检测模块，包括以下步骤：步骤112，三维映射；对于深度图中的每个像素点u，v，其对应的3D点X，Y，Z通过以下公式计算：Z＝Du，vX＝u-cx*ZfY＝v-cy*Zf其中，u，v是像素点的坐标；Du，v是深度图在u，v处的像素值，表示深度；cx，cy是相机的光心，是图像的中心点；f是相机的焦距；X，Y，Z是3D点的坐标；步骤113，构建图结构；3D点云中的每个点视为一个节点；每个节点的特征由对应的RGB值和3D坐标组成；这个过程表示为：Vi＝NodePi其中，Node表示将3D点转化为节点的操作，Pi表示3D点云中的第i个点，Vi表示第i个节点；根据点之间的三维距离来确定边的存在；具体来说，为每个节点定义一个邻域，如果两个节点的距离小于某个阈值，那么就在这两个节点之间添加一条边；这个过程表示为：Eij＝EdgeVi，Vjif||Pi-Pj||t其中，Edge表示添加边的操作，||Pi-Pj||表示第i个点和第j个点的三维距离，t表示阈值，Eij表示在第i个节点和第j个节点之间的边；最后，将所有的节点和边组合起来，定义图结构；这个过程表示为：G＝GraphV，E其中，Graph表示定义图的操作，V表示所有的节点，E表示所有的边，G表示图；步骤114，图注意力网络；使用图注意力网络在图结构中进行信息聚合，具体表达式为：aij＝softmaxWf[Vi；Vj]+bf Fi＝σW[Vi；Ni]+baij表示第i个节点和第j个节点之间的注意力权重，f是一个可学习的函数，用于计算两个节点之间的相似度，Wf和bf是可优化的模型参数，softmax是一个归一化函数，用于将相似度转化为权重，Ni表示第i个节点的邻居特征的聚合，Ni表示第i个节点的邻居节点的集合，Vj表示第j个节点，∑表示对所有邻居节点进行求和；步骤115，对图节点进行聚类，先构建相似度矩阵表示节点之间的相似性，设图G的节点集为N＝1，2，...，n，节点i和节点j的相似度为sij，构建一个n×n的相似度矩阵S＝[sij]，其中sij通过以下公式计算：sij＝exp-||hi-hj||22σ2其中，hi和hj是节点i和j的特征，||·||表示欧氏距离，σ是一个超参数；然后计算拉普拉斯矩阵，图G的度矩阵为D＝diagd1，d2，...，dn，其中di是节点i的度，拉普拉斯矩阵L通过以下公式计算：L＝D-S接下来计算拉普拉斯矩阵的特征向量，拉普拉斯矩阵L的第k小的特征值对应的特征向量为vk，将v1，v2，...，vk拼接起来，得到一个n×k的矩阵V；最后，使用K-means聚类算法对矩阵V的每一行，即每个节点，进行聚类，输出聚类结果即为三维目标；步骤4，将生成和增强后的图像及深度图数据输入到三维目标位姿估计网络中进行训练。

全文数据：

权利要求：

百度查询： 无锡埃姆维工业控制设备有限公司 一种单目三维工件位姿估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD