申请/专利权人：之江实验室

申请日：2022-11-14

公开（公告）日：2023-01-06

公开（公告）号：CN115578461A

主分类号：G06T7/73

分类号：G06T7/73;G06V10/80;G06V10/25;G06V10/26;G06V10/46;G06V10/762;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2023.03.10#授权;2023.01.24#实质审查的生效;2023.01.06#公开

摘要：本发明公开了一种基于双向RGB‑D特征融合的物体姿态估计方法及装置，该方法的核心创新点为特征双向融合模块，通过将RGB与点云特征投影到标准空间以实现对齐，互补和相互增强的作用，提升了最终RGB‑D特征的显著性与代表性。此外，本发明还创新性地引入了感兴趣区域检测，特征恒等映射与残差融合，多任务协同训练，关键点投票与聚类，最小二乘法姿态解算等关键方法，极大改善了传统物体六自由度姿态估计中存在的抗干扰能力弱，精度不足等痛点问题。经多个实际场景测试，本发明可在杂乱环境下，高鲁棒性和高精度地实现对遮挡物体的六自由度姿态估计。

主权项：1.一种基于双向RGB-D特征融合的物体姿态估计方法，其特征在于，包括以下步骤：（1）对场景RGB-D图像进行预处理，获得对齐后的RGB图像以及场景点云，再通过深度神经网络提取RGB图像的浅层特征用于物体检测和感兴趣区域定位；（2）根据步骤（1）中定位的感兴趣区域，首先将感兴趣区域与原始RGB图像以及场景点云对齐，分割原始RGB图像和场景点云，得到原始RGB图像和场景点云中的感兴趣区域；然后采用ResNet-PSP网络和RandLA网络逐层将RGB特征与点云特征投影到标准空间实现双向特征融合得到RGB融合特征与点云融合特征，进而通过特征纯化网络对融合特征进行纯化，分别得到当前层级的RGB特征与点云特征，通过ResNet-PSP网络和RandLA网络逐层推理，以获得最终的纯化后的RGB特征与点云特征；最后将最终的纯化后的RGB特征与点云特征通过多层感知机进行融合，得到感兴趣区域的RGB-D融合特征；（3）根据步骤（2）获得的RGB-D融合特征，通过多任务协同学习的网络结构将RGB-D融合特征用于物体语义分割、物体中心点以及关键点投票三项任务的协同训练，并将投票得到的物体中心点与关键点聚类；（4）基于所述步骤（3）中获得的聚类后相机坐标系下的物体中心点与关键点，将实际场景的物体与其CAD模型相对应，并通过最小二乘法解算物体模型到相机坐标系下的转换关系，即为物体的六自由度姿态。

全文数据：

权利要求：

百度查询： 之江实验室 基于双向RGB-D特征融合的物体姿态估计方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD