申请/专利权人：四川大学;中国科学院光电技术研究所

申请日：2023-10-18

公开（公告）日：2024-04-16

公开（公告）号：CN117315030B

主分类号：G06T7/73

分类号：G06T7/73;G06T7/60;G06N3/0455;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2024.01.16#实质审查的生效;2023.12.29#公开

摘要：本发明公开了一种基于渐进式点云‑文本匹配的三维视觉定位方法及系统，应用于视觉定位技术领域。本发明包括：S1、数据获取步骤：获取三维点云数据以及文本描述信息，S2、模型建立步骤：建立一个三维视觉定位模型，并对三维视觉定位模型进行训练，S3、语义化编码步骤：通过视觉骨干网络和语言骨干网络分别对输入的三维点云数据以及文本描述信息进行语义化编码，得到种子点和全局本文特征，S4、关键种子点产生步骤，S5、特征计算步骤，S6、模型优化步骤。本发明有效避免了引入背景噪音，从而显著提高了三维视觉定位的稳定性和鲁棒性。

主权项：1.一种基于渐进式点云-文本匹配的三维视觉定位方法，其特征在于，包括以下步骤：S1、数据获取步骤：获取三维点云数据以及文本描述信息；S2、模型建立步骤：建立一个三维视觉定位模型，并对三维视觉定位模型进行训练；S3、语义化编码步骤：通过视觉骨干网络和语言骨干网络分别对输入的三维点云数据以及文本描述信息进行语义化编码，得到种子点和全局文本特征；S4、关键种子点产生步骤：随机初始化实例掩膜，其中各实例掩膜表示预先定义好的三维候选目标物体；通过点云-文本-感知的掩膜-种子点匹配网络得到各实例掩膜在三维点云出现的概率以及各种子点所属的实例掩膜软类别，从而筛选出和目标物体特征近似的一些种子点，作为关键种子点；S5、特征计算步骤：计算各关键种子点和文本描述信息的匹配度，选择匹配度最高的关键种子点作为目标物体的锚点；利用锚点的高维语义化特征，通过预先训练好的三维视觉定位模型回归目标物体在三维点云中的位置以及尺寸；S6、模型优化步骤：向三维视觉定位模型输入训练数据，计算损失值并依据损失值优化三维视觉定位模型；对训练好的三维视觉定位模型参数作持久化处理。

全文数据：

权利要求：

百度查询： 四川大学;中国科学院光电技术研究所 基于渐进式点云-文本匹配的三维视觉定位方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD