申请/专利权人：中国科学技术大学

申请日：2024-02-05

公开（公告）日：2024-04-30

公开（公告）号：CN117953205A

主分类号：G06V10/25

分类号：G06V10/25;G06V20/56;G06V20/64;G06V10/764;G06V10/80;G06N3/045;G06N3/0895

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.17#实质审查的生效;2024.04.30#公开

摘要：本发明涉及自动驾驶3D检测领域技术领域，公开了一种基于3D点标注的多模态弱监督学习3D目标检测方法；将雷达点云和图像输入到目标检测模型，得到3D目标的检测框和3D目标的类别；模型的训练过程包括：采集多模态数据；构建教师模型；将除第一训练数据的弱标注数据之外的弱标注数据输入到完成训练的教师模型，得到弱标注数据的3D目标的伪检测框；将伪检测框和对应的弱标注数据组成伪标注数据；构建学生模型，学生模型包括第二点云特征提取器和第二检测头；本发明在解决3D目标检测中的关键问题上的显著进步，特别是在弱监督和半监督的学习环境中，能够减少对精确3D注释的依赖，同时提高3D目标检测的性能和稳定性。

主权项：1.一种基于3D点标注的多模态弱监督学习3D目标检测方法，将包含3D目标的雷达点云和图像输入到完成训练的目标检测模型，得到3D目标的检测框和3D目标的类别；目标检测模型的训练过程包括以下步骤：步骤一，采集3D目标的多模态数据；多模态数据包括雷达点云和图像，对所有多模态数据的雷达点云中的3D目标进行点标注，得到弱标注数据，对部分多模态数据的雷达点云中的3D目标进行框标注，得到全标注数据；点标注包括3D目标的标注点的空间坐标x,y,z，以及3D目标的类别c；框标注包括围绕在3D目标周围的检测框以及3D目标的类别c；步骤二，构建教师模型，将全标注数据和对应数量的弱标注数据作为第一训练数据，训练教师模型，具体包括：教师模型包括图像特征提取器、第一点云特征提取器、3D点编码器、注意力模块和第一检测头；将第一训练数据中的图像输入到图像特征提取器，得到图像特征；将第一训练数据中的雷达点云输入到第一点云特征提取器，得到BEV特征；将弱标注数据中的每个标注点输入到3D点编码器，得到实例查询；将图像特征、BEV特征以及实例查询输入到注意力模块，通过跨模态可变形注意力机制融合图像特征和BEV特征的RoI特征，将得到的最终的ROI特征输入到第一检测头，得到教师模型预测的3D目标的伪检测框；将全标注数据中的框标注作为真值，对教师模型进行训练；步骤三，将除第一训练数据的弱标注数据之外的弱标注数据输入到完成训练的教师模型，得到弱标注数据的3D目标的伪检测框；将伪检测框和对应的弱标注数据组成伪标注数据；步骤四，构建学生模型，学生模型包括第二点云特征提取器和第二检测头；将全标注数据和伪标注数据作为第二训练数据，采用点引导的自监督学习方法，对学生模型进行标准对比学习训练；完成训练的学生模型，即为所述目标检测模型。

全文数据：

权利要求：

百度查询： 中国科学技术大学 基于3D点标注的多模态弱监督学习3D目标检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD