申请/专利权人：杭州像素元科技有限公司

申请日：2024-01-12

公开（公告）日：2024-02-13

公开（公告）号：CN117557993A

主分类号：G06V20/64

分类号：G06V20/64;G06V10/44;G06V10/52;G06V10/80;G06V10/764;G06V10/82;G06N3/0455;G06N3/0464;G06N3/0499;G06N3/048;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.01#实质审查的生效;2024.02.13#公开

摘要：本方案提供了双框架交互感知3D关联检测模型的构建方法及应用，训练样本集中的点云数据和图像数据分别输入到特征提取网络中得到多尺度点云特征以及初始图像特征，多尺度点云特征和初始图像特征一并输入到区域跨模态交互融合模块中得到双模态特征，双模态特征输入到双分支分布感知模块中得到双分布特征，双分布特征输入到双特征关联挖掘模块中对三维目标的属性分别进行局部属性关注和全局属性学习得到属性关联注意特征，属性关联注意特征进行分类和回归得到三维物体，可以进一步保留点云数据的空间特征与图像数据的语义特征，并且在多种场景变化下达到稳定的鲁棒性效果，同时具有良好的模型泛化能力和优越的模型推理速度。

主权项：1.一种双框架交互感知3D关联检测模型的构建方法，其特征在于，包括：获取匹配的标记三维物体的点云数据和图像数据作为训练样本集；将训练样本集输入到构建的双框架交互感知3D关联检测框架中训练直到满足迭代条件得到双框架交互感知3D关联检测模型，其中双框架交互感知3D检测框架包括特征提取网络、区域跨模态交互融合模块、双分支分布感知模块以及双特征关联挖掘模块，训练样本集中的点云数据和图像数据分别输入到特征提取网络中得到多尺度点云特征以及初始图像特征，多尺度点云特征和初始图像特征一并输入到区域跨模态交互融合模块中得到双模态特征，双模态特征输入到双分支分布感知模块中的内分布感知分支和外分布感知分支中分别得到内点感知分布特征和外点感知分布特征，将内点感知分布特征和外点感知分布特征同双模态特征进行融合得到双分布特征，双分布特征输入到双特征关联挖掘模块中对三维目标的属性分别进行局部属性关注和全局属性学习得到全局注意特征和局部注意特征，全局注意特征和局部注意特征融合得到属性关联注意特征，属性关联注意特征进行分类和回归得到三维物体；其中多尺度点云特征进行通道融合得到体素增强模态特征，基于体素增强模态特征对初始图像特征进行语义信息特征增强得到图像增强特征，体素增强模态特征进行区域体素自注意力聚集得到体素集，体素集同图像增强特征使用跨模态注意力的交互融合方式融合得到双模态特征。

全文数据：

权利要求：

百度查询： 杭州像素元科技有限公司 一种双框架交互感知3D关联检测模型的构建方法及应用

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD