申请/专利权人：同济大学

申请日：2022-06-27

公开（公告）日：2024-04-12

公开（公告）号：CN115100618B

主分类号：G06V20/56

分类号：G06V20/56;G06V10/75;G06V10/764;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2022.10.14#实质审查的生效;2022.09.23#公开

摘要：本发明公开了一种多源异构感知信息多层级融合表征与目标识别方法，涉及感知信息处理技术领域，该方法包括以下步骤：在数据级将相机、毫米波雷达和激光雷达的感知数据融合后进行多粒度分解，进行相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据表征；在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取；将相机、毫米波雷达和激光雷达提取后的数据特征在不同深度上进行动态连续融合，效果是通过相机、毫米波雷达和激光雷达进行感知目标观测数据的收集，进行多层级融合，解决传感器在异常情况遮挡、小目标和数据异常等下目标检测的精度和鲁棒性，从而提高自动驾驶的安全性。

主权项：1.一种多源异构感知信息多层级融合表征与目标识别方法，其特征在于，该方法包括以下步骤：在数据级将相机、毫米波雷达和激光雷达的感知数据融合后进行多粒度分解，进行相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据表征；在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取；将相机、毫米波雷达和激光雷达提取后的数据特征在不同深度上进行动态连续融合，并利用感兴趣区域池化操作将不同深度的特征进行串接；通过解码器进行相机、毫米波雷达和激光雷达数据的特征级融合与表征；在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，通过全连接进行分类得到相机、毫米波雷达和激光雷达的目标检测结果；通过匈牙利算法进行数据关联与融合得到目标级的融合与表征；将获得的数据级、特征级和目标级数据表征对比和融合后进行目标感知；在数据级将相机、毫米波雷达和激光雷达的感知数据融合，具体为：相机、毫米波雷达和激光雷达的感知数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；相机图像通过透视变换将正视图投影到俯视图；激光雷达点云数据为三维视图，选择离地的水平平面为俯视投影平面，去除地面的点云后，再将点云投影到该水平平面上；毫米波雷达稀疏点云数据为俯视的二维平面点云，即将相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换至俯视图；其中，多粒度分解具体为：将俯视图相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换为鸟瞰图；将相机图像的鸟瞰图与激光雷达点云数据的鸟瞰图进行匈牙利匹配关联；将相机图像颜色纹理数据用匹配后的激光雷达点云深度数据进行替代。

全文数据：

权利要求：

百度查询： 同济大学 一种多源异构感知信息多层级融合表征与目标识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD