申请/专利权人：武汉未来幻影科技有限公司

申请日：2023-11-30

公开（公告）日：2024-03-22

公开（公告）号：CN117315035B

主分类号：G06T7/73

分类号：G06T7/73;G06V20/58;G06T7/80

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2024.01.16#实质审查的生效;2023.12.29#公开

摘要：本申请提供了一种车辆朝向的处理方法、装置以及处理设备，用于以低成本的基于单目相机的3D车辆检测结果为基础，构建了一系列的数据处理方案，以此高精度处理得到车辆识别对象的朝向角theta，为3D感知中对于车辆识别对象的朝向识别需求提供了强有力的数据支持，进而有助于实现更为智能化的自动驾驶。

主权项：1.一种车辆朝向的处理方法，其特征在于，所述方法包括：获取3D车辆检测网络对于网络所输入的单目相机图像处理得到的车辆检测结果，其中，所述单目相机图像由配置于车辆上的单目相机采集得到，所述单目相机预设有相机内参、相机外参，所述车辆检测结果包括车辆识别对象的2D检测框、实际尺寸、alpha角，所述实际尺寸包括长宽高尺寸，所述alpha角指的是在所述车辆识别对象绕相机坐标系y轴旋转至相机坐标系z轴之后物体朝向与相机坐标系x轴的夹角，所述alpha角的范围为[-180°,180°]，逆时针为正；根据所述相机内参、所述2D检测框、所述alpha角，确定对应的r_y角，其中，所述r_y角指的是在所述车辆识别对象绕所述相机坐标系y轴旋转至所述相机坐标系z轴之前所述物体朝向与所述相机坐标系x轴形成的夹角，所述r_y角的范围为[-90°,90°]，逆时针为正，顺时针为负；根据所述相机内参、所述2D检测框、所述实际尺寸，确定所述车辆识别对象在相机坐标系中的z轴坐标Zc；根据所述相机内参、所述2D检测框、所述z轴坐标Zc，确定所述车辆识别对象投影至所述相机坐标系的中心点坐标center；判断是否需要优化所述r_y角，若需要，则在所述相机内参、所述2D检测框、所述实际尺寸、所述中心点坐标center的基础上，通过反投影法确定最优r_y角；在所述相机外参的基础上，根据所述r_y角或者所述最优r_y角，确定对应的朝向角theta，其中，所述朝向角theta指的是所述物体朝向与UTM坐标系X轴的夹角，逆时针为正，顺时针为负；所述在所述相机内参、所述2D检测框、所述实际尺寸、所述中心点坐标center的基础上，通过反投影法确定最优r_y角，包括：将360度均等分成36分，得到36个角度值，作为预选r_y角，其中，第i个所述预选r_y角的角度值＝i-1×10，i在1到36中取值；根据所述实际尺寸包括的所述长宽高尺寸，在所述相机坐标系中初步构建一个3D检测框，所述3D检测框的底面中心位于所述相机坐标系的原点；基于36个所述预选r_y角、所述中心点坐标center，对所述3D检测框进行旋转平移，使得所述3D检测框的几何中心点C与所述中心点坐标center重合，其中，在旋转平移过程中，旋转由第i个所述预选r_y角对应的旋转矩阵来执行，平移根据所述几何中心点C与所述中心点坐标center之间的距离确定；基于所述相机内参、所述z轴坐标Zc，通过下式将旋转平移后的所述3D检测框的8个顶点反投影至像素坐标系，得到在所述像素坐标系下的8个坐标： 其中，u1、v1为旋转平移后的所述3D检测框的8个顶点反投影至所述像素坐标系后的二维坐标，X1、Y1、Z1为旋转平移后的所述3D检测框的8个顶点的三维坐标，cx、cy为所述相机内参中已知的相机光轴与成像平面的交点处的像素横纵坐标，fx为所述相机内参中已知的水平方向的焦距，fy为所述相机内参中已知的竖直方向的焦距；求解在所述像素坐标系中包围所述在所述像素坐标系下的8个坐标的2D包络框；求解原来的所述2D检测框和所述2D包络框的交并比；将取得最大交并比的所述预选r_y角作为所述最优r_y角；所述在所述相机外参的基础上，根据所述r_y角或者所述最优r_y角，确定对应的朝向角theta，包括：设所述r_y角和所述最优r_y角两者，与所述朝向角theta的转换关系为：d其中，dir为3×1矩阵，dir为中间变量，为所述相机坐标系到所述UTM坐标系的旋转矩阵，rij为矩阵元素，i、j的取值范围均为0、1、2，rij在所述相机外参的基础上结合车辆的定位信息算得，在所述r_y角或者所述最优r_y角的基础上，通过下式求解所述朝向角theta： 其中，dir[0]代表dir的第1个元素，dir[1]代表dir的第2个元素。

全文数据：

权利要求：

百度查询： 武汉未来幻影科技有限公司 一种车辆朝向的处理方法、装置以及处理设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD