申请/专利权人：岱悟智能科技(上海)有限公司

申请日：2021-10-11

公开（公告）日：2024-04-12

公开（公告）号：CN113902846B

主分类号：G06T17/00

分类号：G06T17/00;G06T7/33;G06T7/80

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2022.01.25#实质审查的生效;2022.01.07#公开

摘要：本发明涉及三维稠密重建技术领域，具体涉及一种基于单目深度相机和里程传感器的室内三维建模方法，包括：采用单目深度相机和里程传感器分别进行室内场景采集，并综合两者采集的场景数据得到多帧单目深度图像；利用所述里程传感器提供的相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，并融合生成多个一段，每个所述一段包括所述多帧单目深度图像中的若干帧；对每个所述一段进行首尾扩展，扩展后对多个所述一段的段与段之间进行首尾帧的彩色点云配准，得到相机位姿；基于所述相机位姿，进行室内三维建模。该方法可以克服目前三维建模系统因为彩色点云配准失效和误配准导致的建模结果不可用的问题。

主权项：1.一种基于单目深度相机和里程传感器的室内三维建模方法，其特征在于，包括：采用单目深度相机和里程传感器分别进行室内场景采集，并综合两者采集的场景数据得到多帧单目深度图像；利用所述里程传感器提供的相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，并融合生成多个一段，每个所述一段包括所述多帧单目深度图像中的若干帧；对每个所述一段进行首尾扩展，扩展后对多个所述一段的段与段之间进行首尾帧的彩色点云配准，得到相机位姿；基于所述相机位姿，进行室内三维建模；所述综合两者采集的场景数据得到多帧单目深度图像，具体为：采用一棋盘格标定板，对所述单目深度相机和所述里程传感器组成的系统进行标定，得到所述里程传感器的单目相机cam0到所述单目深度相机cam1的外参根据内置标定已知所述里程传感器输出的位姿odom到所述里程传感器的单目相机cam0的外参由此计算所述里程传感器输出的位姿odom到所述单目深度相机cam1的外参 根据所述外参将所述里程传感器采集的位置数据转换到所述单目深度相机的坐标系，并与所述单目深度相机采集的场景数据综合，得到所述多帧单目深度图像及所述相对位置初值；所述利用所述里程传感器提供的位置数据计算得到相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，具体为：将所述多帧单目深度图像均转化成彩色点云；通过彩色点云配准算法进行帧与帧之间的彩色点云配准，其中所述点云配准算法使用具有联合优化目标的ICP迭代，优化的目标函数如下：ET＝1-δEcT+δEGT其中，T是待优化的相对位姿，Ec和EG分别是光度误差项和几何误差项，δ是经验决定的权重，几何项EG测量的是点q到点p切平面的距离差： 其中，p,q分别是两个点云的对应匹配点，K是匹配点集合，np是点p的法线，颜色项EC测量的是点q的颜色Cq与其在点p的切平面的投影的颜色差： 其中，f·表示将点q投影到点p的切平面，Cp·表示点p切平面上连续定义的预计算函数；所述基于所述相机位姿，进行室内三维建模，具体为：基于所述相机位姿，利用TSDF算法得到三维建模结果，所述TSDF算法包括：将空间划分为等大的三维网格，根据所述相机位姿和内参，将任意体素x投影到所述单目深度图像中，获取其在所述单目深度图像中的测量距离Ddepthx，并计算任意体素x到所述单目深度相机的真实距离Drealx；定义tsdfix为对体素x的第i次的观测值，有： 其中，t为截断距离，根据TSDF定义，当Ddepthx与Drealx的距离差小于t，tsdfix返回-1,1之间的值，否则返回±1；根据下式： 其中，Wix＝Wi-1x+wix，wix为对体素x的第i次的观测权重；在每个所述相机位姿处对体素x的TSDF值进行更新；当所有所述相机位姿更新结束，得到一个全局数据立方体，每一个体素x中的值代表该体素x到重建表面的距离，其中正负交界的位置就是全局数据立方体表面的位置，提取所有的表面得到三维建模结果。

全文数据：

权利要求：

百度查询： 岱悟智能科技(上海)有限公司 一种基于单目深度相机和里程传感器的室内三维建模方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD