申请/专利权人：清华大学

申请日：2021-07-22

公开（公告）日：2024-04-23

公开（公告）号：CN113689540B

主分类号：G06T17/00

分类号：G06T17/00;G06T7/70;G06V20/40

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2021.12.10#实质审查的生效;2021.11.23#公开

摘要：本申请提出了一种基于RGB视频的物体重建方法和装置，涉及三维重建、机器学习技术领域，其中，该方法包括：获取待重建物体的RGB视频；对RGB视频进行预处理，获取RGB视频中的关键帧图像和对应的相机姿态；使用NerF训练方法，将关键帧图像和对应的相机姿态作为训练数据，训练一个多层感知器MLP，生成待重建物体的辐照度场；根据辐照度场生成点云，并使用基于体素的方法将点云进行融合，生成包含物体模型的体素体；使用MarchingCubes算法从体素体中提取待重建物体的模型。采用上述方案的本申请为物体重建提出了一种从RGB视频中获取物体几何和纹理模型的方法，使用RGB视频作为输入，采集方法简单，数据容易获取。

主权项：1.一种基于RGB视频的物体重建方法，其特征在于，包括以下步骤：获取待重建物体的RGB视频；对所述RGB视频进行预处理，获取所述RGB视频中的关键帧图像和对应的相机姿态；使用NerF训练方法，将所述关键帧图像和对应的相机姿态作为训练数据，训练一个多层感知器MLP，生成所述待重建物体的辐照度场；根据所述辐照度场生成点云，并将所述点云进行融合，生成包含物体模型的体素体；使用MarchingCubes算法从所述体素体中提取所述待重建物体的模型；其中，所述获取所述RGB视频中的关键帧视频和对应的相机姿态，包括以下步骤：使用图像处理的方法获取所述RGB视频中每帧RGB图像的清晰度，并按照每30帧提取一张最清晰的图像构成多视角图像；使用所述多视角图像的ArUco码确定每帧RGB图像对应的相机姿态，剔除所述多视角图像中无法获得相机姿态的图像帧，生成关键帧图像和对应的相机姿态；其中，所述体素体的生成包括以下步骤：在所述关键帧图像对应的相机姿态范围内生成预设个数的虚拟相机姿态；从所述虚拟相机出发，对所述辐照度场进行查询，将所述虚拟相机图像中每个像素的投射光线上累积密度为1的位置及该投射光线上的期望颜色值记录为三维点，所有的三维点构成点云；使用基于体素的方法对所述点云进行融合，生成所述包含物体模型的体素体。

全文数据：

权利要求：

百度查询： 清华大学 基于RGB视频的物体重建方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD