申请/专利权人：清华大学

申请日：2023-12-27

公开（公告）日：2024-03-29

公开（公告）号：CN117788709A

主分类号：G06T17/00

分类号：G06T17/00;G06T15/00;G06T7/80;G06N3/084

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.16#实质审查的生效;2024.03.29#公开

摘要：本申请提出了一种基于神经辐射场的可微光源建模方法及装置，属于图形学和三维计算机视觉技术领域，该方法包括：从多视角的拍摄图像中重建神经辐射场来表达光源，将高斯混合模型作为辐射场的代理分布模型，利用采样和概率密度估计方法对辐射场中光照较亮的区域进行更充分的采样，通过建模后的光源与场景中的几何和材质参数一起使用梯度下降法进行共同优化，从而协助进行三维重建。基于本申请提出的方案，与传统的环境光贴图相比，能够准确地建模近距离光源，使室内场景的渲染和微分更加准确，避免了环境光贴图对光源的无限远假设，并且，本申请还支持在场景中插入虚拟物体，实现虚实结合的视觉效果。

主权项：1.一种基于神经辐射场的可微光源建模方法，其特征在于，包括：获取多视角的拍摄图像，对每个视角的拍摄图像进行相机位姿标定后，构建虚拟场景并在所述虚拟场景中设置一个虚拟包围盒，通过神经辐射场对所述虚拟包围盒外部的区域进行建模；通过可微的体积渲染计算所述神经辐射场中渲染像素的颜色，根据所述渲染像素与所述拍摄图像中像素的颜色，更新所述神经辐射场的参数；获取多个随机相机视角，通过所述神经辐射场对每个视角进行体积渲染，得到每个视角的亮度图和深度图，根据所述深度图进行反投影，将所有视角的深度图融合成一个三维点云，通过采样和概率密度估计方法迭代地将高斯混合模型拟合到所述三维点云中的点上；对所述虚拟包围盒内的几何、材质参数和所述虚拟包围盒外的神经辐射场参数进行可微的基于物理的渲染，得到渲染图像，基于所述渲染图像和所述拍摄图像迭代更新所述几何、材质和神经辐射场的参数，训练结束后，完成所述虚拟场景的三维重建。

全文数据：

权利要求：

百度查询： 清华大学 一种基于神经辐射场的可微光源建模方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD