申请/专利权人：荣耀终端有限公司

申请日：2022-10-28

公开（公告）日：2024-04-09

公开（公告）号：CN116681818B

主分类号：G06T17/00

分类号：G06T17/00;G06N3/0464;G06N3/0455;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2023.09.19#实质审查的生效;2023.09.01#公开

摘要：本申请提供了一种新视角重建方法、新视角重建网络的训练方法及装置，其中，新视角重建网络的训练方法结合深度信息和外观信息渲染共同监督新视角重建网络的学习，使得到的神经编码体可以更准确地表达场景的几何和外观的信息，进而提高了最终输出的新视角图像的准确率和分辨率。而且，新视角重建方法可以基于重建对象的多个视图构建得到相应的神经编码体和神经辐射场，最终基于神经辐射场渲染得到该重建对象在新视角的图像。神经编码体可以推断和学习重建对象的几何信息和外观信息，因此无需对每个场景都进行训练优化，而且无需输入大量训练样本。

主权项：1.一种新视角重建网络的训练方法，其特征在于，应用于终端设备，所述终端设备运行训练网络，所述训练网络包括特征提取模块、代价体构建模块、神经编码模块、深度估计模块、神经辐射场构建模块和渲染模块；所述方法包括：所述特征提取模块获取同一重建对象对应的多个不同视角的图像样本，以及提取每个视图的深度特征获得多个特征图，每个所述重建对象的多个图像样本中包括一参考图像样本；所述代价体构建模块将所述多个特征图投影到参考图像样本对应的特征图的平行平面上得到多个特征体，以及将所述多个特征体聚合得到所述重建对象对应的3D代价体；所述神经编码模块对所述3D代价体进行编码得到所述3D代价体对应的神经编码体；所述深度估计模块基于所述神经编码体预测所述参考图像样本的深度信息获得深度估计值，以及根据计算得到深度损失Ldepth，表示所述参考图像样本的深度估计值，表示所述参考图像样本的深度真值；所述神经辐射场构建模块构建所述重建对象的神经编码体对应的神经辐射场；所述渲染模块对所述神经辐射场内目标视角进行渲染得到目标视角的合成图像，以及基于所述目标视角的合成图像及真实图像计算得到渲染损失值；基于同一重建对象对应的所述深度损失值和所述渲染损失值优化整个所述训练网络的网络参数。

全文数据：

权利要求：

百度查询： 荣耀终端有限公司 新视角重建方法、新视角重建网络的训练方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD