申请/专利权人：浙江大学

申请日：2023-12-11

公开（公告）日：2024-03-05

公开（公告）号：CN117649490A

主分类号：G06T17/00

分类号：G06T17/00;G06T19/00;G06T19/20

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.22#实质审查的生效;2024.03.05#公开

摘要：本发明公开了一种具有高保真三角形网格和材质纹理贴图的数字人重建方法，属于计算机图形学与数字人重建技术领域。S1：将单目视频对应的每一帧图片进行基于光线追踪的空间点采样，将采样点变形到标准姿态下的分布；S2：获取全局空间点的几何信息和颜色信息；S3：对每根光线上的采样点进行积分得到体渲染结果，完成第一阶段优化；S4：选取目标帧并初始化三维网格，生成人体几何表面；S5：通过材质网络获取矫正后的人体几何表面的材质纹理属性；S6：在矫正后的人体几何表面上实现可微渲染；S7：引入信息融合策略生成稠密的虚拟视角下体渲染结果，监督第二阶段优化；S8：最后生成具有高质量三角形网格表面和材质纹理属性的数字人。

主权项：1.一种具有高保真三角形网格和材质纹理贴图的数字人重建方法，其特征在于，包括以下步骤：S1：将单目视频对应的每一帧图片进行基于光线追踪的空间点采样，通过变形场将每一帧不同姿态下的人体表面采样点变形到标准姿态下的分布，得到聚合到标准姿态下的全局空间点；S2：基于聚合到标准姿态下的全局空间点，利用神经sdf场和颜色场分别表示标准姿态下的全局空间点的几何信息和颜色信息；S3：对每根光线上的采样点进行积分得到体渲染结果，计算渲染结果与输入帧真值的损失，并向前传递梯度不断优化变形场、神经sdf场和颜色场；S4：从单目视频中选取目标帧并初始化三维网格，通过查询神经sdf场获取初始化三维网格各顶点对应的sdf值，提取sdf值为零的等值面来表示人体几何表面；S5：引入可学习的人体几何表面偏差量矫正人体几何表面的三角形网格，通过材质网络获取矫正后的人体几何表面的材质纹理属性；S6：基于光照方程和材质纹理属性，在矫正后的人体几何表面上实现可微渲染；S7：引入信息融合策略生成稠密的虚拟体渲染结果，计算可微渲染结果与稠密的虚拟体渲染结果的损失，联合优化可学习的人体几何表面偏差和材质网络；S8：基于优化后的变形场、神经sdf场、颜色场、人体几何表面偏差量和材质网络，生成具有高质量三角形网格表面和材质纹理属性的数字人。

全文数据：

权利要求：

百度查询： 浙江大学 具有高保真三角形网格和材质纹理贴图的数字人重建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD