申请/专利权人：易方信息科技股份有限公司

申请日：2023-11-30

公开（公告）日：2024-04-16

公开（公告）号：CN117893650A

主分类号：G06T13/40

分类号：G06T13/40;G06N3/0455;G06N3/0464;G06N3/0499;G06N3/08;G06T15/00

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.03#实质审查的生效;2024.04.16#公开

摘要：本发明提出了一种基于哈希编码的数字人头部重建方法、系统、设备及介质，方法包括：采集数字人头部的视频数据集以获取姿态参数、相机内参和表情参数；选取表情参数至少两帧作为关键帧，检测2D关键点并提升至3D坐标；构建支持头部信息编码的多级哈希表和赋予表情语义的多尺度哈希表关联的表达式库，重建头部的神经辐射场网络；在视频数据集上迭代训练哈希表和神经辐射场网络，通过姿态和视角的渲染后生成数字人头部驱动结果。本发明通过引入哈希编码和神经辐射场，能够快速学习RGB信息，基于2D域到3D域的映射，缩短数字人头部建模时间，提高建模质量。

主权项：1.一种基于哈希编码的数字人头部重建方法，其特征在于，所述方法包括：S1:采集数字人头部视频样本数据后，经预处理后进行获得样本数据集，所述样本数据集包括姿态参数、相机内参以及表情参数，通过{η1,η2,……,ηN}表示每一个视频帧的表达式系数集合，ηN表示第N个视频帧的表达式系数，N表示视频对应帧数；S2：至少选择两帧所述表情参数中的视频帧作为关键帧，根据2D关键点检测算法获取关键点，再通过直接线性变化算法将所述关键点从二维升至三维获得关键点集合，确认查询点后基于2D投影计算所述关键点和所述查询点的相对深度值，求解所述查询点的相对位置编码；S3：构建基于编码数字人头部特征的多级哈希表，通过融合所述多级哈希表中的多级哈希特征以及所述查询点的相对位置编码，获得点对齐特征和空间向量特征；S4：构建多尺度哈希表关联的表达式库，对每一个多尺度哈希表赋予面部表情的语义属性，通过所述表情参数联合多尺度哈希表关联的表达式库获得线性混合语义特征；S5：构建用于表示神经辐射场的MLP网络，所述MLP网络包括两个全连接网络MLP，所述全连接网络MLP分别用于数字人头部的颜色建模和数字人头部的密度建模；S6：通过数字人头部视频样本数据集对所述多级哈希表以及所述神经辐射场进行迭代训练；S7：基于视角和姿态对数字人头部模型进行渲染；S8：选择头部驱动视频，通过面部解析算法跟踪所述头部驱动视频以获取驱动表情参数和驱动头部姿态参数，预设值相机内参后将所述驱动表情参数和所述驱动头部姿态参数输入数字人头部模型，生成数字人头部驱动结果。

全文数据：

权利要求：

百度查询： 易方信息科技股份有限公司 基于哈希编码的数字人头部重建方法、系统、设备及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD