申请/专利权人：西安交通大学;宁波市舜安人工智能研究院

申请日：2021-07-29

公开（公告）日：2024-04-16

公开（公告）号：CN113592971B

主分类号：G06T11/00

分类号：G06T11/00;G06N3/0455;G06N3/0464;G06N3/0475;G06N3/094

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.11.19#实质审查的生效;2021.11.02#公开

摘要：本发明公开了一种虚拟人体图像生成方法、系统、设备及介质，所述方法包括：将源人体图像和目标姿态图像输入预训练好的虚拟人体图像生成网络，获得目标姿态人体图像；其中，虚拟人体图像生成网络为卷积神经网络，包括：编码器，用于输入源人体图像和目标姿态图像，编码获得源人体特征和目标人体特征；基于结构的外观生成模块，用于输入源人体特征和目标人体特征并进行更新，获得更新后的源人体特征和目标人体特征；解码器，用于输入基于结构的外观生成模块输出的目标人体特征，解码获得目标姿态人体图像。本发明利用基于人体结构的姿态引导下的虚拟人体图像生成网络，能够生成有着正确目标姿态的逼真人体图像。

主权项：1.一种虚拟人体图像生成方法，其特征在于，包括以下步骤：将源人体图像和目标姿态图像输入预训练好的虚拟人体图像生成网络，通过所述虚拟人体图像生成网络输出获得目标姿态人体图像；其中，所述虚拟人体图像生成网络为卷积神经网络，包括：编码器，用于输入源人体图像和目标姿态图像，编码获得源人体特征和目标人体特征并输出；基于结构的外观生成模块，用于输入源人体特征和目标人体特征并进行更新，获得更新后的源人体特征和目标人体特征并输出；解码器，用于输入所述基于结构的外观生成模块输出的目标人体特征，解码获得目标姿态人体图像；其中，训练好的虚拟人体图像生成网络的获取步骤具体包括：获取样本数据集；其中，所述样本数据集中的每个样本数据均包括源人体图像样本数据、目标人体图像样本数据、源人体姿态样本数据和目标人体姿态样本数据；将所述样本数据集的选中样本数据中的源人体图像样本数据、源人体姿态样本数据和目标人体姿态样本数据输入所述虚拟人体图像生成网络中，获得虚拟目标人体图像数据；基于所述虚拟目标人体图像数据和所述选中样本数据中的目标人体图像样本数据构建损失函数，对所述虚拟人体图像生成网络进行迭代优化；达到预设的迭代次数或收敛条件后，获得训练好的虚拟人体图像生成网络；所述基于结构的外观生成模块包括：结构感知的自适应归一化模块，用于输入源人体特征和目标人体特征，生成风格化的目标姿态特征并输出；特征增强模块，用于输入生成的风格化的目标姿态特征和源人体特征，输出更新后的源人体特征和目标人体特征；所述样本数据集合中，每个样本数据中的源人体姿态样本数据和目标人体姿态样本数据的获取步骤包括：采用openpose姿态估计方法对人体图像进行姿态估计，得到18个人体关节点坐标序列；其中，源人体图像的关节点坐标序列表示为PIs＝{p1，…，pK}，K＝18；目标人体图像的关节点坐标序列表示为PIt＝{p1，…，pK}，K＝18；基于获得的人体关节点坐标序列，用K个heatmaps表示人体姿态信息；其中，源人体姿态信息表示为目标人体姿态信息表示为所述编码器中，编码获得源人体特征和目标人体特征的步骤具体包括：用2个下采样的卷积层对目标姿态信息Pt编码为目标人体特征Ct；用2个下采样的卷积层对源人体图像Is和姿态信息Ps编码为源人体特征Cs；所述基于结构的外观生成模块中，输入源人体特征和目标人体特征并进行更新，获得更新后的源人体特征和目标人体特征的步骤具体包括：基于获得的人体关节点坐标序列，划分人体图像为若干人体部分和1个背景部分，获得L个各部分的掩码；其中，源人体图像的各部分掩码表示为目标人体图像的各部分掩码表示为用两个卷积层对目标人体特征Ct进行卷积得到目标人体特征用两个卷积层对源人体特征Cs进行卷积得到源人体特征根据源人体特征Fs和源人体图像的各部分掩码Ms生成风格向量其中，对于Vsty的每一行，L是一个C维的向量，表示源人体图像每个部分的特征；采用均值池化来获得第l个部分的风格向量 其中，Resize·表示缩放操作；表示逐元素相乘；Pool·表示池化操作；根据源人体图像和目标人体图像各部分的对应关系，将风格向量Vsty插入到目标人体图像的各部分掩码Mt对应的各个部分中得到风格矩阵Tsty；其中，将第l个风格向量用广播的方式插入到目标人体图像的第l个掩码中生成第l个风格矩阵所有L个风格矩阵L的逐元素相加得到最终的风格矩阵Tsty： 用两个卷积层对风格矩阵Tsty进行卷积得到归一化操作中的调制参数和对目标姿态特征Ft进行批量归一化处理得到用γ和β对Fnorm进行调制操作得到风格化的目标姿态特征Fsty：Fsty＝γFnorm+β；对目标特征姿态Fsty和源人体特征Fs进行拼接融合，然后用Squeeze-and-Excitation操作对融合之后的特征进行增强，得到增强后的特征Ffuse，获得到更新后的目标人体特征C′t： 其中，表示特征融合操作，对Ct，Ft，Fs用拼接和加和的方式进行融合；更新后的源人体特征C′s是源人体特征Fs和更新后的目标人体特征C′t的拼接。

全文数据：

权利要求：

百度查询： 西安交通大学;宁波市舜安人工智能研究院 一种虚拟人体图像生成方法、系统、设备及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD