申请/专利权人：南通大学

申请日：2023-08-04

公开（公告）日：2024-03-19

公开（公告）号：CN117057976B

主分类号：G06T3/04

分类号：G06T3/04;G06V10/26;G06V10/40;G06V10/82;G06V40/10;G06N3/0455;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2023.12.01#实质审查的生效;2023.11.14#公开

摘要：本发明提供了一种基于局部外观流的虚拟试衣方法，属于虚拟现实与仿真技术领域。解决了在具有挑战性的输入情况下依然能够获得合理的翘曲部分和语义正确的完整服装，缓解了服装翘曲过程中纹理失真的技术问题。其技术方案为：包括以下步骤：S1、数据处理模块；S2、教师模块中包含多尺度特征提取模块、翘曲模块和生成模块；S3、学生模块中包含与教师模块相同的三个子模块。本发明的有益效果为：本发明在不需要人体解析的情况下，通过提取局部外观流信息，对服装进行局部翘曲变形，有效保持服装上的纹理特征和变形后的衣服细节，减少教师模块中生成图像的伪影，提高生成结果的质量和真实度。

主权项：1.一种基于局部外观流的虚拟试衣方法，其特征在于，包括以下步骤：S1、数据处理模块中，依据DensePose方法，将人体图像I、穿着的原服装图像C和选择的目标服装G进行处理，分别获得人体语义分割图Idp、人体关键点Ip、遮盖服装区域的人体图像掩膜MP和服装解析结果Cs和Gs；S2、教师模块中包含多尺度特征提取模块、翘曲模块和生成模块；S2.1、多尺度特征提取模块，提取多尺度的人体特征和服装特征S2.2、翘曲模块，将完整的服装图像G分成三个部分，左右袖和躯干区域并对每个部分预测局部流动根据局部外观流信息，分别对原服装图像和目标服装图像进行局部翘曲将局部翘曲的部分重新组装起来，形成完整的翘曲服装图像Gwarp，将服装图像C进行翘曲变形为Cwarp；S2.3、生成模块，将变形的衣服Gwarp、人体姿势估计和遮盖服装区域的人体图像连接起来作为输入，送到基于改进的Res-Unet生成模块中，保留服装细节并生成试穿图像，将其作为指导知识S3、学生模块中包含与教师模块相同的三个子模块，由于输入不同，学生模块的输入指导知识和服装图像C，将它们送入多尺度特征提取模块中和翘曲模块中，将进行翘曲变形获得C*warp，在翘曲过程中由教师模块对服装C的翘曲结果Cwarp作为知识蒸馏对获得的C*warp进行约束，指导学生模块中人物编码器的学习，获得翘曲结果；将C*warp和GI送到生成模块中实现虚拟换装，并且使用真实图像I进行约束，获得与原图像的试穿效果。

全文数据：

权利要求：

百度查询： 南通大学 一种基于局部外观流的虚拟试衣方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD