申请/专利权人：华南理工大学

申请日：2021-11-23

公开（公告）日：2024-04-02

公开（公告）号：CN114241167B

主分类号：G06T19/00

分类号：G06T19/00;G06V20/40;G06V40/10;G06V10/25;G06V10/26;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2022.04.12#实质审查的生效;2022.03.25#公开

摘要：本发明公开了一种从视频到视频的无模板虚拟换衣方法及装置，方法步骤为：通过人体姿态估计方法分别提取模特图像和独立帧中人物的关键骨骼点；对模特图像进行姿态转换，得到姿态转换图像；利用感兴趣区域提取网络，提取独立帧中人物的衣服掩码，保留独立帧中除衣服掩码部分以外的区域；提取姿态转换图像中与衣服掩码相对应的重叠区域，将除衣服掩码部分以外的区域和重叠区域进行融合，得到每一帧的初步换衣结果；将当前帧和过去帧的初步换衣结果进行视角互补，得到最终的虚拟换衣视频。本发明利用姿态转换和感兴趣区域提取摆脱了衣服模板的限制，采用视角互补解决了单帧虚拟换衣的遮挡等问题，利用视频时序信息和多帧中多视角特点提升了性能。

主权项：1.一种从视频到视频的无模板虚拟换衣方法，其特征在于，包括以下步骤；将源视频中每一帧作为独立帧，通过现有人体姿态估计方法分别提取出模特图像和独立帧图像中人物的关键骨骼点；所述源视频为包含换衣者信息的一段人物视频，表示为： 其中为第i帧独立帧，N为源视频中的帧数；通过现有姿态估计方法提取出源视频中的人物关键骨骼点序列表示为： 其中为第i帧关键骨骼点；所述模特图像表示为IM；所述模特图像的关键骨骼点表示为PM；将提取的独立帧的关键骨骼点和模特图像输入到多尺度特征融合的自编码器A1中对模特图像进行姿态转换，得到和独立帧中人物一样的姿态转换图像，具体为：根据和PM，基于图像拟合出相应的SMPL人体三维模型，生成相对应的流图Fmap；所述流图为从原姿态到目标姿态的图像上每个坐标点的偏离值，表示为：Fmap＝Fu＝ui′-ui其中，ui为得到的SMPL模型投影到图像上的像素点，ui′为PM得到的SMPL模型投影到图像上的像素点；将IM输入到一个外观编码器中，同时将输入到一个姿态编码器中，分别得到多种尺度大小的外观特征图和姿态特征图；对Fmap进行尺度上的调整，和相应尺度大小的外观特征图以及姿态特征图一起输入到多尺度特征融合的自编码器A1中，得到以为目标姿态、以IM为目标外观的姿态转换图像；利用预训练好的感兴趣区域提取网络，提取独立帧中人物的衣服掩码，同时保留独立帧中除衣服掩码部分以外的区域；提取姿态转换图像中与衣服掩码相对应的重叠区域，将除衣服掩码部分以外的区域和重叠区域输入到普通结构的自编码器A2中进行融合，得到视频虚拟换衣中每一帧的初步换衣结果；根据不同帧之间的视角不同，将当前帧和过去帧的初步换衣结果输入到由自注意力机制引导的自编码器A3中进行遮挡信息互补，得到最终的虚拟换衣视频。

全文数据：

权利要求：

百度查询： 华南理工大学 一种从视频到视频的无模板虚拟换衣方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD