申请/专利权人：华中科技大学

申请日：2023-04-06

公开（公告）日：2024-03-22

公开（公告）号：CN116546183B

主分类号：H04N13/271

分类号：H04N13/271;H04N13/275;G06T7/269;G06T7/55;G06T15/20;G06T3/08;G06V10/40;G06V10/82;G06V10/762;G06N3/0455;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2023.08.22#实质审查的生效;2023.08.04#公开

摘要：本发明属于计算机视觉技术领域，具体涉及一种基于单帧图像的3D动态视频生成方法，包括：确定单帧输入图像的深度图，将输入图像转换为分层深度图像，对分层深度图像进行特征提取，经投射得到3D特征点云；基于每帧待生成RGB图像相对所述输入图像的时间差，对输入图像中的流体进行双向的2D光流估计，并基于流体所在区域的深度信息，将估计得到的每一个方向的光流投射为3D场景流，得到两个方向的3D场景流；基于新的相机视角，采用双向3D场景流对3D特征点云进行双向移动并渲染，得到特征图；将两帧特征图进行加权融合并解码得到上述时间差对应的一帧RGB图像；对各帧RGB图像进行合成，得到3D动态视频。本发明同时解决了场景运动和新视图合成两个难题。

主权项：1.一种基于单帧图像的具有视差效果的动态图像生成方法，其特征在于，包括：确定单帧输入图像的深度图，根据所述深度图将输入图像转换为分层深度图像，对所述分层深度图像进行特征提取，经过投射得到3D特征点云；基于每帧待生成RGB图像相对所述输入图像的时间差，对所述输入图像中的流体进行双向的2D光流估计，并基于所述流体所在区域的深度信息，将估计得到的每一个方向的光流投射为3D场景流，得到两个方向的3D场景流；基于相对于所述输入图像的新的相机视角，采用双向3D场景流对所述3D特征点云进行相应方向的移动并渲染，得到特征图、深度图和alpha图；将两帧所述特征图进行加权融合并解码得到所述时间差对应的一帧RGB图像；所述加权融合采用的加权矩阵是通过基于所述时间差、所述深度图和所述alpha图计算得到；对各帧RGB图像进行合成，得到具有视差效果的动态图像；其中，采用已训练的2D光流估计网络，对所述输入图像中的流体进行一个方向的2D光流估计，并基于运动对称原理，得到另一个方向的2D光流；所述2D光流估计网络采用欧拉场来近似场景流体的运动，基于欧拉积分，递归地获得任意时刻的各像素位移场；将3D特征点云分别前向和后向移动，从运动方向相反的点云中借用纹理信息将两个运动点云集成起来；将前向运动特征点云和后向运动特征点云分别渲染，获得特征图Ff和Fb，深度图Df和Db，alpha图αf和αb；根据公式Ft＝Wt·Ff+1-Wt·Fb和Dt＝Wt·Df+1-Wt·Db进行加权，其中加权矩阵式中，Ff和Fb表示两帧所述特征图，Df和Db表示两帧所述深度图，αf和αb表示两帧所述alpha图，t表示所述时间差，N表示用于生成3D动态图像的总帧数，Wt表示权重矩阵。

全文数据：

权利要求：

百度查询： 华中科技大学 基于单帧图像的具有视差效果的动态图像生成方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD