申请/专利权人：湖南大学

申请日：2021-06-02

公开（公告）日：2024-03-19

公开（公告）号：CN113506362B

主分类号：G06T15/04

分类号：G06T15/04;G06T15/50;G06N3/0455;G06N3/0464;G06N3/0475;G06N3/084;G06N3/0985;G06N3/094

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2021.12.17#实质审查的生效;2021.10.15#公开

摘要：本发明提供了一种基于编码解码网络的单视角透明物体新视图合成的方法，其中包括以下步骤：获取数据集，本方法通过对三维模型在不同视角下获得对应的法线图，建立透明物体复杂背景多视角数据集；模型设计，基于编码解码网络结构，设计合理的网络模型；模型训练，显式地考虑光传输特性和视角相关效应，通过编码解码网络学习RGB颜色到表面法线的光传输特性以及视角变换。将建立的数据集输入给设计的模型进行训练，优化编码网络和解码网络的参数，同时提出一种纹理特征提取子网，以减轻法线贴图生成过程中的轮廓损失现象。实验结果表明，本发明的方法仅使用单视图图像及其对应的分割图就可以在复杂场景中的透明对象上实现更好的视图合成。

主权项：1.一种基于编码解码网络的单视角透明物体新视图合成的方法，包括如下步骤包括：S1、获取数据集，通过对三维模型在不同视角下获得对应的法线图，建立透明物体复杂背景多视角数据集；S2、基于编码解码网络结构，设计合理的网络模型；S3、显式地考虑光传输特性和视角相关效应，通过编码解码网络学习RGB颜色到表面法线的光传输特性以及视角变换；将建立的数据集输入给设计的模型进行训练，优化编码网络和解码网络的参数，同时提出一种纹理特征提取子网，以减轻法线贴图生成过程中的轮廓损失现象；S4、经过可视化对比、多评价指标量化、消融实验、灵敏度分析对模型进行测试，仅使用单视图图像及其对应的分割图就可以在复杂场景中的透明对象上实现更好的视图合成；所述步骤S3具体包括以下处理：法线估计网络，提出了一种用于估计法线图的编码器解码器网络，网络的输入是一个具有已知折射率IoR的透明物体的图像I，以及一个相应的分割掩码图M，输出是两个法线贴图N1和N2；使用N1和N2的真实值作为监督，即N1,N2＝DNNetI,M从RGB像素到其对应法线值的转换误差，所采用的损失函数就是N1和N2的L2损失； 纹理特征提取网络，提出了基于VGG19的纹理特征提取器，以有效减轻法线贴图生成过程中的轮廓损失；使用提取的纹理特征作为上一阶段法线估计网络的输入，生成具有更好质量的透明对象的法线贴图；使用pytorch提出的预训练VGG19模型来学习相应透明对象的纹理特征，表示为TF，并将输入图像I和分割掩码图M组合起来，将其发送到编码层，将其转换为编码层的隐空间特征；该特征用作解码器的输入以预测法线图；若使用纹理特征提取网络，则法线估计可以重新表示为N1,N2＝DNNetI,M,TFwhereTF＝VGG19I,M法线预测网络，首先估计初始视点下透明物体的法线图，然后学习关于法线图之间有关视角的映射；给定初始视点sv和目标视点tv，需要从目标视点tv生成透明对象的新视图；使用一个简单的卷积网络层来学习初始视点到目标视点的空间变化特征，结合法线估计网络的预测法线贴图N1和N2的特征一起作解码器的输入以预测新视图的法线贴图tN1和tN2；使用真实的来监督tN1和tN2的训练；tN1,tN2＝DNNetN1,N2,sv,tv计算将新视点与原始视点之间的法线值差异，所采用的损失函数就是tN1和tN2的L2损失； 渲染操作，提出了渲染模块来实现透明对象的新视图的渲染，并通过非迭代的局部计算来模拟透明对象在渲染过程中的折射和反射；给定一个新的场景，表示为场景环境图E；首先，根据斯涅尔定律，利用法线预测网络估计的法线图tN1和tN2计算折射和反射光线l1与l2，然后根据新视点tv将折射反射光线的方向由相机坐标系转换为世界坐标系；其次，在校准摄像机后，为新视图透明物体图像Io的每个像素计算其入射光方向li；最后，通过双线性采样计算环境地图E的射入光线方向，以获得像素的采样；由于发生了全内反射，某些光在进入透明物体后再次反弹后可能无法到达环境图；因此，渲染层将返回到误差二进制掩码Merr；渲染层通过反射，折射和全内反射获得透明对象的新视图图像Io；l1,l2,Merr＝RenderLayerE,tN1,tN2Io＝l1+l2对应的新透视图真实图像Igt和生成的Io之间的差异是渲染损失Lr，使用渲染损失Lr进行额外的监督：Lr＝|Igt-Io|⊙M在数据的输入阶段，网络的输入是一个具有已知折射率IoR的透明物体的图像I，以及一个对应的分割蒙版M，输出是新视角的两个法线贴图tN1和tN2，然后经过渲染器渲染得到新视角图片Io；因此，在本质上是比较渲染得到的图片Io的分布与真实图片Igt的分布的差异，优化模型参数，尽可能减小差异；网络模型分别使用三个损失函数：第一个阶段采用的是L2损失函数计算从RGB像素到其对应法线值的转换误差，第二个阶段也是采用的L2损失函数计算将新视点与原始视点之间的法线值差异，第三个阶段是计算渲染生成图片和目标图片之间的损失，由L1损失函数计算损失；模型的超参数设定，其中编码器和编码器的学习率初始化为10-4，并利用Adam优化器进行优化；模型学习率每50个迭代后将其减半，所有网络都经过了200个迭代的训练；基于PyTorch实现上述模型，并需要2天的时间在单张NVIDIAGeForceRTX3090GPU上进行训练。

全文数据：

权利要求：

百度查询： 湖南大学 基于编码解码网络的单视角透明物体新视图合成的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD