申请/专利权人：西北工业大学

申请日：2022-02-19

公开（公告）日：2024-02-27

公开（公告）号：CN114511488B

主分类号：G06T5/50

分类号：G06T5/50;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.02.27#授权;2022.06.03#实质审查的生效;2022.05.17#公开

摘要：本发明提供了一种夜间场景的日间风格可视化方法。提出了图像数据自然存在的层次对比，包括局部对比PC、实例对比IC和域对比DC，并利用图像的各级对比，针对日间图像重建问题，以层次结构进行网络建模。其中，将日间图像集合中的实例对比IC用于生成解耦图像目标和背景的掩码，利用该掩码得到日间图像解耦的目标和背景；利用域对比DC组织解耦的日间图像，分别引导夜间图像到日间图像的局部和全局的重建；应用局部对比PC约束局部对应信息的生成，强化重建过程中的细节信息。本发明能够在重建日间图像光场信息的同时，保持图像生成的语义不变性，从而防止夜间图像关键信息的丢失。

主权项：1.一种夜间场景的日间风格可视化方法，其特征在于如下步骤：步骤1：选取同一场景的若干幅夜间图像和日间图像，并将每一幅图像变换为维数为3×H×W的RGB图像，得到夜间图像集合X＝{x1，x2，...，xn}和日间图像集合Y＝{y1，y2，...，yn}，其中，xi表示第i幅夜间图像，yi表示第i幅日间图像，i＝1，2，…，n，n表示集合中包含的日间或夜间图像总数，H表示图像的长，W表示图像的宽；从日间图像集合Y中选取一张日间图像作为对比的基准图像yb，yb为不含任何目标的背景图像，以在Imagenet数据集上训练好的VGG-16网络为骨干网络，以骨干网络的不同参数层作为感知函数，分别对任意一幅日间图像y和基准图像yb进行特征提取，其数学表示为：ζl＝φly1 其中，φ表示训练好的VGG-16网络，φl表示由训练好的VGG-16网络第l个最大池化层之前所有参数层组成的感知函数，l＝1，2，...，5，ζl表示日间图像y经过感知函数φl提取得到的特征，表示基准图像yb经过感知函数φl提取得到的特征；基于以上提取得到的特征，按照下式计算得到日间图像y与日间基准图像yb的实例对比ICy，yb： 其中，ICl表示利用特征和ζl计算得到的实例对比，是一个的张量，表示特征和ζl的维数，l＝1时，Cφl＝64，Hφl＝H，Wφl＝W；l＝2时，Cφl＝128，Hφl＝H2，Wφl＝W2；l＝3时，Cφl＝256，Hφl＝H4，Wφl＝W4；l＝4时，Cφl＝512，Hφl＝H8，Wφl＝W8；l＝5时，Cφl＝512，Hφl＝H16，Hφl＝W16；表示对求得的实例对比ICl进行上采样，上采样函数选取双线性插值函数，上采样的放大系数为2l-1；ICl中坐标为i，j的元素按下式计算得到： 其中，表示特征中坐标为k，i，j的元素，ζlk，i，j表示特征ζl中坐标为k，i，j的元素，对日间图像集合Y中的所有图像均按以上方法计算得到其实例对比IC；步骤2：设置阈值η，分别按照下式利用Sigmoid函数对日间图像的实例对比进行处理，得到日间图像的背景掩码Mbacky和目标掩码Mobjy： 其中，表示日间图像y的背景掩码中的第i行第j列的元素，表示日间图像y的目标掩码中的第i行j列的元素，ICijy，yb表示实例对比ICy，yb中第i行j列的元素；分别按以下公式对日间图像的目标和背景进行解耦： 其中，表示利用掩码对日间图像进行逐像素选择，当日间图像像素对应位置掩码值为1时，该像素值保持不变，当日间图像像素对应位置掩码值为0时，将该像素三个通道的值变为0；Dbacky，y表示利用日间图像y的掩码对其进行选择的背景部分，Dobjy，y表示利用日间图像y的掩码对其进行选择的目标部分，Dbacky，yb表示利用日间图像y的掩码对基准图像yb进行选择的背景部分，Dobjy，yb表示利用日间图像y的掩码对基准图像yb进行选择的目标部分；步骤3：建立基于自编码机的日间图像表示模型如下： 其中，g表示自编码机，该自编码机是一个基于ResNets的生成网络，包括编码器和解码器两个部分，编码器部分由2个下采样层和9个卷积神经网络残差块组成，解码器部分由9个卷积神经网络残差块和2个上采样层组成；gDobjy，y表示将日间图像y的目标部分Dobjy，y输入自编码机时的输出；基于上述模型，建立如下损失函数Liden：Liden＝||gDobjy，y-Dobjy，y||1，12利用日间图像集合Y中的数据将自编码机g训练200epoch，得到固定网络参数的自编码机g；步骤4：构建网络结构和自编码机相同的网络，作为将夜间图像转化为日间风格图像的映射网络，并建立域对比损失函数模型如下： 其中，LDC表示域对比损失，fx表示将夜间图像后输入映射网络后得到的输出图像，输出图像的维度和输入的夜间图像维度一致，f表示网络的映射函数，Ex～X表示对夜间图像x求期望，genc表示自编码机g的编码器部分，Dbackfx，fx表示表示利用生成图像fx的掩码对生成图像fx进行选择的背景部分，Dbackfx，yb表示利用生成图像fx的掩码对基准图像yb进行选择的背景部分，Dobjfx，fx表示用生成图像fx的掩码对生成图像fx进行选择的目标部分，||·||1表示l1范数；建立局部对比损失函数如下： 其中，LPC表示局部对比损失，CE表示交叉熵函数，L表示映射网络中编码器的参数层总数，表示将生成图像fx输入到映射网络时，其编码器第l层参数层输出的隐变量；表示将夜间图像x输入到映射网络时，其编码器第l层参数层输出的隐变量；和的维数为以其中每个位置上的维度为的元素作为集合中的一个独立元素，中的所有元素构成集合中的所有元素构成集合对集合中的元素进行随机采样，得到的64个元素构成集合对集合中的元素进行随机采样，得到的64个元素构成集合表示集合减去集合得到的新集合；建立对抗损失函数如下：Ladv＝Ex～X||Dfx，y-1||2+Ey～Y||Dfx，y||215其中，Ladv表示对抗损失，||·||2表示l2范数，D表示判别网络，采用二分类网络；综合以上三个损失函数，建立映射网络的总损失函数如下：Ltotal＝LPC+LDC+Ladv16其中，Ltotal表示总损失；步骤5：最小化步骤4中的总损失函数，得到优化后的网络映射函数f，将夜间图像输入映射网络，输出得到可视化为日间图像风格的结果图像。

全文数据：

权利要求：

百度查询： 西北工业大学 一种夜间场景的日间风格可视化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD