申请/专利权人：京东方科技集团股份有限公司

申请日：2018-01-26

公开（公告）日：2021-09-21

公开（公告）号：CN109754357B

主分类号：G06T1/00(20060101)

分类号：G06T1/00(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.09.21#授权;2019.06.07#实质审查的生效;2019.05.14#公开

摘要：本发明实施例提供一种图像处理方法、处理装置和处理设备，利用生成神经网络结合图像内容特征实现图像转换，使得转换后的输出图像既包含转换特征又保持与输入图像的一致性。该图像处理方法包括：获取输入图像；利用生成神经网络根据输入图像对所述输入图像进行图像转换处理，以输出转换后的输出图像，其中，所述生成神经网络中包含多个处理层级，其中将第i处理层级的输出结果输入至第i+1处理层级和第j处理层级，所述第j处理层级还接收第j‑1处理层级的输出结果，所述第j‑1处理层级的输出结果与第i处理层级的输出结果具有相同的尺寸，其中：i小于j‑1，i和j为正整数。

主权项：1.一种图像处理方法，包括：获取输入图像；利用生成神经网络根据输入图像对所述输入图像进行图像转换处理，以输出转换后的输出图像，其中，所述生成神经网络中包括多个处理层级，其中将第i处理层级的输出结果输入至第i+1处理层级和第j处理层级，所述第j处理层级还接收第j-1处理层级的输出结果，所述第j-1处理层级的输出结果与第i处理层级的输出结果具有相同的尺寸，其中所述生成神经网络的多个处理层级中的每个处理层级包括卷积网络，所述多个处理层级中的除了第1个处理层级和最后一个处理层级以外的处理层级还包括下采样层、上采样层中的至少一个以及标准化层，所述下采样层的个数与所述上采样层的个数相等，以使得第1个处理层级输出的输出结果与最后一个处理层级的输出结果具有相同的尺寸，其中：i小于j-1，i和j为正整数。

全文数据：图像处理方法、处理装置以及处理设备技术领域本发明涉及图像处理领域，尤其涉及一种图像处理方法、处理装置以及处理设备。背景技术利用深度神经网络进行图像处理和转换是随着深度学习技术的发展而新兴起来的技术。然而，现有技术中的图像处理和转换系统的结构复杂且难于训练。因此，需要一种实现图像转换的图像处理方法、处理装置和处理设备，其既能对输入图像进行转换处理，又能保留输入图像的原始信息，保证输出图像与输入图像之间具有一致性，系统灵活、简单，易于训练。发明内容本发明提供一种图像处理方法、处理装置以及处理设备，利用生成神经网络结合图像内容特征实现图像转换，所述生成神经网络中在不同处理层级之间建立跨层级连接，使得输出图像既能具备图像转换的特征，又能保留输入图像的原始信息，保证输出图像与输入图像之间具有一致性。本发明实施例提供一种图像处理方法，包括：获取输入图像；利用生成神经网络根据输入图像对所述输入图像进行图像转换处理，以输出转换后的输出图像，其中，所述生成神经网络中包括多个处理层级，其中将第i处理层级的输出结果输入至第i+1处理层级和第j处理层级，所述第j处理层级还接收第j-1处理层级的输出结果，所述第j-1处理层级的输出结果与第i处理层级的输出结果具有相同的尺寸，其中：i小于j-1，i和j为正整数。根据本发明实施例，所述生成神经网络的多个处理层级中的每个处理层级包括卷积网络，所述多个处理层级中的至少一部分处理层级还包括下采样层、上采样层和标准化层中的至少一个。根据本发明实施例，在所述生成神经网络中，所述下采样层的个数与所述上采样层的个数相等。根据本发明实施例，其中所述输入图像作为第一训练图像，所述输出图像作为第一训练输出图像，所述图像处理方法还包括：基于所述第一训练图像、第一训练输出图像训练所述生成神经网络。根据本发明实施例，其中，训练所述生成神经网络包括：将所述第一训练输出图像输入至鉴别神经网络，输出所述第一训练输出图像是否具有转换特征的鉴别标签；利用第一损失计算单元根据所述第一训练图像、第一训练输出图像和鉴别标签计算所述生成神经网络的损失值，优化所述生成神经网络的参数。根据本发明实施例，其中，所述第一损失计算单元包括分析网络、第一损失计算器和优化器，并且利用第一损失计算单元优化所述生成神经网络的参数包括：利用所述分析网络输出所述第一训练图像和第一训练输出图像的内容特征；利用所述第一损失计算器根据分析网络输出的内容特征以及所述第一训练输出图像的鉴别标签按照第一损失函数计算所述生成神经网络的损失值；利用所述优化器根据所述生成神经网络的损失值优化所述生成神经网络的参数，其中，该参数包括所述生成神经网络中卷积网络的卷积核和偏置。根据本发明实施例，其中：所述第一损失函数包括内容损失函数、生成神经网络损失函数和标准化损失函数中的至少一个。根据本发明实施例，其中，所述输入图像作为第二训练图像，所述输出图像作为第一样本图像，所述图像处理方法还包括：从训练数据库获取第二样本图像；利用所述鉴别神经网络输出所述第一样本图像和所述第二样本图像是否具有转换特征的鉴别标签；利用第二损失计算单元根据所述第一样本图像的鉴别标签和所述第二样本图像的鉴别标签训练所述鉴别神经网络。根据本发明实施例，其中，所述第二损失计算单元包括第二损失计算器和优化器，并且利用第二损失计算单元训练所述鉴别神经网络包括：利用所述第二损失计算器根据所述第一样本图像的鉴别标签和所述第二样本图像的鉴别标签按照第二损失函数计算所述鉴别神经网络的损失值，其中，所述第二损失函数包括鉴别神经网络损失函数；利用所述优化器根据所述鉴别神经网络的损失值优化所述鉴别神经网络的参数，其中，该参数包括所述鉴别神经网络中卷积网络的卷积核和偏置。根据本发明实施例，其中，所述训练数据库中包括具有转换特征的样本图像。本发明实施例还提供一种图像处理装置，包括：生成神经网络模块，用于根据输入图像对所述输入图像进行图像转换处理，以输出转换后的输出图像，其中：所述生成神经网络模块中包括多个处理层级，其中第i处理层级的输出结果输入至第i+1处理层级和第j处理层级，所述第j处理层级还接收第j-1处理层级的输出结果，所述第j-1处理层级的输出结果与第i处理层级的输出结果具有相同的尺寸，其中：i小于j-1，i和j为正整数。根据本发明实施例，其中，所述生成神经网络模块中的每个处理层级包括卷积网络，所述多个处理层级中的至少一部分处理层级还包括下采样层、上采样层和标准化层中的至少一个，其中：在所述生成神经网络模块中，所述下采样层的个数与所述上采样层的个数相等。根据本发明实施例，其中所述输入图像作为第一训练图像，所述输出图像作为第一训练输出图像，所述图像处理装置还包括：训练神经网络模块，用于根据第一训练图像和第一训练输出图像训练所述生成神经网络模块，其中所述训练生成神经网络模块包括：鉴别神经网络模块，用于输出所述第一训练输出图像是否具有转换特征的鉴别标签；第一损失计算单元，用于根据所述第一训练图像、第一训练输出图像和鉴别标签计算所述生成神经网络模块的损失值，优化所述生成神经网络模块的参数。根据本发明实施例，其中，所述第一损失计算单元包括：分析网络，用于输出所述第一训练图像和第一训练输出图像的内容特征；第一损失计算器，用于根据分析网络输出的内容特征以及所述第一训练输出图像的鉴别标签按照第一损失函数计算所述生成神经网络模块的损失值，其中，所述第一损失函数包括内容损失函数、生成神经网络损失函数和标准化损失函数中的至少一个；以及优化器，用于根据所述生成神经网络模块的损失值优化所述生成神经网络模块的参数，其中，该参数包括所述生成神经网络模块中卷积网络的卷积核和偏置。根据本发明实施例，其中，所述训练神经网络模块还用于根据所述鉴别神经网络模块的鉴别标签训练所述鉴别神经网络模块，其中，所述输入图像作为第二训练图像，所述输出图像作为第一样本图像，从训练数据库中获取的图像作为第二样本图像，所述鉴别神经网络模块根据所述第一样本图像、第二样本图像输出鉴别标签，其中，所述训练神经网络模块还包括：第二损失计算单元，用于根据所述第一样本图像的鉴别标签和所述第二样本图像的鉴别标签训练所述鉴别神经网络模块。根据本发明实施例，其中，所述第二损失计算单元包括：第二损失计算器，用于根据所述第一样本图像的鉴别标签和所述第二样本图像的鉴别标签按照第二损失函数计算所述鉴别神经网络模块的损失值，其中，所述第二损失函数包括鉴别神经网络模块损失函数；以及优化器，用于根据所述鉴别神经网络模块的损失值优化所述鉴别神经网络模块的参数，其中，该参数包括所述鉴别神经网络模块中卷积网络的卷积核和偏置。根据本发明实施例，其中，所述训练数据库中包括具有转换特征的样本图像。本发明实施例还提供一种图像处理设备，包括：一个或多个处理器；一个或多个存储器，其中，所述存储器存储有计算机可读代码，所述计算机可读代码当由所述一个或多个处理器运行时执行如上所述的图像处理方法，或实现如上所述的图像处理装置。本发明实施例提供一种图像处理方法、处理装置和处理设备，用于实现图像转换处理。所述图像处理方法、处理装置和处理设备利用生成神经网络生成转换特征后的输出图像，并利用训练数据库中的样本图像以及损失函数训练所述生成神经网络，使得系统简单，易于训练。在此基础上，所述生成神经网络中在不同处理层级之间建立跨层级连接，使得输出图像既能具备图像转换的特征，又能保留输入图像的原始信息，保证输出图像与输入图像之间具有一致性。附图说明图1示出了本发明实施例提供的图像处理方法的流程图；图2A示出了用于实现图1中所述图像处理方法的生成神经网络的结构框图；图2B示出了用于实现图1中所述图像处理方法的生成神经网络的具体结构；图3示出了MUX层的示意图；图4示出了训练生成神经网络的流程图；图5示出了训练生成神经网络的框图；图6示出了分析网络的具体结构图；图7示出了鉴别神经网络的具体结构图；图8示出了训练鉴别神经网络的流程图；图9示出了训练鉴别神经网络的框图；图10示出了本发明实施例提供的图像处理装置的示意性框图；图11示出了本发明实施例提供的图像处理设备的示意性框图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明实施例提供的图像处理方法的流程框图如图1所示。在步骤S110，获取要接受图像转换处理的输入图像，该输入图像通常为彩色图像，例如可以是RGB图像，也可以是灰度图像。接着，在步骤S120，利用生成神经网络对所述输入图像进行图像转换处理，其中，所述生成神经网络是基于训练得到的。根据训练，所述生成神经网络能实现图像特征转换处理，所述特征转换处理可以但不限于是图像风格的转换，例如，使输入的照片图像具有油画的特征，也可以是季节特征的转换，例如，使输入图像具有冬季的特色。在利用生成神经网络进行图像转换处理的过程中，由于神经网络中存在下采样处理，例如通过池化层实现，会在输出的处理结果中丢失原图信息并产生多余的转换特征，导致图像转换效果较差的现象。在本发明中，通过在生成神经网络中不同处理层级的网络之间建立跨层级连接，使得生成神经网络在图像转换处理的过程中保持输入图像的原始信息，从而使得输出的转换图像既包括转换特征，又能保留原图信息，保证图像转换效果。其中，所述跨层级连接是将第i处理层级的输出结果既输入至第i+1处理层级又输入至第j处理层级，所述第j处理层级还接收第j-1处理层级的输出结果，其中，第j-1处理层级的输出结果与第i处理层级的输出结果具有相同的尺寸。其中，i小于j-1，i、j为正整数。由此，即建立了第i处理层级与第j处理层级之间建立了跨层级的连接，其中，第i处理层级的输出结果跨过其后续处理层级的处理步骤直接输入至第j处理层级，第j处理层级基于第i处理层级的输出结果和第j-1处理层级的输出结果进行图像处理。所述生成神经网络通过将第i处理层级的输出结果跨层级连接至第j处理层级的输入，由于第i处理层级的输出结果未经过其与第j处理层级之间的处理层级的处理，因此包含了更多的输入图像的原始信息，从而保证输出图像与输入图像的一致性。接着，在步骤S130，该生成神经网络输出经过图像转换处理的输出图像，所述输出图像具备图像转换特征。所述生成神经网络经过不同的训练过程能实现不同的图像转换处理，可以是图像风格、场景、季节、效果或基于其他特征的图像转换。图2A示出了用于实现上述图像处理方法的生成神经网络的结构框图，图2B示出了用于实现上述图像处理方法的生成神经网络的具体结构。以下，将结合图2A和图2B详细介绍所述图像处理方法。图2A和图2B中示出的生成神经网络包含5个处理层级的网络，每个处理层级中包括卷积网络。根据图像处理的需要，所述5个处理层级中的至少一部分处理层级还可以包括下采样层、上采样层、标准化层中的至少一个。其中，在生成神经网络中，所述下采样层与所述上采样层的个数相等。需要注意的是，图2A和图2B中的生成神经网络仅为示例性的，并不构成对本申请的限制。所述用于实现图像转换处理的生成神经网络可以具有其它的处理层级的个数，其具体的结构也可以根据图像转换的需求进行适当的调整。所述卷积网络中至少包括卷积层，还可以包括其他的处理层，例如池化层、激活层等。通常情况下每个卷积层可以包含数十个或数百个卷积核，层数越多，卷积网络的结构越复杂。在本发明实施例中，所述生成神经网络中的多个处理层级中的每个处理层级包括用于实现图像转换处理的卷积网络。其中，所述多个处理层级中的至少一部分处理层级还包括下采样层、上采样层、标准化层中的至少一个。所述生成神经网络中还包括跨层级连接。所述跨层级连接用于如图2A和图2B所示的将处于不同处理层级的两部分网络连接起来。如图2A所示，将输入图像输入至生成神经网络后，首先经过第一处理层级的处理，用于提取图像特征，为描述方便，将经第一处理层级处理后的结果表示为结果A。接着，结果A经过生成神经网络中的第二处理层级的处理，得到结果B。接着，结果B经过生成神经网络中的第三处理层级的处理，得到结果C。接着，结果C经过生成神经网络中的第四处理层级的处理，得到结果D。接着，结果D经过生成神经网络中的第五处理层级的处理，得到输出图像。在此基础上，将经过第一处理层级得到的结果A跨层级连接至第五处理层级，用于与结果D一起经过第五处理层级的处理，生成输出图像。所述跨层级连接，即将处于第一层级的结果A跨过第二、三、四处理层级的处理。其中，结果A中的图像与结果D中的图像具有相同的尺寸。此外，由于结果A未经过所述第二、第三、第四处理层级的处理，因此与结果D相比，包含更多的输入图像的原始信息，使得输出图像在图像特征转换的基础上能保留输入图像的信息，保持与输入图像的一致性。同理，将经过第一、第二处理层级得到的结果B跨层级连接至第四处理层级，用于与结果C一起经过第四处理层级的处理，用于生成结果D。即将第二处理层级的结果B跨过第三处理层级的处理，直接输入至第四处理层级。其中，结果B中的图像与结果C中的图像具有相同的尺寸。第四处理层级基于结果B和结果C生成结果D，其中，结果C为结果B经过第三处理层级的处理得到，由于结果B未经过所述第三处理层级的处理，因此与结果C相比，其包含更多的输入图像的原始信息。在根据本发明的其他实施例中，所述生成神经网络还可以包括更多数目的处理层级的网络，所述跨层级连接可以根据神经网络中的处理层级的顺序依次实现，在此不再赘述。如图2B所示，在本发明实施例中，所述生成神经网络中的所述第一处理层级中包括卷积网络，其用于提取输入图像中的图像特征，得到结果A。所述第二处理层级中依次包括下采样层、标准化层、卷积网络，用于得到结果B。所述第三处理层级依次包括下采样层、标准化层、卷积网络以及上采样层，用于得到结果C。所述第四处理层级依次包括卷积网络、标准化层以及上采样层，用于得到结果D。所述第五处理层级依次包括卷积网络和标准化层，用于生成输出图像。其中，所述生成神经网络中还在不同的处理层级之间建立跨层级连接。具体地，在第一处理层级的输出结果与第五处理层级的输入之间建立跨层级连接，即将结果A既输入至第二处理层级还输入至第五处理层级，由此，第五处理层级既接收结果D还接收结果A。此外，还在第二处理层级的输出结果与第四处理层级的输入直接建立跨层级连接，即还将结果B既输入至第三处理层级还输入至第四处理层级，由此，第四处理层级既接收结果C还接收结果B。具体的，在生成神经网络中，用于图像转换处理的卷积网络中包含若干的卷积层。在卷积层中，一个神经元只与部分相邻层的神经元连接，卷积层可以对输入的图像应用若干个卷积核，以提取多种类型的特征。每个卷积核可以提取一种类型的特征，在训练生成神经网络的过程中，卷积核通过学习达到合理的权值。对输入的图像应用一个卷积核之后得到的结果被称为特征图像，其数目与卷积核的数目相同。下采样层可以对图像进行下采样处理例如，可以是池化层，可以在不改变特征图像数量的基础上减少特征图像的尺寸，进行特征压缩，提取主要特征。此外，下采样层其可以缩减特征图像的规模，以简化计算的复杂度，在一定程度上减小过拟合的现象。标准化层用于对上一层级输出的特征图像进行标准化处理，本发明实施例中为根据每个特征图像的均值和方差进行标准化。假设选定特征图像mini-batch的个数为T，某卷积层输出的特征数量为C，每个特征图像均为H行W列的矩阵，特征图像表示为T,C,W,H，则标准化公式如下：其中xtijk为某卷积层输出的特征图像集合中的第t个特征块patch的第i个特征图像、第j列、第k行的值。ytijk表示xtijk经过实例标准化层处理得到的结果，ε为值很小的整数，以避免分母为0。所述上采样层，例如，可以是MUX层，其可以对输入的若干图像进行像素交错重排处理，使得在图像数量不变的基础上，增加每个图像的尺寸。由此，MUX层通过不同图像间像素的排列组合，增加了每幅图像的像素数目。图3示出了使用2*2MUX层进行上采样的示意图。对于输入的4幅图像INPUT4n、INPUT4n+1、INPUT4n+2和INPUT4n+3，假设输入的图像的像素数目为a*b，经过2*2MUX层的像素重排处理后，输出4幅像素数目为2a*2b的图像OUTPUT4n、OUTPUT4n+1、OUTPUT4n+2和OUTPUT4n+3，增加了每幅图像的像素信息。在本发明实施例中，所述上采样层的个数应于所述下采样层的个数相同，使得输出图像与输入图像具有相同的图像尺寸，并且保证跨层级连接的两部分处理结果具有相同的图像尺寸。输出图像的转换特征由所述生成神经网络的参数决定，根据图像转换应用，通过对所述生成神经网络进行训练，优化所述参数，以实现转换目的，使得输入图像具有与训练图像相同的图像特征。其中，所述参数可以包括所述生成神经网络中卷积网络的卷积核和偏置，所述卷积核和偏置可以决定用于跨层级连接的结果例如，结果A和结果B的使能情况，例如，通过所述卷积核和偏置决定所述结果A与结果D在经过第五处理层级处理的过程中对生成输出图像的贡献大小，从而控制所述跨层级连接。例如，在图2B中的生成神经网络中，通过调整所述卷积核和偏置可以增加用于跨层级连接的结果A在生成输出图像过程中具有与结果D相比较大的权重，使得输出图像具有更多的原图信息。同理，也可以通过调整所述卷积核和偏置减少用于跨层级连接的结果A在生成输出图像过程中具有与结果D相比较小的权重。因此，所述跨层级连接使得生成神经网络在图像转换处理的过程中具有更多的灵活性。其中，所述图像转换可以是图像风格、季节、效果、场景等的转换，例如将一幅风景图像转换为具有梵高作品特征的图像、将一幅具有夏季特征的图像转换为具有冬季特征的图像、将棕色马的图像转换为斑马的特征等，甚至可以是将猫转换为狗。图4示出了训练所述生成神经网络的流程图，图5示出了训练所述生成神经网络的框图。以下，将结合图4和图5来具体地描述训练所述生成神经网络的过程。根据本发明实施例的图像处理方法中，如图4所示，在步骤S410，获取第一训练图像。所述第一训练图像可以与图1中所示的输入图像相同，也可以不同，其用于训练所述生成神经网络，并且不具有预期的图像转换特征。接着，在步骤S420，利用所述生成神经网络根据第一训练图像对所述第一训练图像进行图像转换处理以生成第一训练输出图像。此过程与图1中利用所述生成神经网络根据输入图像生成输出图像的步骤相同，在此不再赘述。然后，在步骤S430，基于所述第一训练图像以及所述第一训练输出图像训练所述生成神经网络，该训练旨在根据生成神经网络的处理结果，优化该网络中的参数，使得输出图像具备预期的图像转换特征。所述预期的图像转换特征为希望通过所述生成神经网络实现的图像转换处理而使得从不具备该转换特征的输入图像，得到具备该转换特征的输出图像。例如，预期的图像转换特征可以是梵高画作的特征，第一训练图像则为不具备梵高画作特征的照片，利用生成神经网络根据第一训练图像生成第一训练输出图像，通过判断生成神经网络输出的第一训练输出图像中是否具有梵高画作的特征来训练生成神经网络中的参数。如图5所示，步骤S430中的训练所述生成神经网络的具体过程包括：将所述第一训练输出图像输入至鉴别神经网络，用于输出所述第一训练输出图像是否具有转换特征的鉴别标签；利用第一损失计算单元根据所述第一训练图像、第一训练输出图像和鉴别标签计算所述生成神经网络的损失值，优化所述生成神经网络的参数。如图5所示，所述第一损失计算单元包括分析网络、第一损失计算器以及优化器。在本发明实施例中，利用第一损失计算单元计算所述生成神经网络的损失值包括：利用所述分析网络输出所述第一训练图像和第一训练输出图像的内容特征；利用所述第一损失计算器根据所述分析网络输出的内容特征以及所述第一训练输出图像的鉴别标签按照第一损失函数计算所述生成神经网络的损失值；以及，利用优化器根据所述生成神经网络的损失值优化所述生成神经网络的参数，其中，该参数包括所述生成神经网络中卷积网络的卷积核和偏置。所述分析网络的具体结构如图6所示，其由若干个卷积网络和池化层组成，用于提取输入的图像的内容特征。其中每一个卷积网络的输出都是从输入的图像中提出的特征，池化层用于降低特征图像的分辨率并传递给下一个卷积网络。经过每个卷积网络后的特征图像都表征了输入图像在不同级别上的特征如纹理、边缘、物体等。在本发明实施例中，利用分析网络对第一训练图像I1、第一训练输出图像R1进行处理，提取其内容特征，并将提取的内容特征输入至第一损失计算器。所述第一损失计算器根据分析网络输出的第一训练图像I1、第一训练输出图像R1的内容特征以及鉴别标签，按照第一损失计算函数计算生成神经网络的损失值。第一损失计算器将计算得到的生成神经网络的总损失值输入到优化器，所述优化器根据损失值优化生成神经网络的卷积网络中的卷积核和偏置，以实现更接近图像转换特征的处理效果。其中，所述卷积核和偏置可以决定用于跨层级连接的结果例如，结果A和结果B的使能情况。使得增加了训练过程中的系统灵活性，并且，经过训练的所述包含跨层级连接的生成神经网络能在使输出图像具备预期转换特征的基础上保留输入的图像的原始信息，避免了输出的转换图像与输入的图像的不一致性。在本发明实施例中，所述第一损失计算函数包括内容损失函数、生成神经网络损失函数以及标准化损失函数中的至少一个。其中，所述内容损失函数用于表征第一训练图像I1与第一训练输出图像R1之间的内容损失，设Pl和Fl分别为他们在分析网络中第l层输出的特征图像，则内容损失函数的定义如下：其中C1为一个常数，用于对结果进行标准化处理，表示在分析网络中第l个卷积层中第i个卷积核输出的Fl中第j个位置的值，表示第l个卷积层中第i个卷积核输出的Pl中第j个位置的值。按照内容损失的公式，根据第一训练图像I1与第一训练输出图像R1在分析网络中输出的特征图像，则可计算出经过生成神经网络处理的第一训练输出图像R1与第一训练图像I1之间的内容损失值Lcontent_1。通过计算所述生成神经网络的内容损失值可以保证其输出的转换图像与输入图像保持一致性，使得输出图像在经过处理后在具有转换特征的基础上保留足够的原始信息。本发明实施例中利用生成神经网络结合内容损失函数对生成神经网络进行训练，保证转换图像与输入图像具有一致性，使得系统简单，易于训练。在本发明实施例中，所述生成神经网络损失函数表示为：L_G＝Ex～Pdatax[logDx]+Ez～Pzz[1-logDGz]其中，E为取平均处理，Pdata为使得鉴别神经网络输出为1的图像集合，即具备目标转换特征的训练图像，x为属于Pdata集合的图像，例如，第二样本图像。Pz为生成神经网络的输入图像集合，z为属于Pz集合的图像，例如，第一训练图像。D为鉴别神经网络，G为生成神经网络，Dx表示为将图像x经过鉴别神经网络的处理，利用该鉴别神经网络输出图像x的鉴别标签。Gz表示为将图像z经过生成神经网络的处理，即利用该生成神经网络根据图像x生成输出图像，DGz为将经过生成神经网络处理后的输出图像经过鉴别神经网络的处理，输出该输出图像是否具备转换特征的鉴别标签。第一计算损失计算器根据L_G计算生成神经网络的损失值。本发明实施例中，所述标准化损失函数采用参数正则化损失函数LL1，也可以采用其他类型的标准化损失。在神经网络中，卷积核和偏置都是需要通过训练得到的参数。卷积核决定了对输入的图像进行怎样的处理，偏置则决定了该卷积核的输出是否输入到下一层。因此，在神经网络中，偏置可形象地比喻为“开关”，决定了该卷积核是“打开”还是“关闭”。针对不同的输入图像，网络打开或关闭不同的卷积核以达到不同的处理效果。神经网络中所有卷积核绝对值的均值为：其中，∑‖w‖为对网络中的所有卷积核的值求和，Cw为网络中卷积核的数量。神经网络中所有偏置绝对值的均值为：其中，∑‖b‖为对网络中所有偏置的值求和，Cb为网络中偏置的数量。则参数正则化损失函数为：其中ε为一个极小的正数，用于保证分母不为0。本发明实施例中，希望卷积层中的偏置与卷积核相比具有更大的绝对值，以使得更有效的发挥偏置的“开关”的作用。训练过程中，第一计算损失计算器根据LL1计算生成神经网络的参数正则化损失值。综上所述，生成神经网络的总损失为：Ltotal＝aLcontent+βL_G+χR其中，R为生成神经网络的标准化损失值，a、β和χ分别为总损失中内容损失值、生成神经网络损失值和标准化损失值所占的权重，本发明实施例中采用上述参数正则化损失值表示标准化损失值，也可采用其他类型的标准化损失值。在训练生成神经网络过程中使用的鉴别神经网络与所述生成神经网络一起构成一组对抗网络。所述鉴别神经网络利用若干个卷积层和池化层提取输入的图像的内容特征，并减少特征图像的尺寸，用于下一层卷积层进一步提取图像特征。再利用全连接层和激活层处理图像特征，最终输出作为输入图像是否具有转换特征的鉴别标签。所述全连接层具有和卷积神经网络相同的结构，只是用标量值替换了卷积核。所述激活层通常为RELU或者sigmoid函数。在本发明实施例中，鉴别神经网络的具体结构如图7所示，其中激活层为sigmoid函数，最终输出鉴别标签。在对抗网络中，生成神经网络将输入的图像从效果M转换成具有效果N的输出图像，所述鉴别神经网络判断输出图像是否具有效果N的特征，并输出鉴别标签。例如，若判断输出图像具有效果N的特征则输出接近于“1”，若判断输出图像不具有效果N的特征则输出“0”。通过训练，生成神经网络逐渐生成使得鉴别神经网络输出“1”的输出图像，鉴别神经网络逐渐可以更准确的判断输出图像是否具有转换特征，两者同步训练，互相对抗，以获得更优的参数。图8示出了训练所述鉴别神经网络的流程图，图9示出了训练所述鉴别神经网络的框图。下面，将结合图8和图9具体描述训练所述鉴别神经网络的过程。如图8所示，在步骤S810，利用生成神经网络根据第二训练图像I2生成第一样本图像R2，所述第二训练图像I2可以与图1中所示的输入图像相同，也可以不同，其用于训练所述鉴别神经网络，并且不具有预期的图像转换特征。此过程与图1中利用所述生成神经网络根据输入图像生成输出图像的步骤相同，在此不再赘述。接下来，在步骤S820，从训练数据库获取第二样本图像R3，所述第二样本图像中包含预期的图像转换特征。所述训练数据库中的样本图像包含预期的转换特征，例如，其可以是一组梵高的绘画作品，则均具有相似的创作、色彩、构图等方面的特征，使得经过训练的生成神经网络能将输入图像转化为具有相同特征的输出图像。在步骤S830，利用上述鉴别神经网络鉴别所述第一样本图像R2和所述第二样本图像R3是否具有转换特征，并输出鉴别标签。应了解，所述第二样本图像R3因天然带有“真”标签而作为“真样本”，而所述第一样本图像R2因由生成神经网络生成而天然带有“假”标签，作为“假样本”。最后，在步骤S840，利用第二损失计算单元根据鉴别标签训练所述鉴别神经网络。如图9所示，所述第二损失计算单元包括：第二损失计算器和优化器。在所述图像处理方法中，利用第二损失计算器根据所述第一样本图像R2的鉴别标签和所述第二样本图像R3的鉴别标签按照第二损失函数计算所述鉴别神经网络的损失值，其中，所述第二损失函数为鉴别神经网络损失函数；利用优化器根据所述鉴别神经网络的损失值优化所述鉴别神经网络的参数，其中，该参数包括所述鉴别神经网络中卷积网络的卷积核和偏置。所述第一样本图像R2为利用生成神经网络从效果M转换为效果N得到的输出图像，相当于“假”样本。从训练数据库获取的第二样本图像R3为具有效果N的“真”样本。利用鉴别神经网络对所述R2和R3进行是否具有效果N的判断，输出鉴别标签。所述第二损失计算函数包括鉴别神经网络损失函数：L_D＝-Ex～Pdatax[logDx]-Ez～Pzz[1-logDGz]其中，E为取平均处理，Pdata为使得鉴别神经网络输出为1的图像集合，即具备目标转换特征的训练图像，x为属于Pdata集合的图像，例如，第二样本图像。Pz为生成神经网络的输入图像集合，z为属于Pz集合的图像，例如，第一训练图像。D为鉴别神经网络，G为生成神经网络，其中，Dx表示为将图像x经过鉴别神经网络的处理，利用该鉴别神经网络输出图像x的鉴别标签。Gz表示为将图像z经过生成神经网络的处理，即利用该生成神经网络根据图像x生成输出图像，DGz表示为将经过生成神经网络处理后的输出图像经过鉴别神经网络的处理，输出该输出图像是否具备转换特征的鉴别标签。所述鉴别神经网络由第二损失计算器按照L_D计算所述鉴别神经网络的损失值，并利用优化器根据损失值优化所述鉴别神经网络的参数，该参数包括鉴别神经网络网络中卷积网络的卷积核和偏置。经过训练的所述生成神经网络，具有优化后的参数，可以用于实现图像转换处理，利用输入图像生成具有预期的转换特征的输出图像。经过训练的所述鉴别神经网络，具有优化后的参数，可以用于判断输入的图像是否具有预期的转换特征。此外，本发明中利用损失计算单元，根据损失函数对所述生成神经网络以及鉴别神经网络进行训练，系统简单，更易于训练。并且，通过在生成神经网络中的不同处理层级之间建立跨层级连接，从而保证输出的转换图像与输入图像具有一致性，即转换后的图像既具有转换特征，又包括足够的原始图像信息，避免在图像处理过程中丢失大量的原图信息。本发明实施例还提供一种图像处理装置，其可以实现上述图像处理方法。所述图像处理装置的示意性框图如图10所示，其包括生成神经网络模块。需要注意的是，图10中所示的图像处理装置的结构只是示例性的，而非限制性的，根据实际应用需要，该图像处理装置还可以具有其他组件。所述生成神经网络模块可以包括上述生成神经网络。本发明实施例提供的图像处理装置利用生成神经网络模块对输入图像进行图像转换处理，以输出转换后的输出图像。所述图像处理装置还可以包括训练神经网络模块，所述训练神经网络模块用于根据所述生成神经网络模块的输入图像和输出图像来训练所述生成神经网络模块，从而使得输出图像具备预期的图像特征。在所述生成神经网络模块中，通过在生成神经网络中处于不同处理层级之间建立跨层级连接，使得生成神经网络模块在图像转换处理的过程中保留了输入图像的原始信息，从而使得输出的转换图像既包括转换特征，又能保留原图信息，保证图像转换效果。所述生成神经网络模块中每个处理层级根据图像处理的需要可以包括卷积网络、下采样层、上采样层、标准化层中的至少一部分。其中，所述下采样层与所述上采样层的个数相等。在本发明实施例中，所述生成神经网络模块根据输入图像进行图像转换处理，以输出转换图像特征后的输出图像。所述训练神经网络模块，用于根据第一训练图像和第一训练输出图像训练所述生成神经网络模块。其中，所述生成神经网络模块根据所述第一训练图像I1输出图像转换后的第一训练输出图像R1，所述训练神经网络模块基于所述第一训练图像I1、第一训练输出图像R1训练所述生成神经网络模块。该训练旨在根据生成神经网络模块的处理结果，优化该网络中的参数，使得其可以完成预期的图像转换处理。在本发明实施例中，所述训练生成神经网络模块包括鉴别神经网络模块和第一损失计算单元，所述鉴别神经网络模块中包含上述鉴别神经网络。其中，所述鉴别神经网络模块用于输出所述第一训练输出图像R1是否具有转换特征的鉴别标签。所述第一损失计算单元用于根据所述第一训练图像I1、第一训练输出图像R1和鉴别标签计算所述生成神经网络模块的损失值，优化所述生成神经网络模块的参数。所述第一损失计算单元包括分析网络、第一损失计算器和优化器。其中，所述分析网络用于输出所述第一训练图像I1和第一训练输出图像R1的内容特征。所述第一损失计算器用于根据分析网络输出的内容特征以及所述第一训练输出图像R1的鉴别标签按照第一损失函数计算所述生成神经网络模块的损失值。其中，所述第一损失函数包括内容损失函数、生成神经网络损失函数以及标准化损失函数中的至少一个。所述优化器用于根据所述生成神经网络模块的损失值优化所述生成神经网络模块的参数，其中，该参数所述生成神经网络模块中卷积网络的卷积核和偏置，所述卷积核和偏置可以决定生成神经网络中的跨层级连接的使能情况。根据本发明实施例，上述图像处理装置中的所述训练神经网络模块还用于根据所述鉴别神经网络模块的鉴别标签训练所述鉴别神经网络模块。上述输入图像作为第二训练图像I2，所述输出图像作为第一样本图像R2，所述训练数据库中的训练图像作为第二样本图像R3。所述鉴别神经网络模块根据所述第一样本图像R2、第二样本图像R3输出鉴别标签。所述训练神经网络模块还包括第二损失计算单元，用于根据所述第一样本图像R2的鉴别标签和所述第二样本图像R3的鉴别标签训练所述鉴别神经网络模块。所述第二损失计算单元包括第二损失计算器和优化器。其中，所述第二损失计算单元用于根据所述第一样本图像R2的鉴别标签和所述第二样本图像R3的鉴别标签按照第二损失函数计算所述鉴别神经网络模块的损失值，其中，所述第二损失函数为鉴别神经网络模块中鉴别神经网络的损失函数。所述优化器用于根据所述鉴别神经网络模块的损失值优化所述鉴别神经网络模块的参数，其中，该参数包括所述鉴别神经网络模块中卷积网络的卷积核和偏置。经过训练的生成神经网络模块可以按照训练进行图像转换处理，以生成可以够使鉴别神经网络模块输出为“1”的输出图像，即鉴别神经网络模块判断所述输出图像具有转换特征。经过训练的鉴别神经网络模块可以按照训练更准确的判断由生成神经网络模块输出的输出图像是否具有转换特征。本发明实施例提供的图像处理装置中包括在不同处理层级之间建立跨层级连接的生成神经网络模块。根据训练数据库中的图像以及损失函数对所述生成神经网络模块进行训练，通过优化神经网络中的参数，使得经过训练的生成神经网络模块既能输出具有预期转换特征的输出图像，又保留了输入图像中的原始信息，保证输出图像保持与输入图像的一致性，系统简单，易于训练，并且具有较大的灵活性。本发明实施例还提供了一种图像处理设备，其结构框图如图11所示，包括处理器1102和存储器1104。应当注意，图11中所示的图像处理设备的结构只是示例性的，而非限制性的，根据实际应用需要，该图像处理设备还可以具有其他组件。在本发明的实施例中，处理器1102和存储器1104之间可以直接或间接地互相通信。处理器1102和存储器1104等组件之间可以通过网络连接进行通信。网络可以包括无线网络、有线网络、和或无线网络和有线网络的任意组合。网络可以包括局域网、互联网、电信网、基于互联网和或电信网的物联网InternetofThings、和或以上网络的任意组合等。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信，无线网络例如可以采用3G4G5G移动通信网络、蓝牙、Zigbee或者WiFi等通信方式。本发明对网络的类型和功能在此不作限制。处理器1102可以控制图像处理装置中的其它组件以执行期望的功能。处理器1102可以是中央处理单元CPU、张量处理器TPU或者图形处理器GPU等具有数据处理可以力和或程序执行可以力的器件。中央处理器CPU可以为X86或ARM架构等。GPU可以单独地直接集成到主板上，或者内置于主板的北桥芯片中。GPU也可以内置于中央处理器CPU上。由于GPU具有强大的图像处理可以力。存储器1104可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和或非易失性存储器。易失性存储器例如可以包括随机存取存储器RAM和或高速缓冲存储器cache等。非易失性存储器例如可以包括只读存储器ROM、硬盘、可擦除可编程只读存储器EPROM、便携式紧致盘只读存储器CD-ROM、USB存储器、闪存等。在存储器1104上可以存储一个或多个计算机可读代码或指令，处理器1102可以运行所述计算机指令，以执行上述图像处理方法或实现上述图像处理装置。关于所述图像处理方法和所述图像处理装置的详细描述可以参考本说明书中关于图像处理方法和处理装置的相关描述，在此不再赘述。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如图像数据集以及应用程序使用和或产生的各种数据诸如训练数据等。以上所述仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，本发明的保护范围应以所述权利要求的保护范围为准。

权利要求：1.一种图像处理方法，包括：获取输入图像；利用生成神经网络根据输入图像对所述输入图像进行图像转换处理，以输出转换后的输出图像，其中，所述生成神经网络中包括多个处理层级，其中将第i处理层级的输出结果输入至第i+1处理层级和第j处理层级，所述第j处理层级还接收第j-1处理层级的输出结果，所述第j-1处理层级的输出结果与第i处理层级的输出结果具有相同的尺寸，其中：i小于j-1，i和j为正整数。2.根据权利要求1所述的图像处理方法，其中：所述生成神经网络的多个处理层级中的每个处理层级包括卷积网络，所述多个处理层级中的至少一部分处理层级还包括下采样层、上采样层和标准化层中的至少一个。3.根据权利要求2所述的图像处理方法，其中：在所述生成神经网络中，所述下采样层的个数与所述上采样层的个数相等。4.根据权利要求1所述的图像处理方法，其中所述输入图像作为第一训练图像，所述输出图像作为第一训练输出图像，所述图像处理方法还包括：基于所述第一训练图像、第一训练输出图像训练所述生成神经网络。5.根据权利要求4所述的图像处理方法，其中，训练所述生成神经网络包括：将所述第一训练输出图像输入至鉴别神经网络，输出所述第一训练输出图像是否具有转换特征的鉴别标签；利用第一损失计算单元根据所述第一训练图像、第一训练输出图像和鉴别标签计算所述生成神经网络的损失值，优化所述生成神经网络的参数。6.根据权利要求5所述的图像处理方法，其中，所述第一损失计算单元包括分析网络、第一损失计算器和优化器，并且利用第一损失计算单元优化所述生成神经网络的参数包括：利用所述分析网络输出所述第一训练图像和第一训练输出图像的内容特征；利用所述第一损失计算器根据分析网络输出的内容特征以及所述第一训练输出图像的鉴别标签按照第一损失函数计算所述生成神经网络的损失值；利用所述优化器根据所述生成神经网络的损失值优化所述生成神经网络的参数，其中，该参数包括所述生成神经网络中卷积网络的卷积核和偏置。7.根据权利要求6所述的图像处理方法，其中：所述第一损失函数包括内容损失函数、生成神经网络损失函数和标准化损失函数中的至少一个。8.根据权利要求1所述的图像处理方法，其中，所述输入图像作为第二训练图像，所述输出图像作为第一样本图像，所述图像处理方法还包括：从训练数据库获取第二样本图像；利用所述鉴别神经网络输出所述第一样本图像和所述第二样本图像是否具有转换特征的鉴别标签；利用第二损失计算单元根据所述第一样本图像的鉴别标签和所述第二样本图像的鉴别标签训练所述鉴别神经网络。9.根据权利要求8所述的图像处理方法，其中，所述第二损失计算单元包括第二损失计算器和优化器，并且利用第二损失计算单元训练所述鉴别神经网络包括：利用所述第二损失计算器根据所述第一样本图像的鉴别标签和所述第二样本图像的鉴别标签按照第二损失函数计算所述鉴别神经网络的损失值，其中，所述第二损失函数包括鉴别神经网络损失函数；利用所述优化器根据所述鉴别神经网络的损失值优化所述鉴别神经网络的参数，其中，该参数包括所述鉴别神经网络中卷积网络的卷积核和偏置。10.根据权利要求8所述的图像处理方法，其中，所述训练数据库中包括具有转换特征的样本图像。11.一种图像处理装置，包括：生成神经网络模块，用于根据输入图像对所述输入图像进行图像转换处理，以输出转换后的输出图像，其中：所述生成神经网络模块中包括多个处理层级，其中第i处理层级的输出结果输入至第i+1处理层级和第j处理层级，所述第j处理层级还接收第j-1处理层级的输出结果，所述第j-1处理层级的输出结果与第i处理层级的输出结果具有相同的尺寸，其中：i小于j-1，i和j为正整数。12.根据权利要求11所述的图像处理装置，其中，所述生成神经网络模块中的每个处理层级包括卷积网络，所述多个处理层级中的至少一部分处理层级还包括下采样层、上采样层和标准化层中的至少一个，其中：在所述生成神经网络模块中，所述下采样层的个数与所述上采样层的个数相等。13.根据权利要求11所述的图像处理装置，其中所述输入图像作为第一训练图像，所述输出图像作为第一训练输出图像，所述图像处理装置还包括：训练神经网络模块，用于根据第一训练图像和第一训练输出图像训练所述生成神经网络模块，其中所述训练生成神经网络模块包括：鉴别神经网络模块，用于输出所述第一训练输出图像是否具有转换特征的鉴别标签；第一损失计算单元，用于根据所述第一训练图像、第一训练输出图像和鉴别标签计算所述生成神经网络模块的损失值，优化所述生成神经网络模块的参数。14.根据权利要求13所述的图像处理装置，其中，所述第一损失计算单元包括：分析网络，用于输出所述第一训练图像和第一训练输出图像的内容特征；第一损失计算器，用于根据分析网络输出的内容特征以及所述第一训练输出图像的鉴别标签按照第一损失函数计算所述生成神经网络模块的损失值，其中，所述第一损失函数包括内容损失函数、生成神经网络损失函数和标准化损失函数中的至少一个；以及优化器，用于根据所述生成神经网络模块的损失值优化所述生成神经网络模块的参数，其中，该参数包括所述生成神经网络模块中卷积网络的卷积核和偏置。15.根据权利要求13所述的图像处理装置，其中，所述训练神经网络模块还用于根据所述鉴别神经网络模块的鉴别标签训练所述鉴别神经网络模块，其中，所述输入图像作为第二训练图像，所述输出图像作为第一样本图像，从训练数据库中获取的图像作为第二样本图像，所述鉴别神经网络模块根据所述第一样本图像、第二样本图像输出鉴别标签，其中，所述训练神经网络模块还包括：第二损失计算单元，用于根据所述第一样本图像的鉴别标签和所述第二样本图像的鉴别标签训练所述鉴别神经网络模块。16.根据权利要求15所述的图像处理装置，其中，所述第二损失计算单元包括：第二损失计算器，用于根据所述第一样本图像的鉴别标签和所述第二样本图像的鉴别标签按照第二损失函数计算所述鉴别神经网络模块的损失值，其中，所述第二损失函数包括鉴别神经网络模块损失函数；以及优化器，用于根据所述鉴别神经网络模块的损失值优化所述鉴别神经网络模块的参数，其中，该参数包括所述鉴别神经网络模块中卷积网络的卷积核和偏置。17.根据权利要求15所述的图像处理装置，其中，所述训练数据库中包括具有转换特征的样本图像。18.一种图像处理设备，包括：一个或多个处理器；一个或多个存储器，其中，所述存储器存储有计算机可读代码，所述计算机可读代码当由所述一个或多个处理器运行时执行如权利要求1-10所述的图像处理方法，或实现如权利要求11-17所述的图像处理装置。

百度查询： 京东方科技集团股份有限公司 图像处理方法、处理装置以及处理设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD