申请/专利权人：富士通株式会社

申请日：2017-04-26

公开（公告）日：2020-10-23

公开（公告）号：CN108810319B

主分类号：H04N5/21(20060101)

分类号：H04N5/21(20060101);G06T5/00(20060101);G06F16/50(20190101);G06F16/583(20190101)

优先权：

专利状态码：有效-授权

法律状态：2020.10.23#授权;2018.12.07#实质审查的生效;2018.11.13#公开

摘要：本公开涉及图像处理装置和图像处理方法。根据一个实施例的图像处理装置包括选取部分、确定部分以及估计部分。选取部分被配置为根据预定规则选取目标图像中的代表块。确定部分被配置为基于第一训练数据集确定代表块针对多个预定模糊核的分类结果，其中第一训练数据集包括清晰训练图像以及针对多个预定模糊核中的每个生成的模糊训练图像。估计部分被配置为根据代表块的分类结果估计目标图像的模糊核。

主权项：1.一种图像处理装置，包括：选取部分，被配置为根据预定规则选取目标图像中的代表块；确定部分，被配置为基于第一训练数据集确定所述代表块针对多个预定模糊核的分类结果，其中所述第一训练数据集包括清晰训练图像以及针对所述多个预定模糊核中的每个生成的模糊训练图像；以及估计部分，被配置为根据所述代表块的所述分类结果估计所述目标图像的模糊核。

全文数据：图像处理装置和图像处理方法技术领域[0001]本公开一般涉及图像处理，更具体地，涉及与图像去模糊有关的图像处理装置和图像处理方法。背景技术[0002]随着诸如移动电话或个人计算机及其应用的发展，导致诸如数字文档图像等大量图像的产生。由于多种原因，图像中可能存在模糊的现象。例如，在获取图像的装置为手持摄像装置时，由于抖动可能造成获取的图像的散焦。又例如，在拍摄图像时，如果图像拍摄装置与拍摄对象之间存在相对运动，也可能造成图像的模糊，这在光照水平较低以及曝光时间较长的情况下尤为严重。此外，还存在以下情况:摄像机聚焦在拍摄对象的一部分处，而未聚焦的区域将会模糊。图像去模糊处理旨在由模糊图像恢复清晰的图像。发明内容[0003]在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。[0004]根据一个实施例，提供一种图像处理装置，其包括选取部分、确定部分以及估计部分。选取部分被配置为根据预定规则选取目标图像中的代表块。确定部分被配置为基于第一训练数据集确定代表块针对多个预定模糊核的分类结果，其中第一训练数据集包括清晰训练图像以及针对多个预定模糊核中的每个生成的模糊训练图像。估计部分被配置为根据代表块的分类结果估计目标图像的模糊核。[0005]根据另一个实施例，提供一种图像处理方法。该方法包括根据预定规则选取目标图像中的代表块的步骤。该方法还包括基于第一训练数据集确定代表块针对多个预定模糊核的分类结果的步骤，其中第一训练数据集包括清晰训练图像以及针对多个预定模糊核中的每个生成的模糊训练图像。该方法还包括根据代表块的分类结果估计目标图像的模糊核的步骤。[0006]通过上述实施例的图像处理，能够高效地估计图像的模糊核，进而例如有利于有针对性地进行图像的去模糊。附图说明[0007]本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：[0008]图1是示出根据本发明一个实施例的图像处理装置的配置示例的框图；[0009]图2是示出根据另一个实施例的图像处理装置的配置示例的框图；[0010]图3是示出根据本发明一个实施例的图像处理方法的过程示例的流程图；[0011]图4是用于说明本发明的一个示例实施例中的图像处理的总体过程的示意图；[0012]图5是用于说明代表块的选取的图；[0013]图6是用于说明分类网络的示意图；[0014]图7示出了用于去模糊处理的模型的学习过程的示例；[0015]图8示出了去模糊处理的示例结果；[0016]图9是示出根据本发明一个实施例的图像处理装置的配置示例的框图；以及[0017]图10是示出实现本公开的方法和设备的计算机的示例性结构的框图。具体实施方式[0018]下面将参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。[0019]图1示出了根据本发明一个实施例的图像处理装置100的配置示例。图像处理装置例如可以被实现为个人计算机例如桌上型计算机、膝上型计算机等）、工作站、移动终端诸如智能电话、平板计算机、便携式游戏终端等）、游戏机、电视机、或者摄像装置例如摄像机、监视器等。然而，本发明实施例的应用范围不限于以上列举的方面，而是可以用于任何能够直接地或从其他设备获取图像并且对图像进行处理的装置。[0020]本实施例的总体目的在于针对给定目标图像，高效地提供对于该目标图像的模糊核blurkernel的估计。根据具体应用，目标图像可以包括各种类型的图像，例如但不限于文档图像，在目标图像中可能由于运动、散焦等原因而存在模糊。[0021]如图1所示，根据本实施例的图像处理装置100包括选取部分110、确定部分130以及估计部分150。接下来，分别结合具体实施例给出选取部分110、确定部分130以及估计部分150的配置的描述。[0022]选取部分110被配置为根据预定规则选取目标图像中的代表块。[0023]选取代表块的目的在于仅针对代表块而非针对整个图像进行处理以估计图像的模糊核。所选取的代表块为目标图像中对于模糊核而言具有代表性的块。根据具体应用，可以采用不同的预定规则来选取代表块。例如，可以采用基于图像的纹理特征或颜色特征等设置的预定规则来选取代表块。[0024]根据一个实施例，选取部分110可以被配置为生成目标图像的梯度图，以及将与梯度图中满足以下条件的块相对应的块确定为代表块:在该块中，梯度值大于第一阈值的像素所占的比例高于第二阈值。[0025]参照图5的示例更详细地说明代表块提取的示例方式。图5中的I指示输入的模糊图像，G指示由图像I生成的梯度图。[0026]首先，根据输入模糊图像I生成梯度图G;[0027]接下来，从输入图像I中截取预定尺寸mXn像素的子图像Is以及从梯度图G中截取与子图像Is相对应的子梯度图Gs;[0028]对于子梯度图Gs，判断其是否满足以下条件：[0029]nnzmax0，Gsu，v-TksXmXn，其中ue[l，m]，ve[l，n]，Gsu，v表示子图像Gs中的位置u，v处的梯度值，T为梯度阈值，ks表示比例阈值，nnzX表示不等于0的X的数量。上述条件的含义为，子梯度图Gs中梯度值大于阈值T的像素所占的比例高于阈值ks。可以根据具体应用设置上述各阈值的取值。[0030]如果当前子梯度图Gs满足上述条件，则将相应的子图像Is选为代表块。[0031]另外，根据一个实施例，选取部分110可以被配置为针对随机提取的块进行选取代表块的处理，直到找出预定数量个代表块。[0032]仍以上述示例过程为例，可以循环进行子图像Is的选取以及针对相应子梯度图Gs的判断过程，直到获得预定数量例如3个代表块。在其他实施例中，可以根据识别准确度的要求以及处理速度的要求等设置代表块的数量和大小等。[0033]继续参照图1，确定部分120被配置为基于第一训练数据集确定代表块针对多个预定模糊核的分类结果。第一训练数据集可以包括清晰训练图像以及针对多个预定模糊核中的每个生成的模糊训练图像。[0034]根据具体应用，预定模糊核可以包括与多种模糊类型相对应的模糊核。作为示例而非限制，预定模糊核可以包括与运动模糊和散焦模糊相对应的模糊核。[0035]更具体地，与运动模糊相对应的模糊核可以包括分别与多个预定运动长度以及多个预定运动角度相对应的模糊核，并且与散焦模糊相对应的模糊核可以包括分别与多个预定散焦半径相对应的模糊核。[0036]在一个示例中，假设运动模糊核的运动长度Ie〇，14]像素，运动角度θε[0°，180°]，散焦模糊核的焦半径re[0，6]像素。可以以2为间隔以I=1〜13，以30°为间隔以Θ=15°〜165°，以及以r=3和5生成离散的模糊核。[0037]可以从清晰训练图像中截取M个大小为mXn的图像块以构成集合P，从P中随机选择NN〈M个图像块，并且用第i个模糊核进行模糊。每个模糊核被用于生成N个模糊图像块，以作为该模糊核的类型的N个样本。利用清晰训练图像块以及相应的模糊图像块，可以通过训练得到用于确定图像块的模糊类型的分类器。[0038]根据一个实施例，确定部分120可以基于第一训练数据集获得针对多个预定模糊核的卷积神经网络CNN分类器，以及利用所获得的分类器确定代表块的分类结果。[0039]训练CNN分类器的过程即使用训练数据集学习分类网络的参数，以获得用于估计模糊核的分类器。[0040]接下来，参照图6说明CNN分类器的示例。传统分类器网络包括6个层，第一层Cl为“卷积+修正线性单元（Conv+ReLU”，其用于低层次特征提取。此后是最大池化Max-pooling层M2，最大池化是一种形式的非线性下采样，其通过排除非最大值来减少针对上层的计算，并且还提供一种形式的平移不变性。此后，是另一个“卷积+修正线性单元”层C3，其用于高层次的特征提取。之后是另一个最大池化层M4，其用于下采样。接下来，是“全连接+修正线性单元Fullyconn.+ReLU”层F5，其用于特征拟合。最后，是柔性化最大值Soft-max层S6，其用于预测每个类的可能性。[0041]在利用分类器获得的每个代表块的模糊核分类结果中，可以包含针对多个预定模糊核类型中的每个模糊核类型的可能性。[0042]继续参照图I，在确定部分120确定了代表块的分类结果的情况下，估计部分130可以根据代表块的分类结果估计目标图像的模糊核。[0043]例如，在只有一个代表块的情况下，可以将目标图像的模糊核估计为该代表块的分类结果中指示的可能性最大的模糊核。此外，在有多个代表块的情况下，可以综合考虑多个代表块的分类结果来估计目标图像的模糊核。[0044]根据一个实施例，在选取部分110根据预定规则选取目标图像中的多个代表块的情况下，估计部分130被配置为基于针对多个代表块确定的多组分类结果，通过投票方式估计目标图像的模糊核。[0045]更具体地，投票方式可以包括:针对多个代表块中的每个，确定该代表块对应于每个预定模糊核的概率;以及将概率之和最大的预定模糊核确定为图像的模糊核。[0046]接下来，为了便于说明，仍然以从目标图像中选取3个代表块并且应用CNN分类器的情况为例描述通过投票方式估计目标图像的模糊核的示例方式。然而，应当理解，该方式也可以适用于其他代表块数量以及其他分类器的情况。[0047]对从目标图像中提取的代表块应用所训练的CNN，以得到分类结果。对于每个代表块，分类结果指示该代表块属于多个预定模糊核中的每个的可能性。因此，对于三个代表块，可以得到三组分类结果。[0048]将分类结果分别记为1?1、1?2和1?3，其中，1^={1，1，（2，？3，...，〇，？认}，其中，K表示预定模糊核的种类数量，表示第i个代表块属于第j个模糊核的可能性。[0049]可以将满足下式的第k个模糊核估计为目标图像的模糊核：[0051]即，将代表块的分类结果指示的概率之和最大的预定模糊核确定为目标图像的模糊核。[0052]以上参照具体示例说明了根据本发明实施的图像处理装置，应理解，本发明不限于以上示例中的具体细节。[0053]利用上述实施例的图像处理，通过对目标图像中的代表块而不是对整个目标图像进行处理，能够高效地估计图像的模糊核。[0054]此外，通过选取多个代表块并且以投票的方式估计模糊核，能够进一步提高模糊核估计的准确度。[0055]所估计的模糊核指示了目标图像的模糊类型，可以以多种方式利用该信息。例如，根据一个实施例，可以利用所估计的模糊核对目标图像进行去模糊处理，从而能够有针对性地对模糊图像进行恢复处理。[0056]如图2所示，根据本实施例的图像处理装置200包括选取部分210、确定部分230、估计部分250以及处理部分270。选取部分210、确定部分230和估计部分250的配置分别与前面的实施例中描述的选取部分110、确定部分130以及估计部分150类似，在此省略其重复说明。[0057]处理部分270可以被配置为利用与估计部分250所估计的模糊核相对应的去模糊模型对目标图像进行去模糊处理。[0058]根据一个实施例，与所估计的模糊核相对应的去模糊模型可以包括利用第二训练数据集得到的卷积神经网络CNN模型，其中第二训练数据集包括清晰训练图像以及与所估计的模糊核相对应的模糊训练图像。[0059]可以预先针对前述多个预定模糊核中的每个类型的模糊核训练去模糊模型，并且在去模糊处理时根据目标图像的所估计的模糊核来选用相应的去模糊模型。[0060]另外，与所估计的模糊核相对应的模糊训练图像可以包括:利用在与所估计的模糊核相对应的预定范围内随机选取的模糊核生成的模糊训练图像。[0061]例如，对于核长度1=3和角度θ=15的运动模糊，可以使用从1=2到4以及θ=〇°到30°的运动核随机地生成训练图像块的模糊图像。可以准备大量例如多达10万对训练图像块。[0062]如前所述，去模糊模型可以是在进行去模糊处理之前预先训练的，处理部分270可以例如从存储装置获取预先训练的去模糊模型中与估计部分250估计的目标图像的模糊核相对应的去模糊模型，并且利用该去模糊模型对目标图像进行去模糊处理。[0063]此外，根据一个实施例，CNN模型包括多层网络模型，并且，可以将利用多层网络模型得到的最终特征图作为去模糊处理的结果。[0064]作为示例，可以利用仅具有卷积和修正线性单元的15层网络模型进行的去模糊处理。在本示例中，模糊图像的图像块大小例如为66X66,用于填充效应paddingeffect的标签图像的图像块大小例如为16X16。[0065]下表示出了该示例15层网络模型中每一层对应的卷积核大小以及卷积特征图数目的配置。[0067]在估计部分250将目标图像的模糊核估计为多个预定模糊核中的第k个模糊核的情况下，对模糊图像应用对应于第k个模糊核的第k个去模糊CNN模型，以恢复该目标图像。[0068]图7示出了用于去模糊处理的多层网络模型的示例学习过程。该过程利用作为训练数据的模糊快和清晰快，并且包含N例如多达30万次迭代，并且每执行预定数量例如5000次迭代后进行对参数即模型）的存储。[0069]图8示出了利用上述多层网络模型得到的去模糊处理的结果示例，其中左图为模糊的文档图像，其对应于前述目标图像，右图为作为去模糊处理的结果的恢复图像。[0070]前面描述了对目标图像的模糊和进行估计的实施例以及进一步利用所估计的模糊和进行去模糊处理的实施例。接下来，参照图4说明作为示例实施例的图像处理的整体过程，以作为对于上述示例实施方式的总结。该图像处理过程的输入图像为模糊图像，输出图像为经恢复的清晰图像。[0071]需要指出，在图4所示的整体过程中包含模糊核估计阶段以及去模糊阶段的处理，然而本发明实施例也可以仅包括进行模糊核估计的处理。此外，该示例过程中包含了前述实施例中涉及的一些具体配置和处理，而本发明实施例不限于这些具体实现方式。[0072]在模糊核估计阶段中，作为示例，从输入模糊图像中随机提取3个图像块作为输入图像的代表块，并且将代表块提供至CNN分类器，以生成三组分类结果。基于这些分类结果，通过投票将第k种模糊核选择为输入图像的模糊核。[0073]在去模糊阶段中，模糊图像被提供至与第k个模糊核相对应的第k个CNN去模糊模型，以恢复出清晰的图像。[0074]通过上述去模糊处理，能够在不需要针对整个输入图像进行模糊核估计以及进行从粗到精迭代的情况下，在保持背景亮度的情况下对真实的模糊图像进行去模糊。[0075]因此，与已有的去模糊方式相比，根据本发明实施例的图像处理可以具有以下优占.[0076]不需要模糊图像的具体特征以及确切的模糊核估计；以及[0077]能够在保持图像的背景亮度的情况下高效地对运动模糊和散焦模糊等进行去模糊。[0078]在前面针对根据本发明实施例的图像处理装置的描述过程中，显然也公开了一些处理和方法。接下来，在不重复前面已经描述过的细节的情况下，给出对于根据本发明实施例的图像处理方法的描述。[0079]如图3所示，根据一个实施例的图像处理方法包括以下步骤：[0080]在S310,根据预定规则选取目标图像中的代表块；[0081]在S320,基于第一训练数据集确定代表块针对多个预定模糊核的分类结果，其中第一训练数据集包括清晰训练图像以及针对多个预定模糊核中的每个生成的模糊训练图像；以及[0082]S330,根据代表块的分类结果估计目标图像的模糊核。[0083]此外，虽然图中未示出，根据一个实施例，图像处理方法还可以包括利用与所估计的模糊核相对应的去模糊模型对目标图像进行去模糊处理的步骤。[0084]另外，在步骤S320中，预定模糊核可以包括与运动模糊和散焦模糊相对应的模糊核。与运动模糊相对应的模糊核可以包括分别与多个预定运动长度以及多个预定运动角度相对应的模糊核。与散焦模糊相对应的模糊核可以包括分别与多个预定散焦半径相对应的模糊核。[0085]在步骤S310中，选取代表块可以包括根据预定规则选取目标图像中的多个代表块。相应地，S330中估计目标图像的模糊核的步骤可以包括基于针对多个代表块确定的多组分类结果，通过投票方式估计目标图像的模糊核。[0086]投票方式可以包括:针对多个代表块中的每个，确定该代表块对应于每个所述预定模糊核的概率;以及将概率之和最大的预定模糊核确定为目标图像的模糊核。[0087]此外，在步骤S310中选取所述代表块的步骤可以包括:生成所述目标图像的梯度图；以及将与梯度图中满足以下条件的块相对应的块确定为所述代表块:在该块中，梯度值大于第一阈值的像素所占的比例高于第二阈值。[0088]步骤S310可以包括:针对随机提取的块进行选取代表块的步骤，直到找出预定数量个代表块。[0089]另外，在S320中，确定代表块的分类结果的步骤可以包括:基于第一训练数据集获得针对多个预定模糊核的卷积神经网络分类器；以及利用所获得的分类器确定代表块的分类结果。[0090]在去模糊处理的步骤中，与所估计的模糊核相对应的去模糊模型可以包括:利用第二训练数据集得到的卷积神经网络模型，其中第二训练数据集包括清晰训练图像以及与所估计的模糊核相对应的模糊训练图像。[0091]其中，与所估计的模糊核相对应的模糊训练图像可以包括:利用在与所估计的模糊核相对应的预定范围内随机选取的模糊核生成的模糊训练图像。[0092]此外，卷积神经网络模型可以包括多层网络模型，并且，可以将利用多层网络模型得到的最终特征图作为去模糊处理的结果。[0093]图9示出了根据一个实施例的图像处理装置的配置实例。如图9所示，根据本实施例的图像处理装置900包括处理电路910。处理电路910例如可以实现为特定芯片、芯片组或者中央处理单元CPU等。[0094]处理电路910包括选取单元911、确定单元913和估计单元915。需要指出，虽然附图中以功能块的形式示出了选取单元911、确定单元913和估计单元915,然而应理解，各的功能也可以由处理电路910作为一个整体来实现，而并不一定是通过处理电路910中分立的实际部件来实现。另外，虽然图中以一个框示出处理电路910,然而图像处理装置900可以包括多个处理电路，并且可以将选取单元911、确定单元913和估计单元915的功能分布到多个处理电路中，从而由多个处理电路协同操作来执行这些功能。[0095]选取单元911被配置为根据预定规则选取目标图像中的代表块。确定单元913被配置为基于第一训练数据集确定代表块针对多个预定模糊核的分类结果，其中第一训练数据集包括清晰训练图像以及针对多个预定模糊核中的每个生成的模糊训练图像。估计单元915被配置为根据代表块的分类结果估计目标图像的模糊核。[0096]作为示例，上述方法的各个步骤以及上述装置的各个组成模块和或单元可以实施为软件、固件、硬件或其组合。在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机例如图10所示的通用计算机1000安装构成用于实施上述方法的软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。[0097]在图10中，运算处理单元（S卩CPU1001根据只读存储器ROM1002中存储的程序或从存储部分1008加载到随机存取存储器RAM1003的程序执行各种处理。在RAM1003中，也根据需要存储当CPU1001执行各种处理等等时所需的数据。CHJ1001、R0M1002和RAM1003经由总线1004彼此链路。输入输出接口1005也链路到总线1004。[0098]下述部件链路到输入输出接口1005:输入部分1006包括键盘、鼠标等等）、输出部分1007包括显示器，比如阴极射线管CRT、液晶显示器LCD等，和扬声器等）、存储部分1008包括硬盘等）、通信部分1009包括网络接口卡比如LAN卡、调制解调器等）。通信部分1009经由网络比如因特网执行通信处理。根据需要，驱动器1010也可链路到输入输出接口1005。可拆卸介质1011比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1010上，使得从中读出的计算机程序根据需要被安装到存储部分1008中。[0099]在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1011安装构成软件的程序。[0100]本领域的技术人员应当理解，这种存储介质不局限于图10所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1011。可拆卸介质1011的例子包含磁盘包含软盘注册商标）、光盘包含光盘只读存储器CD-ROM和数字通用盘DVD、磁光盘包含迷你盘MD注册商标）和半导体存储器。或者，存储介质可以是ROM1002、存储部分1008中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。[0101]本发明的实施例还涉及一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。[0102]相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。[0103]在上面对本发明具体实施例的描述中，针对一种实施方式描述和或示出的特征可以用相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。[0104]应该强调，术语“包括包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。[0105]在上述实施例和示例中，采用了数字组成的附图标记来表示各个步骤和或单元。本领域的普通技术人员应理解，这些附图标记只是为了便于叙述和绘图，而并非表示其顺序或任何其他限定。[0106]此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。[0107]尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。[0108]附记1一种图像处理装置，包括：[0109]选取部分，被配置为根据预定规则选取目标图像中的代表块；[0110]确定部分，被配置为基于第一训练数据集确定所述代表块针对多个预定模糊核的分类结果，其中所述第一训练数据集包括清晰训练图像以及针对所述多个预定模糊核中的每个生成的模糊训练图像;以及[0111]估计部分，被配置为根据所述代表块的所述分类结果估计所述目标图像的模糊核。⑴[0112]附记2根据附记1所述的图像处理装置，还包括：[0113]处理部分，被配置为利用与所估计的模糊核相对应的去模糊模型对所述目标图像进行去模糊处理。（2[0114]附记3根据附记1所述的图像处理装置，其中，所述预定模糊核包括与运动模糊和散焦模糊相对应的模糊核。（3[0115]附记4根据附记3所述的图像处理装置，其中，[0116]与运动模糊相对应的模糊核包括分别与多个预定运动长度以及多个预定运动角度相对应的模糊核;并且[0117]与散焦模糊相对应的模糊核包括分别与多个预定散焦半径相对应的模糊核。⑷[0118]附记5根据附记1所述的图像处理装置，其中，所述选取部分被配置为:根据所述预定规则选取所述目标图像中的多个代表块，并且[0119]所述估计部分被配置为:基于针对所述多个代表块确定的多组分类结果，通过投票方式估计所述目标图像的模糊核。（5[0120]附记6根据附记5所述的图像处理装置，其中，所述投票方式包括：[0121]针对所述多个代表块中的每个，确定该代表块对应于每个所述预定模糊核的概率；以及[0122]将所述概率之和最大的预定模糊核确定为所述目标图像的模糊核。[0123]附记7根据附记1所述的图像处理装置，其中，所述选取部分被配置为：[0124]生成所述目标图像的梯度图；以及[0125]将与所述梯度图中满足以下条件的块相对应的块确定为所述代表块:在该块中，梯度值大于第一阈值的像素所占的比例高于第二阈值。（6[0126]附记8根据附记7所述的图像处理装置，其中，所述选取部分被配置为:针对随机提取的块进行选取所述代表块的处理，直到找出预定数量个代表块。[0127]附记9根据附记1所述的图像处理装置，其中，所述确定部分被配置为：[0128]基于所述第一训练数据集获得针对所述多个预定模糊核的卷积神经网络分类器；以及[0129]利用所获得的分类器确定所述代表块的所述分类结果。（7[0130]附记10根据附记2所述的图像处理装置，其中，与所估计的模糊核相对应的去模糊模型包括:利用第二训练数据集得到的卷积神经网络模型，其中所述第二训练数据集包括清晰训练图像以及与所估计的模糊核相对应的模糊训练图像。（8[0131]附记11根据附记10所述的图像处理装置，其中，与所估计的模糊核相对应的模糊训练图像包括:利用在与所估计的模糊核相对应的预定范围内随机选取的模糊核生成的模糊训练图像。[0132]附记12根据附记10所述的图像处理装置，其中，所述卷积神经网络模型包括多层网络模型，并且，将利用所述多层网络模型得到的最终特征图作为所述去模糊处理的结果。⑼[0133]附记13—种图像处理方法，包括：[0134]根据预定规则选取目标图像中的代表块；[0135]基于第一训练数据集确定所述代表块针对多个预定模糊核的分类结果，其中所述第一训练数据集包括清晰训练图像以及针对所述多个预定模糊核中的每个生成的模糊训练图像；以及[0136]根据所述代表块的所述分类结果估计所述目标图像的模糊核。（10[0137]附记14根据附记13所述的图像处理方法，还包括：[0138]利用与所估计的模糊核相对应的去模糊模型对所述目标图像进行去模糊处理。[0139]附记15根据附记13所述的图像处理方法，其中，所述预定模糊核包括与运动模糊和散焦模糊相对应的模糊核。[0140]附记16根据附记13所述的图像处理方法，其中，选取所述代表块的步骤包括:根据所述预定规则选取所述目标图像中的多个代表块，并且[0141]估计所述目标图像的模糊核的步骤包括:基于针对所述多个代表块确定的多组分类结果，通过投票方式估计所述目标图像的模糊核。[0142]附记17根据附记13所述的图像处理方法，其中，选取所述代表块的步骤包括：[0143]生成所述目标图像的梯度图；以及[0144]将与所述梯度图中满足以下条件的块相对应的块确定为所述代表块:在该块中，梯度值大于第一阈值的像素所占的比例高于第二阈值。[0145]附记18根据附记13所述的图像处理方法，其中，确定所述代表块的分类结果的步骤包括：[0146]基于所述第一训练数据集获得针对所述多个预定模糊核的卷积神经网络分类器；以及[0147]利用所获得的分类器确定所述代表块的所述分类结果。[0148]附记19根据附记14所述的图像处理方法，其中，与所估计的模糊核相对应的去模糊模型包括:利用第二训练数据集得到的卷积神经网络模型，其中所述第二训练数据集包括清晰训练图像以及与所估计的模糊核相对应的模糊训练图像。[0149]附记20根据附记19所述的图像处理方法，其中，所述卷积神经网络模型包括多层网络模型，并且，将利用所述多层网络模型得到的最终特征图作为所述去模糊处理的结果D

权利要求：1.一种图像处理装置，包括：选取部分，被配置为根据预定规则选取目标图像中的代表块；确定部分，被配置为基于第一训练数据集确定所述代表块针对多个预定模糊核的分类结果，其中所述第一训练数据集包括清晰训练图像以及针对所述多个预定模糊核中的每个生成的模糊训练图像;以及估计部分，被配置为根据所述代表块的所述分类结果估计所述目标图像的模糊核。2.根据权利要求1所述的图像处理装置，还包括：处理部分，被配置为利用与所估计的模糊核相对应的去模糊模型对所述目标图像进行去模糊处理。3.根据权利要求1所述的图像处理装置，其中，所述预定模糊核包括与运动模糊和散焦模糊相对应的模糊核。4.根据权利要求3所述的图像处理装置，其中，与运动模糊相对应的模糊核包括分别与多个预定运动长度以及多个预定运动角度相对应的模糊核;并且与散焦模糊相对应的模糊核包括分别与多个预定散焦半径相对应的模糊核。5.根据权利要求1所述的图像处理装置，其中，所述选取部分被配置为:根据所述预定规则选取所述目标图像中的多个代表块，并且所述估计部分被配置为:基于针对所述多个代表块确定的多组分类结果，通过投票方式估计所述目标图像的模糊核。6.根据权利要求1所述的图像处理装置，其中，所述选取部分被配置为：生成所述目标图像的梯度图；以及将与所述梯度图中满足以下条件的块相对应的块确定为所述代表块:在该块中，梯度值大于第一阈值的像素所占的比例高于第二阈值。7.根据权利要求1所述的图像处理装置，其中，所述确定部分被配置为：基于所述第一训练数据集获得针对所述多个预定模糊核的卷积神经网络分类器；以及利用所获得的分类器确定所述代表块的所述分类结果。8.根据权利要求2所述的图像处理装置，其中，与所估计的模糊核相对应的去模糊模型包括:利用第二训练数据集得到的卷积神经网络模型，其中所述第二训练数据集包括清晰训练图像以及与所估计的模糊核相对应的模糊训练图像。9.根据权利要求8所述的图像处理装置，其中，所述卷积神经网络模型包括多层网络模型，并且，将利用所述多层网络模型得到的最终特征图作为所述去模糊处理的结果。10.—种图像处理方法，包括：根据预定规则选取目标图像中的代表块；基于第一训练数据集确定所述代表块针对多个预定模糊核的分类结果，其中所述第一训练数据集包括清晰训练图像以及针对所述多个预定模糊核中的每个生成的模糊训练图像；以及根据所述代表块的所述分类结果估计所述目标图像的模糊核。

百度查询： 富士通株式会社 图像处理装置和图像处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD