申请/专利权人：富士胶片株式会社

申请日：2016-08-31

公开（公告）日：2021-11-19

公开（公告）号：CN108140237B

主分类号：G06T5/00(20060101)

分类号：G06T5/00(20060101);H04N1/409(20060101);H04N5/232(20060101)

优先权：["20150929 JP 2015-191762"]

专利状态码：有效-授权

法律状态：2021.11.19#授权;2018.07.03#实质审查的生效;2018.06.08#公开

摘要：本发明提供一种能够不使高亮度被摄体的细节消失而去除雾度减少雾度的影响的图像处理装置以及图像处理方法。本发明的方式中，当输入图像I相对于原始图像J、气辉像素值A、透射率t由I＝J·t+A·1‑t表示时，计算输入图像I的各像素的暗通道值D，使单调减小的值的透射率t与D在0至1范围的像素建立对应关联，并使单调增加的值的透射率t与针对雾度的D在1至Dmax范围的像素建立对应关联，从而生成原始图像J作为校正图像。

主权项：1.一种图像处理装置，其具备：输入图像捕捉单元，捕捉输入图像，所述输入图像由原始图像和叠加于所述原始图像的应去除的去除图像组成，并且将如下相加值设为各像素的像素值，所述相加值为将与各像素对应的1至0范围的透射率设为t时所述原始图像的各像素的像素值乘以t而得到的值、与所述去除图像的各像素的像素值即从1减去t而得的值乘以叠加像素值而得到的值的相加值；叠加像素值计算单元，根据所述输入图像，计算所述叠加像素值；影响推测值计算单元，根据所述输入图像和所述叠加像素值，计算影响推测值，所述影响推测值为推测了所述去除图像对所述输入图像的各像素的影响程度的值，并且表示值从第1极限值越靠近最小值与最大值之间的预先确定的边界值则所述影响程度越大，并且与所述透射率t的值预先建立了对应关联，所述第1极限值为所述最小值与所述最大值中的一方的极限值；以及校正处理单元，根据所述输入图像、所述影响推测值以及所述叠加像素值，对所述输入图像的各像素的像素值实施校正，由此生成从所述输入图像降低了所述去除图像的影响的校正图像，所述校正处理单元为如下单元：对于所述影响推测值在所述第1极限值到所述边界值的范围的像素，以根据作为从1向0减小的值而建立了对应关联的透射率t而得的校正量来实施所述校正，对于所述影响推测值在所述边界值到所述最小值与最大值中不同于所述第1极限值的另一第2极限值的范围的像素，实施至少成为比将透射率t设为0时的像素值的校正量小的校正量的校正。

全文数据：图像处理装置以及图像处理方法技术领域[0001]本发明涉及一种图像处理装置以及图像处理方法，涉及一种去除图像中所含的霭或雾这种雾度的图像处理装置以及图像处理方法。背景技术[0002]用相机拍摄的图像中，景色有时因霭或雾等雾度而发白，雾度叠加于直接反映拍摄目的的被摄体的原始颜色的图像（以下，称为原始图像上，被摄体的可见度有时会由于对比度的下降、整个图像的亮度的上升等而降低。[0003]作为从包含这种雾度的图像（以下，称为校正前图像或输入图像去除雾度的图像处理技术，已知有暗原色先验darkchannelprior这一方法例如，参照专利文献1等）。[0004]暗原色先验基于不存在雾度的图像、尤其大部分户外图像的局部区域内的至少一个像素中，R、G、B各颜色通道中的任一强度值表示极小通常接近0的值这一经验事实。而且，根据该经验事实，包含雾度的校正前图像中各局部区域的各像素的各颜色通道的强度值中的最小值表示各局部区域中雾度的影响程度的大小，通过如使各局部区域中雾度的影响程度的大小成为〇的这种处理来去除雾度。[0005]以往技术文献[0006]专利文献[0007]专利文献1:美国专利第8340461号说明书发明内容[0008]发明要解决的技术课题[0009]为了通过暗原色先验来适当地去除雾度，如上述那样在不存在雾度的图像原始图像）中局部区域内的至少一个像素的一个颜色通道的强度值表示接近0的值这一情况成为前提。[0010]然而，当原始图像中存在高亮度被摄体（图像范围）时，该高亮度的图像范围内的局部区域中，有时在所有像素的所有颜色通道中表示强的强度值。[0011]若针对这种叠加有原始图像和雾度的校正前图像，对高亮度的图像范围也通过与其他图像范围相同的暗原色先验的处理来进行去除雾度的校正，则根据上述情况，在高亮度的图像范围中，无法正确地得到雾度对原始图像的影响程度，并且无关于实际的影响程度而作为雾度的影响程度极大且原始图像的影响程度极小的图像来进行处理。[0012]此时，若想要去除雾度，则存在高亮度的图像范围在校正图像中饱和，从而导致细节亮度和颜色的细微变化消失这一问题。[0013]本发明是鉴于这种情况而完成的，其目的在于提供一种能够不使高亮度被摄体的细节消失而去除雾度减少雾度的影响）的图像处理装置以及图像处理方法。[0014]用于解决技术课题的手段[0015]为了实现上述目的，本发明的一种方式所涉及的图像处理装置具备:输入图像捕捉单元，捕捉输入图像，所述输入图像由原始图像和叠加于原始图像的应去除的去除图像组成，并且将如下相加值设为各像素的像素值，所述相加值为将与各像素对应的1至O范围的透射率设为t时原始图像的各像素的像素值乘以t而得到的值、与去除图像的各像素的像素值即从1减去t而得的值乘以叠加像素值而得到的值的相加值;叠加像素值计算单元，根据输入图像，计算叠加像素值;影响推测值计算单元，根据输入图像和叠加像素值，计算影响推测值，所述影响推测值为推测了去除图像对输入图像的各像素的影响程度的值，并且表示值从第1极限值越靠近最小值与最大值之间的预先确定的边界值则影响程度越大，并且与透射率t的值预先建立了对应关联，所述第1极限值为最小值与最大值中的一个极限值；以及校正处理单元，根据输入图像、影响推测值以及叠加像素值，对输入图像的各像素的像素值实施校正，由此生成从输入图像降低了去除图像的影响的校正图像，校正处理单元为如下单元:对于影响推测值在第1极限值到边界值的范围的像素，以根据作为从1向O减小的值而建立了对应关联的透射率t而得的校正量来实施校正，对于影响推测值在边界值到最小值与最大值中不同于第1极限值的另一第2极限值的范围的像素，实施至少成为比将透射率t设为O时的像素值的校正量小的校正量的校正。[0016]根据本方式，对于推测去除图像对输入图像的影响程度的影响程度推测值表示从边界值到第2极限值的范围的值的像素，设为通过高亮度被摄体而非去除图像并未正确地推测去除图像的影响程度，从而校正量得到抑制。因此，能够防止高亮度被摄体的细节消失。[0017]本发明的另一方式所涉及的图像处理装置中，能够设为如下方式:对于第1极限值到边界值的范围的影响推测值，透射率t通过从1单调减小到0的线性函数建立了对应关联。[0018]本发明的另一方式所涉及的图像处理装置中，能够设为如下方式:对于第1极限值到边界值的范围的影响推测值，透射率t作为向上凸起并单调减小的值而建立了对应关联。[0019]本发明的另一方式所涉及的图像处理装置中，能够设为如下方式:校正处理单元对于影响推测值在边界值到第2极限值的范围的像素，根据与影响推测值预先建立了对应关联的透射率t来实施校正。[0020]本发明的另一方式所涉及的图像处理装置中，能够设为如下方式:对于边界值到第2极限值的范围的影响推测值，透射率t作为从0向1增加的值而建立了对应关联。[0021]本发明的另一方式所涉及的图像处理装置中，能够设为如下方式:对于边界值到第2极限值的范围的影响推测值，透射率t作为大于0且1以下的恒定值而建立了对应关联。[0022]本发明的另一方式所涉及的图像处理装置中，能够设为如下方式:叠加像素值计算单元为如下单元:针对各像素计算差分值，所述差分值是将表示白色图像与输入图像的差分的差分图像中各像素的像素值作为变量并通过预先确定的函数导出的，求出从差分值小的像素依次进行累计时的像素的累计数成为预先确定的特定数时的差分值作为边界差分值，计算具有边界差分值的像素在输入图像中的像素值的平均值作为叠加像素值。[0023]本发明的另一方式所涉及的图像处理装置中，能够设为如下方式:输入图像的各像素的像素值和叠加像素值由颜色空间中的多个通道的通道值组成，叠加像素值计算单元为如下单元:将输入图像的各像素依次作为关注像素，求出包含输入图像中的关注像素的局部区域内的所有像素的所有通道的通道值中的最小值作为被设为关注像素的像素的评价值，求出从评价值大的像素依次进行累计时的像素的累计数成为预先确定的特定数时的评价值作为边界评价值，计算具有边界评价值的像素在输入图像中的像素值的平均值作为叠加像素值。[0024]本发明的另一方式所涉及的图像处理装置中，能够设为如下方式:差分图像的各像素的像素值由颜色空间中的多个通道的通道值组成，叠加像素值计算单元计算多个通道的通道值分别乘以预先确定的系数并相加而得的值作为差分值。[0025]本发明的另一方式所涉及的图像处理装置中，能够设为如下方式:若作为差分图像的多个通道的通道值，将亮度成分的通道值设为Y、将亮度成分的通道值的最大值设为Ymax、将蓝色色差成分的通道值设为Cb、将红色色差成分的通道值设为Cr、将系数设为α、β，则叠加像素值计算单元通过aYmax-Y+βICbI+βICrI来计算差分值。[0026]本发明的另一方式所涉及的图像处理装置中，能够设为如下方式:输入图像的各像素的像素值和叠加像素值由颜色空间中的多个通道的通道值组成，影响推测值计算单元中，将输入图像的各像素依次作为关注像素，并计算关注像素的影响推测值，在关注像素的影响推测值的计算中，对于包含输入图像中的关注像素的局部区域内的所有像素的所有通道，计算暗通道值，所述暗通道值为通道值除以叠加像素值中相同通道的通道值而得到的值中的最小值。[0027]本发明的另一方式所涉及的图像处理装置中，能够设为如下方式:输入图像的各像素的像素值和叠加像素值由颜色空间中的亮度成分、蓝色色差成分以及红色色差成分的通道值组成，影响推测值计算单元将输入图像的各像素依次作为关注像素，并计算关注像素的影响推测值，关注像素的影响推测值的计算中，对于包含输入图像中的关注像素的局部区域内的所有像素，计算如下最大值，所述最大值为亮度成分的通道值与亮度成分的通道值的最大值的差分值、蓝色色差成分的通道值的绝对值以及红色成分的通道值的绝对值分别乘以预先确定的系数并相加而得的值，除以叠加像素值中的亮度成分的通道值与亮度成分的通道值的最大值的差分值、蓝色色差成分的通道值的绝对值以及红色成分的通道值的绝对值分别乘以预先确定的系数并相加而得的值，从而得到的值中的最大值。[0028]本发明的另一方式所涉及的图像处理装置中，能够设为如下方式:影响推测值的边界值为1。[0029]本发明的另一方式所涉及的图像处理装置中，输入图像为由大气干扰引起的去除图像叠加于原始图像而得的图像。[0030]并且，为了实现上述目的，本发明的另一方式所涉及的图像处理方法具备:输入图像捕捉工序，捕捉输入图像，所述输入图像由原始图像和叠加于原始图像的应去除的去除图像组成，并且将如下相加值设为各像素的像素值，所述相加值为将与各像素对应的1至0范围的透射率设为t时原始图像的各像素的像素值乘以t而得到的值、与去除图像的各像素的像素值即从1减去t而得的值乘以叠加像素值而得到的值的相加值;叠加像素值计算工序，根据输入图像，计算叠加像素值;影响推测值计算工序，根据输入图像和叠加像素值，计算影响推测值，所述影响推测值为推测了去除图像对输入图像的各像素的影响程度的值，并且表示值从第1极限值越靠近最小值与最大值之间的预先确定的边界值则影响程度越大，并且与透射率t的值预先建立了对应关联，所述第1极限值为最小值与最大值中的一个极限值；以及校正处理工序，根据输入图像、影响推测值以及叠加像素值，对输入图像的各像素的像素值实施校正，由此生成从输入图像降低了去除图像的影响的校正图像，所述图像处理方法中，校正处理工序为如下工序:对于影响推测值在第1极限值到边界值的范围的像素，以根据作为从1向O减小的值而建立了对应关联的透射率t而得的校正量来实施校正，对于影响推测值在边界值到最小值与最大值中不同于第1极限值的另一第2极限值的范围的像素，实施至少成为比将透射率t设为O时的像素值的校正量小的校正量的校正。[0031]根据本方式，对于推测去除图像对输入图像的影响程度的影响程度推测值表示从边界值到第2极限值的范围的值的像素，设为通过高亮度被摄体而非去除图像并未正确地推测去除图像的影响程度，从而校正量得到抑制。因此，能够防止高亮度被摄体的细节消失。[0032]发明效果[0033]根据本发明，能够不使高亮度被摄体的细节消失而去除雾度。附图说明[0034]图1是应用本发明的图像处理装置的结构图。[0035]图2是表示利用图1的图像处理装置实施的图像校正方法的所有步骤工序）的流程图。[0036]图3是拍摄包含雾度的图像时的示意图。[0037]图4是表示气辉像素值计算工序中的处理步骤的流程图。[0038]图5是表示气辉像素值计算工序中的处理步骤的说明图。[0039]图6是表示第1实施方式中的暗通道值与透射率之间的对应关系的图。[0040]图7是表示由本发明产生的效果的图。[0041]图8是表示第2实施方式中的暗通道值与透射率之间的对应关系的图。[0042]图9是表示第3实施方式中的暗通道值与透射率之间的对应关系的图。[0043]图10是表示第4实施方式中的暗通道值与透射率之间的对应关系的图。[0044]图11是表示暗通道值与透射率之间的对应关系的图，并且是改变了图6的局部的图。具体实施方式[0045]以下，根据附图对本发明的优选实施方式进行详细说明。[0046]图1是表示应用本发明的图像处理装置的结构图。图1所示的图像处理装置10是捕捉校正前的图像作为输入图像，并将从该输入图像去除霭或雾等雾度而得的图像作为校正图像而输出的装置。另外，本说明书中，雾度的去除还包含减少雾度的影响。[0047]该图像处理装置10通过数码相机、带摄像功能的便携式电话、摄像机、监控摄像机、数码双筒望远镜等摄像单元搭载于获取图像的装置中，将通过摄像单元获取的图像捕捉为输入图像，并输出从该输入图像去除了雾度的校正图像。[0048]并且，图像处理装置10可以安装于如个人计算机这种不直接具备摄像单元的装置中，也可以将通过用户等选择的任意的图像作为输入图像并输出从该输入图像去除了雾度的校正图像。[0049]如图1所示，图像处理装置10具备:输入图像捕捉单元12,捕捉设为校正对象的校正前的图像作为输入图像;气辉像素值计算单元14,根据输入图像，计算气辉像素值;暗通道值计算单元16,根据输入图像和气辉像素值，计算针对输入图像的各像素的暗通道值；以及校正处理单元18,根据输入图像、暗通道值以及气辉像素值，生成从输入图像去除了雾度而得的校正图像。[0050]并且，图2是表示在图像处理装置10中实施的图像校正方法的所有处理步骤的流程图，本实施方式的图像校正方法包括:输入图像捕捉工序Sl，通过输入图像捕捉单元12捕捉输入图像;气辉像素值计算工序S2，通过气辉像素值计算单元14计算气辉像素值;暗通道值计算工序S3，通过暗通道值计算单元16计算暗通道值;透射率计算工序S4，其为通过校正处理单元18生成校正图像的校正处理工序，并计算后述的透射率；以及校正图像生成工序雾度去除工序S5,从输入图像去除雾度。[0051]以下，对图1的各单元以及图2的各工序依次进行说明。[0052]如图3的示意图所示，在输入图像捕捉工序Sl中通过输入图像捕捉单元12捕捉的设为校正对象的输入图像例如为户外图像，并设为在直接反映拍摄目的的被摄体的原始颜色的原始图像、即通过来自拍摄目的的被摄体的直射光形成的原始图像中叠加有霭或雾等雾度的包含雾度的校正前图像。[0053]在此，X设为表示用于从1帧份的图像中的所有像素中指定一个像素的位置信息坐标等或识别号等变量，将校正前图像即输入图像I中的像素X的像素值设为IX，将原始图像J中的像素X的像素值设为JX，将通过雾度分散的气辉的像素值气辉像素值设为A，将像素X中的直射光的透射率t设为tX。此时，输入图像I的像素X的像素值IX通过下式⑴来表示。[0054]IX=JX·tX+A·ΗX……1[0055]其中，透射率t表示1至0范围的值0以上且1以下的范围的值）。[0056]因此，如下述，通过求出气辉像素值A和透射率tX，能够求出原始图像J作为去除了雾度的校正图像。[0057]另外，本实施方式的图像处理装置10将具有颜色信息的彩色图像设为处理对象的输入图像I，如输入图像I的像素值IX、原始图像J的像素值JX、气辉像素值A等像素值由表示颜色空间中的多个颜色通道的强度的多个强度值（以下，称为通道值组成。其中，可以将仅由亮度信息组成的黑白图像设为输入图像I，该情况下，像素值设为仅由一个颜色通道亮度通道的强度值亮度值组成。[0058]在气辉像素值计算工序S2中，作为气辉像素值计算处理，气辉像素值计算单元14根据通过输入图像捕捉单元12捕捉的输入图像I，计算如上述那样表示通过雾度分散的气辉的颜色雾度的颜色）的气辉像素值A。[0059]在此，对于气辉像素值计算工序S2中的处理步骤、即气辉像素值计算单元14中的气辉像素值计算处理的处理步骤，利用图4的流程图和图5的说明图来进行说明。[0060]首先，步骤SlO中，生成整个图像为均匀的白色的白色图像W参照图5㈧）与输入图像I渗照图5⑶）的差分图像S渗照图5C。差分图像S由下式⑵来表示。[0061]SX=WX-IX......⑵[0062]其中，SX、Wx以及IX分别表示差分图像S、白色图像W以及输入图像I中的像素X的像素值。[0063]并且，在气辉像素值计算处理中，作为表达图像的颜色空间，使用YCbCr颜色空间，并通过表示由亮度成分、蓝色色差成分以及红色色差成分组成的三个颜色通道各自的强度的三个通道值来表示像素值。[0064]例如，当由变量Y表示亮度成分亮度通道的通道值、由变量Cb表示蓝色色差成分蓝色色差通道）的通道值、由变量Cr表示红色色差成分红色色差通道）的通道值时，像素值由各通道值Y、Cb、Cr组成，并如Y，Cb，Cr这样进行成分显示。[0065]并且，用P表示任意的图像中的像素值，用WP、IP、SP表示白色图像W、输入图像I、差分图像S各自在图像中的像素值P，用[WY，WCb，WCr]、[Π，ICb，ICr]、[SY，SCb，SCr]表示图像W、I、S各自在图像中的各通道值[Y，Cb，Cr]。[0066]另外，各像素X中的像素值P、各通道值Y、Cb、Cr表示每个像素X的值，而当清楚表达该情况时，如YX、Cbx、CrX这样表示为X的函数。对于白色图像W、输入图像I、差分图像S各自限定于图像的像素值、各通道值的表示也相同。[0067]因此，若在上式（2中用成分显示来表示差分图像S的各像素的像素值SP，则得到下式⑶。[0068]SP=SY，SCb，SCr=WY-IY，WCb-ICb,WCr-ICr……3[0069]示出具体例，各颜色通道的通道值由8位的256灰度来表示，亮度通道的通道值Y的取值范围在[0，255]的范围内，蓝色色差通道和红色色差通道的通道值Cb、Cr的取值范围在[-128,127]的范围内。[0070]此时，白色图像W中的所有像素的像素值WP为[0071]WP=WY，WCb，WCr=255,0,0。[0072]而且，输入图像I中的规定的像素X的像素值IP例如为[0073]SP=SY，SCb，SCr=230,110,120。[0074]该情况下，差分图像S中的该像素X的像素值SP、即各通道值SY、SCb、SCr通过上式3而成为[0075]SP=SY，SCb，SCr=25，-110，-120。[0076]接着，步骤S12中，计算差分图像S的各像素的差分值SV。[0077]各像素的差分值SV通过将各像素的通道值Y、Cb、Cr作为变量、将预先确定的实数α、β、γ作为系数的函数α·Ymax-Y+P·|Cb|+y·|Cr|来计算。其中，本实施方式中，γ=β。并且，Ymax表示亮度通道的最大值，本实施方式中表示255。[0078]并且，如上所述，用SY、SCb、SCr表示差分图像S中的各像素的通道值Y、Cb、Cr，从而差分值SV通过下式⑷来计算。[0079]SV=a·Ymax-SY+β·ISCbI+β·ISCrI......⑷[0080]接着，步骤S14中，根据差分图像S的各像素的差分值SV，生成差分图像S的直方图。[0081]差分图像S的直方图是表不如图5D那样在横轴表不差分值SV、在纵轴表不具有横轴所示的差分值的像素数的图表。[0082]接着，步骤S16中，检测差分图像S的直方图中从差分值SV小的值下位的值开始进行累计而得的像素数成为差分图像S中的所有像素数的5%的边界差分值SVa。[0083]S卩，作为步骤S14和步骤S16的处理，未必需要如步骤S14那样生成差分图像S的直方图，求出从差分值SV小的像素依次进行累计时的像素的累计数成为相当于所有像素数的5%的特定数K时的差分值作为边界差分值SVa。[0084]另外，特定数K无需一定是成为所有像素数的5%的数，优选为所有像素数的1%以上且7%以下的范围内的数。[0085]接着，步骤S18中，计算具有边界差分值SVa的像素在输入图像I中的像素值IP的平均值作为气辉像素值A。例如当图5E的线30上的像素具有边界差分值SVa时，若计算该线30上的像素的像素值IP的平均值，则可以计算图5F的气辉像素值A。[0086]在此，像素值IP的平均值是表示将像素值IP中的各成分各颜色通道的通道值进行了平均而得的值。[0087]S卩，若将具有边界差分值SVa的像素设为xl〜xmm为正整数），并用各颜色通道的通道值对输入图像I中的这些像素xl〜xm的像素值IPxl〜IPxm进行成分显示，则为IYxl，ICbxl，ICrxl〜（IYxm，ICbxm，ICrxm。[0088]另一方面，用各颜色通道的通道值对气辉像素值A进行成分显示时，为AY，ACb，ACr〇[0089]此时，气辉像素值A的各颜色通道的通道值AY、ACb、ACr为像素值IPxl〜IPxm的各颜色通道的通道值IYxl〜IYxm、ICbxl〜ICbxm、ICrxl〜ICrxm各自的平均值，通过下式⑶〜⑵来计算。[0093]如上所述，图1的气辉像素值计算单元14根据输入图像I计算气辉像素值A。[0094]在暗通道值计算工序S3中，作为暗通道值计算处理，暗通道值计算单元16根据通过输入图像捕捉单元12捕捉的输入图像I和通过气辉像素值计算单元14计算出的气辉像素值A，针对每个像素计算成为推测雾度对输入图像I的各像素的影响程度而得的值的暗通道值D〇[0095]在此，例如雾度的影响程度越大，暗通道值D表示越大的值，并表示与上式（1中的直射光的透射率t的值预先建立了对应关联的值。即，与像素X无关地，暗通道值D与透射率t通过一定的关系而预先建立了对应关联。[0096]因此，根据输入图像I和气辉像素值A求出各像素的暗通道值D，由此能够如后述那样计算各像素X的透射率t作为tX。[0097]另外，在本实施方式的暗通道值D的计算处理中，作为表达图像的颜色空间，主要使用RGB颜色空间，假定通过由红色成分R通道）、绿色成分G通道）以及蓝色成分B通道）组成的三个颜色通道的通道值来表示像素值。[0098]其中，能够使用除RGB颜色空间以外的YCbCr颜色空间或HSV颜色空间等任意形态方式）的颜色空间，用c表示具有任意形态的颜色空间中指定各颜色通道的文字或值作为具体值的变量，将输入图像I的像素X的像素值IX或气辉像素值A中的颜色通道c的通道值表示为IcX、Ac。[0099]例如，在RGB颜色空间中，若用r表示R通道、用g表示G通道、用b表示B通道，则变量c具有[r，g，b]作为具体值。[0100]在此，不存在雾度的图像、尤其户外图像的大部分在局部区域内的至少一个像素中各颜色通道中的任一通道值极小，因此推测为在包含雾度的图像中各局部区域中各像素的各颜色通道的通道值中的最小值表示各局部区域中雾度的影响程度的大小。[0101]因此，暗通道值计算单元16将输入图像I的各像素依次作为关注像素而计算关注像素的暗通道值D，并计算输入图像I的所有像素的暗通道值D。[0102]而且，关注像素的暗通道值D的计算中，对于包含作为关注像素的像素X的局部区域ΩX内的所有像素y的所有颜色通道，计算通道值Icy除以气辉像素值A中相同通道的通道值Ac而得到的值中的最小值。将该最小值设为像素X的暗通道值D。[0103]g卩，若将像素X的暗通道值D设为DX，则DX通过下式⑶来计算。[0104][数式2][0106]其中，[0107]表示将像素y依次变更为局部区域ΩX内的像素时的最小值，[0108]表示依次变更颜色通道c时的最小值。[0109]另外，局部区域ΩX例如为包含以像素X为中以而包围其周围的共计9个像素的区域，优选为假定雾度的影响程度大致均匀的大小的区域。[0110]并且，也可以针对由多个像素组成的各区域计算成为共用的值的一个暗通道值D，而并非求出所有像素的暗通道值DX。[0111]在校正处理工序的一部分即透射率计算工序S4中，作为透射率计算处理，校正处理单元18根据通过暗通道值计算单元16计算出的输入图像I的各像素的暗通道值DX，求出上式⑴中的直射光的透射率tX。[0112]如上所述，与像素X无关地，暗通道值D与透射率t通过一定的关系而预先建立了对应关联。[0113]图6是表示第1实施方式中的暗通道值D与透射率t之间的对应关系的图。[0114]图6中，最大值Dmax表示输入图像I中的所有像素的暗通道值DX中的最大值，暗通道值D表示0以上且Dmax以下的范围的值。[0115]当存在亮度比雾度高的被摄体时，产生暗通道值D超过1的情况。此时，最大值Dmax也成为大于1的值。[0116]另一方面，透射率t表示0以上且1以下的范围的值。[0117]而且，对于暗通道值D在0以上且1以下的范围（0至1的范围）的值，暗通道值D与透射率t具有下式⑶的关系即图6的直线Ll的关系，通过下式⑶来求出透射率t。[0118]t=l-D……9[0119]在此，对于以1为边界值并且暗通道值D成为0到该边界值1的范围的值的像素，推测为暗通道值D越大即暗通道值D从0越接近边界值1，雾度的影响程度越大，因此如上式9那样，透射率t通过从1单调减小到0的线性函数来与暗通道值D建立了对应关联。[0120]相对于此，对于暗通道值D大于1的范围（从1到最大值Dmax的范围）的值，暗通道值D与透射率t具有下式10的关系即直线L2的关系，通过下式10来求出透射率t。[0121]t=D-IDmax-I......10[0122]在此，对于暗通道值D成为超过边界值1的范围的值的像素，推测暗通道值D中高亮度被摄体的影响程度大于雾度的影响程度，因此如上式（10那样，透射率t作为单调增加的值而与暗通道值D建立了对应关联。[0123]校正处理单元18通过这种暗通道值D与透射率t之间的一定的对应关系，根据输入图像I的各像素的暗通道值DX，求出各像素中的直射光的透射率tx。[0124]而且，在校正处理工序的一部分即校正图像生成工序雾度去除工序）S5中，校正处理单元18根据各像素中的透射率tx与气辉像素值A，生成去除了雾度的原始图像J作为校正图像。[0125]S卩，根据上式1，原始图像J的像素X中的像素值JX通过下式11来表示。[0126]JX={IX-A·1-tX}tX[0127]=A+IX-AtX......11[0128]该式（11中，通过将像素X中的输入图像I的像素值IX和气辉像素值A代入右边，能够求出原始图像J中的像素X的像素值JX。而且，通过求出原始图像J中的所有像素的像素值JX，能够生成原始图像J作为校正图像。[0129]校正处理单元18从图像处理装置10输出这样生成的校正图像。[0130]另外，如上述那样计算的气辉像素值A或透射率tx并不一定是准确的值，因此通过上式11得到的校正图像并不一定与原始图像J完全一致。[0131]并且，也可以进行如残留雾度的影响并强调透视感这样的校正处理等，而不是从输入图像I完全去除雾度。例如，与暗通道值D建立对应关联的透射率t的值的范围可以设为0至1的值范围中的一部分，也可以设为S0S1至1的值的范围等。[0132]因此，校正图像是对输入图像I减少了雾度的影响的图像即可。[0133]若对以上图像处理装置10的效果进行说明，则图7中，图7A为输入图像I的一例，并且由于雾度而整体发白。[0134]相对于此，图7B示出通过现有的校正处理去除了雾度的校正图像，图7C示出通过本实施方式的图像处理装置10去除了雾度的校正图像。[0135]若对图7⑶的校正图像与图7C的校正图像进行比较，两者均从图7㈧的输入图像I完全去除了雾度，并去除了白度。[0136]另一方面，图7㈧的被放大显示的区域40中含有高亮度的天空和透射率低的树叶的图像。[0137]若关注该区域40内的图像，则推测现有的校正处理中，区域40内的像素的暗通道值D超过1，并且雾度的影响程度大。而且，识别为透射率t极小的图像即原始图像J的影响程度极小的图像。[0138]其结果，区域40内对像素值的增加方向的校正量变得极大。即，作为表示像素值的校正量的大小的指标，例如，若通过上式（11求出成为校正图像的原始图像J的像素值JX与输入图像I的像素值IX的差分值Ad，则成为Δd=IX-A1-tXtX。从该差分值Δd可知，当透射率t极小时，差分值△d变得极大，从而校正量变得极大。[0139]由此，区域40内的像素值饱和，并且如图7B的区域40内的图像那样成为细节消失的图像。[0140]相对于此，本实施方式的图像处理装置10中设为，即使在暗通道值D超过1的情况下，也如图6的直线L2那样并不一定识别为透射率t极小的图像。因此，区域40内的像素值的校正量的增加得到抑制。[0141]由此，区域40内的像素值的饱和得到抑制，并且如图7C的区域40内的图像那样成为细节不消失而残留的图像。[0142]接着，对暗通道值D与透射率t之间的对应关系不同的图像处理装置10的另一实施方式进行说明。[0M3]图8是表示第2实施方式中的暗通道值D与透射率t之间的对应关系的图。[0144]校正处理单元18在透射率计算处理中，能够代替图6而使用图8的关系。[0145]如图8所示，对于暗通道值D为0以上且1以下的范围的值，通过下式（12的关系、即图8的曲线L3的关系来求出透射率t。[0146]t=I-Drl……12[0147]其中，rl设为小于1的值。[0148]相对于此，对于暗通道值D大于1的范围的值，通过下式（13的关系、即图8的曲线L4来求出透射率t。[0149]t={D-IDmax-I}r2......13[0150]其中，r2设为大于1的值。[0151]在此，上式（12、（13中，优选rl设为小于1的值，r2设为大于1的值，但rl也可以设为1以上的值，并且，r2也可以设为1以下的值。[0152]并且，上式（12、（13为一例，作为代替上式（12的函数，是透射率t相对于暗通道值D的增加而单调减小的函数即可，作为代替上式（13的函数，是透射率t相对于暗通道值D的增加而单调增加的函数即可。而且，作为代替上式（12、（13的函数，优选向上凸起的函数、即透射率t关于暗通道值D的二阶导数为负数的函数。[0153]而且，暗通道值D与透射率t之间的对应关联并非是由函数产生的，如查找表那样可以是具体值彼此之间的对应关联。[0154]图9是表示第3实施方式中的暗通道值D与透射率t之间的对应关系的图。[0155]在此，本实施方式中的暗通道值D与上述第1实施方式和第2实施方式不同，虽然不符合原始含义中的暗通道值，但本实施方式中仍称为暗通道值。[0156]作为暗通道值计算处理，本实施方式中的暗通道值计算单元16使用下式（14针对每个像素计算像素X的暗通道值DX。[0157][数式3][0159]上式（14专用于使用YCbCr颜色空间作为表达图像的颜色空间的情况，Ar、Acb以及Acr表示气辉像素值A中的亮度通道、蓝色色差通道以及红色色差通道的通道值，Iyy、Icby以及Icry表示输入图像I的y像素中的亮度通道、蓝色色差通道以及红色色差通道的通道值。α、β为系数，ε为用于防止除以0的常数。[0160]S卩，对于包含作为关注像素的像素X的局部区域ΩX内的所有像素y，计算如下值，并将其中的最大值设为像素X的暗通道值D，所述值为亮度通道的通道值Iyy与亮度通道的通道值的最大值255的差分值、蓝色色差通道的通道值Icby的绝对值以及红色色差通道的通道值Icry的绝对值分别乘以预先确定的系数并相加而得的值，除以气辉像素值A中的亮度通道的通道值Ay与亮度通道的通道值的最大值255的差分值、蓝色色差通道的通道值Acb的绝对值以及红色色差通道的通道值Acr的绝对值分别乘以预先确定的系数并相加而得的值，从而得到的值。[0161]并且，上式（14假设雾度的影响程度大到输入图像I中发白的被摄体的程度，并将包含作为关注像素的像素X的局部区域ΩX内的像素中右边括号内的值变得最大的最大值设为暗通道值DX。[0162]校正处理单元18在透射率计算处理中使用与图6相同的图9的关系。[0163]如图9所示，对于暗通道值D在0以上且小于1的范围的值，通过与上式⑶相同的下式15的关系即图9的曲线L5来求出透射率t。[0164]t=l-D……15[0165]其中，本实施方式的暗通道值D中，对于暗通道值为小于边界值1的范围的值的像素，推测为暗通道值D中高亮度被摄体的影响程度大于雾度的影响程度。因此，如上式（15那样，对于暗通道值D，透射率t作为单调减小的值而建立了对应关联。[0166]相对于此，对于暗通道值D为1以上的范围的值，暗通道值D与透射率t作为具有与上式（10相同的下式（16的关系即图9的直线L6的关系的值，通过下式（16来求出透射率to[0167]t=D-IDmax-I......16[0168]在此，Dmax表示输入图像I中的所有像素的暗通道值DX中的最大值。[0169]并且，本实施方式的暗通道值D中，对于以1为边界值并且暗通道值D成为从边界值1到最大值Dmax的范围的值的像素，推测为暗通道值D越大，雾度的影响程度越小，即推测暗通道值D从Dmax越接近边界值1，雾度的影响程度越大，因此如上式16那样，对于暗通道值D，透射率t作为单调增加的值而建立了对应关联。[0170]图10是表示第4实施方式中的暗通道值D与透射率t之间的对应关系的图。[0171]另外，暗通道值D通过与上述第3实施方式相同的暗通道计算处理来计算，并使用上式（14。[0172]校正处理单元18在透射率计算处理中使用与图8相同的图10的关系。[0173]如图10所示，对于暗通道值D在0以上且小于1的范围的值，通过与上式（12相同的下式17的关系即图10的曲线L7的关系来求出透射率t。[0174]t=I-Drl……17[0175]其中，rl设为小于1的值。[0176]相对于此，对于暗通道值D为1以上的范围的值，通过与上式（13相同的下式（18的关系即图10的曲线L8的关系来求出透射率t。[0177]t={D-IDmax-I}r2......18[0178]其中，r2设为大于1的值。[0179]另外，与上式（12、（13相同地，在上式（17、（18中，优选rl设为小于1的值，r2设为大于1的值，但rl也可以设为1以上的值，并且，r2也可以设为1以下的值。[0180]并且，上式（17、（18为一例，作为代替上式（17的函数，是透射率t相对于暗通道值D的增加而单调减小的函数即可，作为代替上式（18的函数，是透射率t相对于暗通道值D的增加而单调增加的函数即可。而且，作为代替上式（17、（18的函数，优选为向上凸起的函数、即透射率t关于暗通道值D的二阶导数为负数的函数。[0181]而且，暗通道值D与透射率t之间的对应关联并非是由函数产生的，如查找表那样可以是具体值彼此之间的对应关联。[0182]作为以上第1〜第4实施方式，在图6、图8、图9以及图10所示的暗通道值D与透射率t之间的关系中，关于推测为高亮度被摄体的影响程度大于雾度的影响程度的暗通道值D的特定范围，即，关于图6和图8中超过1的范围、图9和图10中小于1的范围，是与透射率t为0时相比至少成为比像素值的校正量小的校正量的关系即可。[0183]例如，如添加了修改图6的一部分的图11所示，对于暗通道值D大于1的范围（1到最大值Dmax的范围）的值，可以如图11的直线L9那样，透射率t作为大于0且1以下的恒定值a而建立对应关联。[0184]并且，只要是对暗通道值D的上述特定范围的像素的校正效果弱而不是将透射率t设为恒定值a，则可以采用任意方法，还可以采用完全不实施校正处理的方法。[0185]以上，上述实施方式中的气辉像素值计算单元14能够采用任意方法作为气辉像素值计算处理。例如，也可以利用如下方法来计算气辉像素值A。将输入图像I的各像素依次作为关注像素，并求出输入图像I中包含关注像素的局部区域内的所有像素的所有颜色通道的通道值中的最小值作为被设为关注像素的像素的评价值。接着，求出从评价值大的像素依次进行累计时的像素的累计数成为预先确定的特定数时的评价值作为边界评价值。而且，计算具有边界评价值的像素在输入图像I中的像素值的平均值作为气辉像素值A。[0186]并且，上述实施方式中，通过暗通道值计算单元16计算出的暗通道值D并不限定于利用特定的方法计算出的值。[0187]S卩，暗通道值计算单元16并不限定于上述实施方式的暗通道值D，是作为影响推测值计算单元，根据输入图像I和气辉像素值A，计算影响推测值的单元即可，能够将该影响推测值应用为上述实施方式的暗通道值D。所述影响推测值为推测了雾度对输入图像I的各像素的影响程度的值，并且表示值从第1极限值越靠近最小值与最大值之间的预先确定的边界值则影响程度越大，并且与透射率t的值预先建立了对应关联，所述第1极限值为最小值与最大值中的一个极限值。另外，边界值表示推测为影响程度变得最大的值。[0188]在此，在第1实施方式和第2实施方式中使用且在图6和图8中示出的暗通道值D中，KDmax以及1相当于影响推测值中的最小值、最大值以及边界值，暗通道值D的极限值即0和Dmax中的0相当于影响推测值的第1极限值，Dmax相当于另一极限值第2极限值）。[0189]并且，在第3实施方式和第4实施方式中使用且在图9和图10中示出的暗通道值D中，KDmax以及1相当于影响推测值中的最小值、最大值以及边界值，暗通道值D的极限值即0和Dmax中的Dmax相当于影响推测值的第1极限值，0相当于另一极限值第2极限值）。[0190]而且，第1〜第4实施方式中的任一校正处理单元18中均例示了如下形态:对于影响推测值在第1极限值到边界值的范围的像素，根据作为从1向〇减小的值而建立了对应关联的透射率t来实施校正，对于影响推测值从边界值到第2极限值的范围的像素，实施至少成为比将透射率t设为O时的像素值的校正量小的校正量的校正。[0191]另外，第1〜第4实施方式中的任一校正处理单元18中均示出如下形态:对于从边界值到第2极限值的范围的影响推测值，透射率t作为从0向1增加的值而建立了对应关联的形态，图11中示出对于从边界值到第2极限值的范围的影响推测值，透射率t作为大于0且1以下的恒定值而建立了对应关联的形态。[0192]并且，上述实施方式中，作为校正对象的输入图像I设为霭等雾度叠加于通过来自被摄体的直射光形成的原始图像上的图像，但并不限定于此。例如，当由大气干扰引起的图像或镜头光晕等不存在于原始图像中的任意图像叠加于原始图像时，将这种图像设为输入图像I，将不存在于原始图像的图像设为应去除的去除图像，从而能够以与上述实施方式中雾度的去除相同的方式从输入图像I去除去除图像减少去除图像的影响）。[0193]此时，输入图像I作为将气辉像素值A称为叠加像素值A的图像，能够由上式（1来表示，气辉像素值计算单元14作为叠加像素值计算单元，能够与气辉像素值A相同地计算叠加像素值A。[0194]符号说明[0195]10-图像处理装置，12-输入图像捕捉单元，14-气辉像素值计算单元，16-暗通道值计算单元，18-校正处理单元，I-输入图像，X-像素，J-原始图像，t-透射率，A-气辉像素值。

权利要求：1.一种图像处理装置，其具备：输入图像捕捉单元，捕捉输入图像，所述输入图像由原始图像和叠加于所述原始图像的应去除的去除图像组成，并且将如下相加值设为各像素的像素值，所述相加值为将与各像素对应的1至O范围的透射率设为t时所述原始图像的各像素的像素值乘以t而得到的值、与所述去除图像的各像素的像素值即从1减去t而得的值乘以叠加像素值而得到的值的相加值；叠加像素值计算单元，根据所述输入图像，计算所述叠加像素值；影响推测值计算单元，根据所述输入图像和所述叠加像素值，计算影响推测值，所述影响推测值为推测了所述去除图像对所述输入图像的各像素的影响程度的值，并且表示值从第1极限值越靠近最小值与最大值之间的预先确定的边界值则所述影响程度越大，并且与所述透射率t的值预先建立了对应关联，所述第1极限值为所述最小值与所述最大值中的一方的极限值；以及校正处理单元，根据所述输入图像、所述影响推测值以及所述叠加像素值，对所述输入图像的各像素的像素值实施校正，由此生成从所述输入图像降低了所述去除图像的影响的校正图像，所述校正处理单元为如下单元：对于所述影响推测值在所述第1极限值到所述边界值的范围的像素，以根据作为从1向O减小的值而建立了对应关联的透射率t而得的校正量来实施所述校正，对于所述影响推测值在所述边界值到所述最小值与最大值中不同于所述第1极限值的另一第2极限值的范围的像素，实施至少成为比将透射率t设为O时的像素值的校正量小的校正量的校正。2.根据权利要求1所述的图像处理装置，其中，对于所述第1极限值到所述边界值的范围的所述影响推测值，所述透射率t通过从1单调减小到〇的线性函数建立了对应关联。3.根据权利要求1所述的图像处理装置，其中，对于所述第1极限值到所述边界值的范围的所述影响推测值，所述透射率t作为向上凸并单调减小的值而建立了对应关联。4.根据权利要求1、2或3所述的图像处理装置，其中，所述校正处理单元对于所述影响推测值在所述边界值到所述第2极限值的范围的像素，根据与所述影响推测值预先建立了对应关联的透射率t来实施所述校正。5.根据权利要求4所述的图像处理装置，其中，对于所述边界值到所述第2极限值的范围的所述影响推测值，所述透射率t作为从O向1增加的值而建立了对应关联。6.根据权利要求4所述的图像处理装置，其中，对于所述边界值到所述第2极限值的范围的所述影响推测值，所述透射率t作为大于O且1以下的恒定值而建立了对应关联。7.根据权利要求1至6中任一项所述的图像处理装置，其中，所述叠加像素值计算单元为如下单元：针对各像素计算差分值，所述差分值是将表示白色图像与所述输入图像的差分的差分图像中各像素的像素值作为变量并通过预先确定的函数导出的，求出从所述差分值小的像素依次进行累计时的像素的累计数成为预先确定的特定数时的差分值作为边界差分值，计算具有所述边界差分值的像素在所述输入图像中的像素值的平均值作为所述叠加像素值。8.根据权利要求1至6中任一项所述的图像处理装置，其中，所述输入图像的各像素的像素值和所述叠加像素值由颜色空间中的多个通道的通道值组成，所述叠加像素值计算单元为如下单元：将所述输入图像的各像素依次作为关注像素，求出包含所述输入图像中的所述关注像素的局部区域内的所有像素的所有通道的通道值中的最小值作为被设为关注像素的像素的评价值，求出从所述评价值大的像素依次进行累计时的像素的累计数成为预先确定的特定数时的评价值作为边界评价值，计算具有所述边界评价值的像素在所述输入图像中的像素值的平均值作为所述叠加像素值。9.根据权利要求7所述的图像处理装置，其中，所述差分图像的各像素的像素值由颜色空间中的多个通道的通道值组成，所述叠加像素值计算单元计算所述多个通道的通道值分别乘以预先确定的系数并相加而得的值作为所述差分值。10.根据权利要求9所述的图像处理装置，其中，若作为所述差分图像的所述多个通道的通道值，将亮度成分的通道值设为Y、将亮度成分的通道值的最大值设为Ymax、将蓝色色差成分的通道值设为Cb、将红色色差成分的通道值设为Cr、将系数设为α、β，则所述叠加像素值计算单元通过aYmax-Y+βICbI+βICrI来计算所述差分值。11.根据权利要求1至10中任一项所述的图像处理装置，其中，所述输入图像的各像素的像素值和所述叠加像素值由颜色空间中的多个通道的通道值组成，所述影响推测值计算单元中，将所述输入图像的各像素依次作为关注像素，并计算关注像素的所述影响推测值，所述关注像素的影响推测值的计算中，对于包含所述输入图像中的所述关注像素的局部区域内的所有像素的所有通道，计算暗通道值，所述暗通道值为通道值除以所述叠加像素值中相同通道的通道值而得到的值中的最小值。12.根据权利要求1至10中任一项所述的图像处理装置，其中，所述输入图像的各像素的像素值和所述叠加像素值由颜色空间中的亮度成分、蓝色色差成分以及红色色差成分的通道值组成，所述影响推测值计算单元将所述输入图像的各像素依次作为关注像素，并计算关注像素的所述影响推测值，所述关注像素的影响推测值的计算中，对于包含所述输入图像中的所述关注像素的局部区域内的所有像素，计算如下最大值，所述最大值为亮度成分的通道值与亮度成分的通道值的最大值的差分值、蓝色色差成分的通道值的绝对值以及红色成分的通道值的绝对值分别乘以预先确定的系数并相加而得的值，除以所述叠加像素值中的亮度成分的通道值与亮度成分的通道值的最大值的差分值、蓝色色差成分的通道值的绝对值以及红色成分的通道值的绝对值分别乘以预先确定的系数并相加而得的值，从而得到的值中的最大值。13.根据权利要求11或12所述的图像处理装置，其中，所述影响推测值的所述边界值为1。14.根据权利要求1至13中任一项所述的图像处理装置，其中，所述输入图像为由大气干扰引起的去除图像叠加于所述原始图像而得的图像。15.—种图像处理方法，其具备：输入图像捕捉工序，捕捉输入图像，所述输入图像由原始图像和叠加于所述原始图像的应去除的去除图像组成，并且将如下相加值设为各像素的像素值，所述相加值为将与各像素对应的1至O范围的透射率设为t时所述原始图像的各像素的像素值乘以t而得到的值、与所述去除图像的各像素的像素值即从1减去t而得的值乘以叠加像素值而得到的值的相加值；叠加像素值计算工序，根据所述输入图像，计算所述叠加像素值；影响推测值计算工序，根据所述输入图像和所述叠加像素值，计算影响推测值，所述影响推测值为推测了所述去除图像对所述输入图像的各像素的影响程度的值，并且表示值从第1极限值越靠近最小值与最大值之间的预先确定的边界值则所述影响程度越大，并且与所述透射率t的值预先建立了对应关联，所述第1极限值为所述最小值与所述最大值中的一个极限值；以及校正处理工序，根据所述输入图像、所述影响推测值以及所述叠加像素值，对所述输入图像的各像素的像素值实施校正，由此生成从所述输入图像降低了所述去除图像的影响的校正图像，所述图像处理方法中，所述校正处理工序为如下工序：对于所述影响推测值在所述第1极限值到所述边界值的范围的像素，以根据作为从1向〇减小的值而建立了对应关联的透射率t而得的校正量来实施所述校正，对于所述影响推测值在所述边界值到所述最小值与最大值中不同于所述第1极限值的另一第2极限值的范围的像素，实施至少成为比将透射率t设为O时的像素值的校正量小的校正量的校正。

百度查询： 富士胶片株式会社 图像处理装置以及图像处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD