申请/专利权人：佳能株式会社

申请日：2015-06-08

公开（公告）日：2021-09-21

公开（公告）号：CN106464816B

主分类号：H04N5/243(20060101)

分类号：H04N5/243(20060101);H04N5/217(20110101);G03B7/08(20210101);G03B7/28(20210101);H04N9/07(20060101);H04N9/73(20060101);H04N9/77(20060101)

优先权：["20140618 JP 2014-125755"]

专利状态码：有效-授权

法律状态：2021.09.21#授权;2017.03.22#实质审查的生效;2017.02.22#公开

摘要：公开了一种图像处理设备及其控制方法，其中该图像处理设备及其控制方法可以对图像中的像素的明度进行校正。通过向图像应用平滑化来估计拍摄图像时的环境光的反射特性。通过计算用于基于环境光的反射特性对像素的明度进行校正的校正值、并且将该校正值与像素相加，来对像素的明度进行校正。可以在抑制噪声的放大和被摄体的细节丢失的情况下，对明度进行校正。

主权项：1.一种图像处理设备，其特征在于，包括：计算部件，用于计算用于校正对象图像中的面部区域的第一区域的明度和色度的校正值；确定部件，用于确定所述对象图像中的所述面部区域的第二区域，其中所述第二区域被所述计算部件在计算所述校正值时所参考；以及校正部件，用于对所述第一区域的明度和色度进行校正，其中，所述确定部件基于所述第一区域的颜色信息来确定所述第二区域，其中所述第一区域的色度和所述第二区域的色度包括在颜色空间中的预定肤色范围中，其中，所述计算部件计算针对所述第一区域内的多个颜色的各颜色信号的多个校正值，以使得明度已被校正的所述第一区域的色度接近所述第二区域的色度，以及所述校正部件通过基于所述计算部件所计算出的多个校正值校正所述第一区域内的多个颜色的各颜色信号，来校正所述第一区域的明度和色度。

全文数据：图像处理设备及其图像处理方法技术领域[0001] 本发明涉及图像处理设备及其控制方法，并且特别涉及用于校正图像的明度的技术。背景技术[0002]已知有通过利用来自虚拟光源的光照射图像中的被摄体来校正明度的传统技术“重新照亮”日本特开2010-135996。该技术使得可以使环境光所产生的诸如阴影等的暗区域变得明亮，从而能够校正图像，以使得可以识别出例如被遮挡阴影中所存在的被摄体。[0003] 例如，在针对面部区域进行重新照亮的情况下，提取出亮度比面部区域整体的平均亮度低的区域作为阴影区域，并且提高阴影区域的明度，结果可以在不会影响其它区域的明度的情况下抑制面部区域中的阴影。[0004]日本特开2010-135996所公开的方法通过增加增益来提高阴影区域的明度。然而，增益的增加除放大了信号成分外，还放大了噪声成分，这导致校正后的区域的SN比下降。日本特开2010-135996应用噪声降低滤波器来抑制SN比的下降，但噪声降低处理是平滑化的应用，这可能导致图像的细节丢失。发明内容[0005] 在有鉴于传统技术的这些问题进行实现的情况下，本发明提供能够在抑制噪声放大和被摄体细节丢失的情况下、校正像素的明度的图像处理设备及其控制方法。[0006] 根据本发明的一个方面，提供一种图像处理设备，用于对图像中的像素的明度进行校正，所述图像处理设备包括:估计部件，用于估计拍摄所述图像时的环境光的反射特性;计算部件，用于计算基于所述环境光的反射特性来对所述像素的明度进行校正的校正值；以及校正部件，用于通过将所述校正值与所述像素相加来对所述像素的明度进行校正，其中，所述估计部件通过向所述图像应用平滑化来估计所述环境光的反射特性。[0007] 根据本发明的另一方面，提供一种摄像设备，包括:根据本发明的图像处理设备；以及拍摄部件，用于拍摄所述图像。[0008] 根据本发明的又一方面，提供一种图像处理设备，包括:计算部件，用于计算用于校正对象图像中的第一区域的明度的校正值;确定部件，用于确定所述计算部件在计算所述校正值时所参考的处于所述对象图像中的第二区域；以及校正部件，用于对所述第一区域的明度进行校正，其中，所述确定部件基于所述第一区域的颜色信息来确定所述第二区域，所述计算部件基于所述第二区域的颜色信息来计算针对所述第一区域内的多个颜色的各颜色信号的多个校正值，以及所述校正部件通过基于所述计算部件所计算出的多个校正值校正所述第一区域内的多个颜色的各颜色信号，来校正所述第一区域的明度。[0009] 根据本发明的还一方面，提供一种图像处理设备，包括:校正部件，用于校正对象图像中的第一区域的明度；以及确定部件，用于确定所述校正部件校正所述第一区域的明度时所参考的处于所述对象图像中的第二区域，其中，所述校正部件在校正所述第一区域的明度时，使所述第一区域的颜色信息接近所述第二区域的颜色信息。[0010] 根据本发明的还一方面，提供一种图像处理方法，用于对图像中的像素的明度进行校正，所述图像处理方法包括以下步骤:估计步骤，用于估计拍摄所述图像时的环境光的反射特性;计算步骤，用于计算基于所述环境光的反射特性来校正所述像素的明度进行校正的校正值；以及校正步骤，用于通过将所述校正值与所述像素相加来对所述像素的明度进行校正，其中，所述估计步骤通过向所述图像应用平滑化来估计所述环境光的反射特性。[0011] 根据本发明的还一方面，提供一种图像处理方法，包括以下步骤:计算步骤，用于计算用于校正对象图像中的第一区域的明度的校正值;确定步骤，用于确定所述计算步骤中计算所述校正值时所参考的处于所述对象图像中的第二区域；以及校正步骤，用于校正所述第一区域的明度，其中，所述确定步骤基于所述第一区域的颜色信息来确定所述第二区域，所述计算步骤基于所述第二区域的颜色信息来计算针对所述第一区域内的多个颜色的各颜色信号的多个校正值，以及所述校正步骤通过基于所述计算步骤中所计算出的多个校正值校正所述第一区域内的多个颜色的各颜色信号，来校正所述第一区域的明度。[0012] 根据本发明的还一方面，提供一种图像处理方法，包括以下步骤:校正步骤，用于校正对象图像中的第一区域的明度；以及确定步骤，用于确定所述校正步骤校正所述第一区域的明度时所参考的处于所述对象图像中的第二区域，其中，所述校正步骤在校正所述第一区域的明度时，使所述第一区域的颜色信息接近所述第二区域的颜色信息。[0013] 通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。附图说明[0014]图1是示出根据本发明的数字照相机的结构的框图。[0015]图2是示出根据本发明的图像处理单元的结构的框图。[0016]图3是示出根据本发明的第一实施例的光源特性提取单元所进行的处理的流程图。[0017]图4A和4B是示出根据本发明实施例的被摄体的示例的图。[0018]图5A和5B是示出根据本发明的第一实施例的用于添加虚拟光源的处理的流程图。[0019]图6是示出根据本发明的第一实施例的重新照亮处理单元的结构的框图。[0020]图7A和7B是示出根据本发明的被摄体和虚拟光源之间的关系的图。[0021]图8A和SB是示出根据本发明的第二实施例的用于添加虚拟光源的处理的流程图。[0022]图9是示出根据本发明的第二实施例的重新照亮处理单元的结构的框图。具体实施方式[0023] 现在将根据附图来详细说明本发明的典型实施例。注意，以下实施例说明了应用数字照相机作为根据本发明的图像处理设备的示例。注意，“数字照相机”是指具有使用光电转换装置的摄像功能的电子装置，因而包括诸如蜂窝电话、视频游戏装置和个人计算机等的具有照相机或者可以使用照相机的任何电子装置。然而，摄像功能不是本发明所必须的，并且根据本发明的图像处理设备可以用在能够处理图像的任何电子装置中。[0024] 第一实施例[0025]图1是示出根据本发明的第一实施例的数字照相机100的结构的示例的框图。[0026] 在图1中，透镜组101与包括调焦透镜的变焦镜头相对应。在透镜组101和摄像单元103之间设置具有光圈功能的快门102。摄像单元103具有用于将透镜组101在图像面上所形成的光学图像转换成以像素为单位的电气信号的诸如CCDCM0S图像传感器等的图像传感器。AD转换器104将摄像单元103所输出的模拟信号转换成数字信号图像数据。[0027]图像处理单元105对从AD转换器104输出的图像数据进行各种图像处理，诸如颜色插值去马赛克、白平衡调整、γ校正、边缘增强、噪声降低和颜色校正等。图像存储器106临时存储图像数据。存储器控制单元107控制图像存储器106的读取写入。DA转换器108将图像数据转换成模拟信号。显示单元109具有诸如LCD或有机EL显示器等的显示装置，并且显示各种GU1、实时取景图像和从记录介质112读出并重放的图像等。编解码单元110使用用于将数据记录在记录介质中的预定方法来对图像存储器106中所存储的图像数据进行编码，对图像文件中所包含的编码图像数据进行解码以例如显示该数据，等等。[0028] 接口IF111使作为诸如半导体存储卡或卡型硬盘等的可移除介质的记录介质112机械且电气地连接至数字照相机100。系统控制单元50例如可以是诸如CPU或MPU等的可编程处理器。系统控制单元50通过执行例如非易失性存储器121或内部非易失性存储器中所记录的程序并且控制这些程序所需的块和电路等来实现数字照相机100的功能。重新照亮处理单元114对拍摄图像执行重新照亮处理。[0029] 操作单元120是使用户向数字照相机100输入各种指示所经由的按钮和开关等合并的单元。[0030]非易失性存储器121是可以以电气方式记录和擦除的存储器，并且例如可以是EEPROM等。非易失性存储器121存储各种配置值、GUI数据，并且在系统控制单元50是MPU或PU等的情况下，存储系统控制单元50要执行的程序。[0031]系统存储器122用于加载系统控制单元50的操作用的常数和变量、以及从非易失性存储器121读出的程序等。[0032] 接着，将说明数字照相机100在拍摄图像时所进行的操作。[0033] 例如，摄像单元103在快门102打开时，使用图像传感器来对透镜组101形成在图像面上的被摄体图像进行光电转换，并且将转换得到的图像作为模拟图像信号输出至AD转换器104JD转换器104将从摄像单元103输出的模拟图像信号转换成数字图像信号图像数据并且将该数字图像信号输出至图像处理单元105。[0034]图像处理单元105对来自AD转换器104的图像数据或来自存储器控制单元107的图像数据执行各种图像处理，诸如颜色插值去马赛克、γ校正、边缘增强、噪声降低和颜色校正等。[0035]另一方面，图像处理单元105使用所拍摄到的图像数据来进行与亮度和对比度等有关的预定计算处理，并且系统控制单元50基于通过这些计算所获得的结果来进行调焦控制和曝光控制。这样，根据本实施例的数字照相机100执行通过镜头TTL自动调焦AF处理和自动曝光AE处理等。图像处理单元105还使用所拍摄到的图像数据来执行自动白平衡AW©调整。[0036] 经由存储器控制单元107将从图像处理单元105输出的图像数据写入图像存储器106。图像存储器106存储从摄像单元103输出的图像数据和显示单元109中的显示所用的图像数据等。[0037]另一方面，DA转换器108将图像存储器106中所存储的图像显示所用的数据转换成模拟信号，并且将该模拟信号供给至显示单元109。显示单元109基于来自DA转换器108的模拟信号来执行作为LCD等的显示装置中的显示。[0038] 编解码单元110基于诸如JPEG或MPEG等的标准来对记录到图像存储器106中的图像数据进行编码。系统控制单元50形成编码后的图像数据被分配到预定头部等的图像文件，并且将该文件经由接口111记录到记录介质112中。[0039] 注意，在当前的数字照相机中，显示单元109通常通过在拍摄待机状态下拍摄动画并且将所拍摄到的动画连续地显示在显示单元109中，来用作电子取景器EVF。在这种情况下，使快门102保持打开，并且使用所谓的摄像单元103的电子快门来按例如30帧秒执行拍摄。[0040] 然后，在半按下操作单元120中所包括的快门按钮的情况下，执行上述的AF和AE控制;然后，在全按下快门按钮的情况下，执行用于实际拍摄图像的处理以拍摄记录所用的静止图像，并且将该静止图像记录到记录介质112中。在使用动画拍摄按钮等作出拍摄动画的指示的情况下，开始向记录介质12的动画的记录。[0041]图2是示出图像处理单元105的功能结构的示例的框图。[0042] 将从图1所示的AD转换器104输出的图像数据输入至亮度颜色信号生成单元200。该图像数据具有针对图像传感器中所设置的颜色滤波器中的各颜色成分的值。在使用典型的拜耳原色滤波器阵列的情况下，图像数据包括R像素、G像素和B像素的数据。[0043] 亮度颜色信号生成单元200对这种图像数据进行去马赛克处理，针对各像素生成颜色信号R、G和B，并且还根据这些颜色信号生成亮度信号Y。亮度颜色信号生成单元200将所生成的颜色信号R、G和B输出至白平衡WB放大单元203，并且将亮度信号Y输出至边缘增强处理单元201。[0044] 边缘增强处理单元201对亮度信号Y执行边缘增强处理，并且将处理后的信号输出至亮度伽玛处理单元202ο亮度伽玛处理单元202对亮度信号Y执行伽玛校正，并且将校正后的亮度信号Y输出至图像存储器106。[0045] 基于系统控制单元50通过后面将说明的处理所计算出的白平衡增益值，WB放大单元203通过向颜色信号R、G和B应用增益来调整这些颜色信号R、G和B的白平衡。颜色转换处理单元204通过针对颜色信号R、G和B的矩阵处理而转换成期望的颜色平衡。颜色伽玛处理单元205对颜色信号R、G和B执行伽玛校正。色差信号生成单元206根据颜色信号R、G和B生成色差信号R-Y和B-Y，并且将所生成的信号输出至图像存储器106。[0046] 输出至图像存储器106的亮度信号以及色差信号R-Y和B-Y由编解码单元110进行编码，并且最终被记录到记录介质112中。[0047] 颜色转换处理单元204输出的颜色信号R、G和B还被输入至光源特性提取单元207。光源特性提取单元207提取环境光源下的被摄体的反射特性信息作为光源特性信息，并且将该光源特性信息记录在系统存储器122中。[0048] 将使用图3的流程图来说明光源特性提取单元207所进行的操作。以像素为单位提取光源特性。[0049] 在S301中，光源特性提取单元207根据处理对象像素的颜色信号R、G和B生成亮度L信号、色相H信号和饱和度⑶信号。[0050] 在S302中，光源特性提取单元207判断处理对象像素是否在预定特征区域、例如面部检测单元113所检测到的面部区域图4A的401内，在像素不在该区域内的情况下结束该处理，并且在像素在该区域内的情况下使处理进入S303。[0051] 在S303中，光源特性提取单元207判断处理对象像素的颜色是否与特定颜色匹配。这里，由于预定特征区域是面部区域，因此判断像素是否在定义预定肤色范围的颜色空间范围内。图4B示出CrCb或UV颜色空间所定义的肤色区域410的示例。注意，在S303中所进行的判断中，可以使用HS坐标系，或者如图4B所示，可以使用能够根据颜色信号R、G和B转换成的其它颜色空间坐标系。[0052] 在S303中判断为处理对象像素的颜色在颜色空间的预定范围内的情况下，光源特性提取单元207使处理进入S304，而在判断为颜色不在预定范围内的情况下，针对该处理对象像素的处理结束。在图4A所示的图像的示例中，在处理了肤色区域410内的像素403和404的情况下，光源特性提取单元207使处理进入S304;在处理了不在肤色区域410内的像素402的情况下，处理结束。[0053] 在S304中，光源特性提取单元207基于处理对象像素的亮度信号值是否大于或等于预定值来判断该亮度信号值是否与预定的高亮度值匹配。S304是用于提取如下的被摄体区域的处理，其中，强的环境光正落在该被摄体区域上。在图4A所示的图像的示例中作为高亮度像素的像素403是处理对象像素的情况下，光源特性提取单元207使处理进入S305;在由于阴影等的影响因而亮度低的像素404是处理对象像素的情况下，该处理结束。[0054] 在S305中，光源特性提取单元207以颜色成分为单位来对满足S302〜S304的所有条件的处理对象像素的颜色信号R、G和B进行积分。积分结果为Rt，Gt，Bt。[0055] 在S306中，光源特性提取单元207对积分后的像素的数量进行计数+1。计数数量为N。[0056] 以上说明了光源特性提取单元207的处理。通过该处理，可以提取出被摄体的特定区域中的如下像素区域的信息，其中该像素区域具有特定颜色并且由于环境光正落在该像素区域上因而具有尚壳度，诸如图4A的403等。[0057]以上说明了例如顺次处理拍摄图像的整体或其预定部分中的像素的情况。然而，例如，可以对诸如面部区域等的特定被摄体区域中的像素执行光源特性提取处理。在这种情况下，不需要S302的判断。[0058] 接着，将说明针对从图像处理单元105输出的图像所执行的重新照亮处理。在本实施例中，重新照亮处理由重新照亮处理单元114使用系统控制单元50所计算出的控制参数来执行。因此，首先，将使用图5A所示的流程图来说明用于计算并设置重新照亮处理中所使用的控制参数的处理。[0059] 在S501中，系统控制单元50经由操作单元120从用户接受用以执行重新照亮处理的指示。具体地，系统控制单元50接受经由操作单元120所进行的通过菜单未示出选择执行重新照亮处理的用户操作。除用以执行重新照亮处理的指示外，系统控制单元50例如还接受经由菜单画面所指定的重新照亮处理的参数。[0060] 为了简化本实施例的说明，假定用户输入虚拟光源的位置和光源的强度α作为重新照亮参数可以使用从预先设置的选择项中选择参数的方法。假定虚拟光源垂直地照射被摄体面，则确定虚拟光源的位置还确定了虚拟光源的光照最强的位置中心照射位置。[0061] 图7A示意性示出虚拟光源位置和中心照射位置的示例。图7A示出虚拟光源7OI具有照射范围703和中心照射位置702的状态。假定虚拟光源仅影响照射范围703。[0062] 返回图5A，在S502中，系统控制单元50计算特定颜色的高光反射特性Rs，Gs，Bs。特定颜色的高光反射特性是拍摄时所反射的环境光被被摄体的具有特定颜色的部分反射的高光部分高亮度部分的RGB平均值。在本实施例中，光源特性提取单元207得出被摄体的区域中具有肤色且具有高亮度的像素的积分值Rt，Gt，Bt。这是因为，反射物体颜色的扩散反射成分在低亮度区域中占主导，而高光高亮度区域包含扩散反射成分和用于反映环境光源颜色的镜面反射成分这两者。[0063] 系统控制单元50将光源特性提取单元207所计算出的积分值，Gt，Bt除以S306中所计算出的计数数量N，并且计算出环境光对肤色区域光照强的高光部分的颜色Rs，Gs，Bs作为肤色高光反射特性。[0064] 在S503中，系统控制单元50生成用于将照射的虚拟光源的颜色转换并表示为摄像期间的环境光的颜色的增益系数，并且在重新照亮处理单元114中设置该增益。按照用户期望来设置虚拟光源的颜色增益Rv-Gain,Βν-Gain，并且在虚拟光源和环境光源是相同颜色的情况下，颜色增益如下所述:[0065] Rv-Gain=I[0066] Bv-Gain=I[0067] 在S504中，系统控制单元50指示重新照亮处理单元114执行重新照亮处理。[0068] 接着，将说明重新照亮处理单元114的结构及其所进行的操作的示例。[0069] 图6是示出重新照亮处理单元114的结构的框图。[0070]图6所示的RGB信号转换单元601将从图像存储器106输入的亮度和色差信号Y，B_Y,R-Y转换成颜色信号R，G，B。去伽玛degamma处理单元602执行去伽玛处理亮度伽玛处理单元202和颜色伽玛处理单元205所进行的处理的逆处理。[0071] 虚拟光源处理单元603将虚拟光源所提供的照亮效果添加至图像。平滑化处理单元604向去伽玛处理单元602所输出的颜色信号R，G，©应用平滑化并且将平滑化后的信号输出至虚拟光源处理单元603。色相饱和度转换单元605将去伽玛处理单元602所输出的RGB信号转换成色相和饱和度信号H，S。[0072] 伽玛处理单元606对虚拟光源处理单元603所输出的颜色信号R、G和B执行伽玛校正。亮度色差信号生成单元607将伽玛校正后的颜色信号R，G，B转换成亮度和色差信号Y，B-Y，R-Y，并且将这些信号输出至图像存储器106。[0073] 接着，将说明重新照亮处理单元114所进行的操作。[0074] 重新照亮处理单元114读出记录到图像存储器106中的亮度色差信号Y，B-Y，R-Y，并且将这些信号作为输入。RGB信号转换单元601将所输入的亮度色差信号Y，B-Y，R-Y转换成RGB信号并且将这些信号输出至去伽玛处理单元602。[0075] 去伽玛处理单元602通过执行具有与图像处理单元105的伽玛处理单元所应用的伽玛特性相逆的特性的处理来将信号转换成线性数据。将线性转换后的RGB信号输出至虚拟光源处理单元603、平滑化处理单元604和色相饱和度转换单元605。注意，去伽玛处理单元602可以设置在RGB信号转换单元601的前级并且执行去伽玛处理。例如，可以向Y信号应用相对于亮度伽玛处理单元202的逆处理，可以在使色差信号R-Y和B-Y恢复为RGB信号之后向色差信号R-Y和B-Y应用相对于颜色伽玛处理单元205的逆处理，并且可以将这些信号重新转换成色差信号R-Y和B-Y并输入至RGB信号转换单元601。[0076] 在平滑化处理单元604中，处理对象像素的去伽玛处理后的RGB格式的颜色信号Rt，Gt，Bt中的各颜色成分被该像素和周围像素的颜色信号值之间的平均值替换。例如，针对各颜色成分来计算以处理对象像素为中心的3X3像素区域中的九个像素的平均值，并且将这些平均值作为平滑化后的处理对象像素的颜色成分值。注意，该方法仅是平滑化的一个示例，并且可以使用任何期望方法。将平滑化处理单元604平滑化后的颜色信号Ra，Ga，Ba输出至虚拟光源处理单元603。通过应用平滑化所获得的颜色信号Ra，Ga，Ba表示处理对象像素附近的环境光反射特性。[0077]色相饱和度转换单元605将所输入的去伽玛处理后的RGB格式的颜色信号Rt，Gt1Bt转换成色相H和饱和度⑶，并且将转换后的色相H信号和饱和度⑶信号输出至虚拟光源处理单元603。[0078] 将使用图5B的流程图来说明虚拟光源处理单元603所执行的虚拟光源处理的详情。虚拟光源处理是用于将虚拟光源所提供的重新照亮效果添加至输入图像的处理。[0079] 虚拟光源处理单元603针对输入图像中的各像素执行图5B所示的虚拟光源处理。[0080] 在S510中，虚拟光源处理单元603判断处理对象像素是否位于虚拟光源的照射范围内。在图7A所示的示例中，虚拟光源处理单元603判断处理对象像素是否位于虚拟光源701的照射范围703内的中心照射位置702处。例如，可以通过采用中心照射位置702和虚拟光源701的位置作为参数并且使用预定函数得出图像中的照射范围703、然后将该范围与处理对象像素的图像坐标进行比较，来执行该判断。注意，虚拟光源701的位置可以是固定的或者可以是可变的，并且可以根据虚拟光源的类型等而使用不同的函数。此外，光束扩散的方式等可以由用户设置为可变的。[0081] 虚拟光源处理单元603在判断为处理对象像素位于虚拟光源的照射范围内的情况下，使处理进入S511，并且在判断为处理对象像素没有位于虚拟光源的照射范围内的情况下，在不添加重新照亮效果的状态下结束该处理。[0082] 在S511中，虚拟光源处理单元603判断处理对象像素的颜色是否与特定颜色匹配。这里，假定特定颜色是人的肤色，并且虚拟光源处理单元603判断处理对象像素的颜色是否在预先存储的与肤色相对应的颜色空间的区域内。该判断可以通过将像素值转换成定义特定颜色的颜色空间坐标系来执行。[0083] 如上所述，在本实施例中，利用如图4B所示的CrCb或UV颜色空间来定义肤色区域410;然而，可以利用其它颜色空间坐标系来定义该区域。这里，使用色相饱和度转换单元605所生成的具有相同相位的色相信号H和饱和度信号S来执行判断，因而假定虚拟光源处理单元603判断处理对象像素的色相信号和饱和度信号是否在肤色区域内。虚拟光源处理单元603在判断为处理对象像素的颜色在肤色区域内与特定颜色匹配的情况下，使处理进入S512，并且在判断为处理对象像素的颜色不在肤色区域内的情况下，使处理进人S513。[0084] 在S512和S513中，虚拟光源处理单元603确定通过处理对象像素反射虚拟光源的光虚拟光所产生的颜色Rv，Gv，Bv。该反射颜色还表现数字照相机100的传感器谱特性和图像处理特性。[0085] 在S512中，虚拟光源处理单元603计算虚拟光的被特定颜色肤色被摄体反射的虚拟光反射颜色Rv,Gv,Bv。如下所述，可以通过将S512中所计算出的肤色高光反射特性Rs，Gs,Bs乘以S502中所设置的虚拟光源颜色增益；Rv-Gain,Bv-Gain来计算虚拟光反射颜色Rv,Gv,Bvο[0086] Rv=Rv-Gain^Rs[0087] Gv=Gs[0088] Bv=Bv-Gain^Bs[0089]另一方面，在S513中，虚拟光源处理单元603计算虚拟光被并非特定颜色的被摄体所反射的虚拟光反射颜色Rv，Gv，Bv。如下所述，可以通过将平滑化处理单元604图6所计算出的颜色信号Ra，Ga，Ba乘以S502中所设置的虚拟光源颜色增益Rv-Gain，Bv-Gain来计算虚拟光反射颜色；Rv，Gv，Bv。[0090] Rv=Rv-Gain^Ra[0091] Gv=Ga[0092] Bv=Bv-Gain^Ba[0093] 在S514中，虚拟光源处理单元603计算处理对象像素和虚拟光源之间的距离D。在本实施例中，如图7B所示，例如，计算出虚拟光源701的中心照射位置702和处理对象像素704之间的距离作为距离D，距离D可以是使用像素之间的间距作为单位的值。[0094] 在S515中，虚拟光源处理单元603向处理对象像素添加重新照亮效果。具体地，按照基于虚拟光源照射增益α和S514中所计算出的距离D的权重来将S512或S513中所计算出的虚拟光反射颜色Rv，Gv，Bv与处理对象像素Rt，Gt，Bt相加。[0095] 在本实施例中，通过以下公式来计算虚拟光源所照射的处理对象像素Rout，Gout,Bout的各成分。[0096] Rout=Rt+αXlD'2XRv[0097] Gout=Gt+aXlD'2XGv[0098] Bout=Bt+aXID~2XBv[0099] 这里，虚拟光源照射增益是0〈a〈l。[0100] 可以通过对各像素执行上述处理来添加重新照亮效果。[0101] 返回图6，将从虚拟光源处理单元603输出的处理对象像素Rout，Gout，Bout输入至伽玛处理单元606ο伽玛处理单元606向处理对象像素Gtout,Gout,Bout应用伽玛校正并且输出具有校正后的值的像素》’0此，6’0此，8’0此。亮度色差信号生成单元607根据处理对象像素R’0Ut，G’0Ut，B’0Ut生成亮度信号Y和色差信号R-Y，B-Y，并且输出所生成的信号。[0102] 系统控制单元50在存储器控制单元107的控制下将重新照亮处理单元114所输出的亮度信号和色差信号累积在图像存储器106中，然后使用编解码单元110来对这些信号进行压缩编码。然后，系统控制单元50将压缩编码后的图像数据转换成预定文件格式，并且将该文件经由IF111记录在记录介质112中。[0103] 如上所述，在本实施例中，通过向图像空间或颜色空间内处理对象像素附近所存在的多个像素应用平滑化来估计实际环境光的反射特性反射颜色。然后，基于所估计的环境光反射特性反射颜色来估计虚拟光反射颜色Rv，Gv，Bv。然后，通过将所估计的虚拟光反射颜色Rv，Gv，Bv作为明度校正值与处理对象像素Rt，Gt，Bt相加，来添加重新照亮效果。因此，与通过向处理对象像素Rt，Gt，Bt的值应用增益来放大该值的情况相比，可以在抑制噪声成分的增加的同时添加重新照亮效果。[0104] 针对特别不希望由于重新照亮效果而导致色相改变的颜色的区域，基于该颜色的高光部分的反射特性Rs，Gs，Bs来执行相加。因此，在向虚拟光源赋予与环境光源相同的颜色的情况下，可以实现添加了环境光的照射的效果，并且可以抑制重新照亮后的区域的色相发生改变。[0105] 通常，由于图像传感器的暗区域特性，因而诸如阴影等的暗区域具有与高光区域不同的色相。在添加重新照亮效果以使这种暗区域变明亮的情况下，向暗区域的像素值应用正的增益来单纯放大暗区域，这将会在通过重新照亮效果而变明亮的区域和原本明亮的区域之间产生色相差异，而这两种区域本来意图是相同颜色。然而，在本实施例中，在要使给定颜色的像素变明亮的情况下，使用从具有相同颜色的高光区域获得的反射特性来对像素值进行相加，从而可以在维持相同色相的情况下增加明度。[0106]尽管本实施例说明了提取肤色高光部分并且基于所提取的肤色来预测虚拟光源的反射颜色，但所提取的区域不限于肤色部分。可以使用任何区域，只要该结构基于环境光以不同方式落入的区域来预测虚拟光的反射即可。例如，可以添加除肤色以外的颜色作为条件。该结构可以如下:除肤色外，还添加人的头发的黑色区域等。[0107]尽管本实施例说明了肤色是特征颜色的情况以便于理解本发明，但可以使用被摄体的任何期望的特征颜色。特征颜色可以是被摄体中所占的百分比高的颜色，或者可以是基于被摄体的类型的颜色。结构可以如下:用户指定特征颜色。可以针对任何给定的特征颜色得出环境光反射特性。此外，特征颜色不限于单个颜色，并且在针对多个特征颜色各自得出了环境光反射特性的情况下，可以执行上述处理。[0108] 根据相同颜色的高光部分所估计的虚拟光的反射颜色在根据与应用了重新照亮处理的处理对象像素有关的区域进行估计的情况下更加精确。因此，可以采用如下结构:例如在处理对象像素是肤色的情况下，使用根据处理对象像素附近的或处理对象像素所属于的肤色区域内的高光部分或者相同被摄体区域中所存在的相同颜色的高光部分等而估计出的值。如此，结构可以如下:在图像中存在多个单独特定颜色区域的情况下，基于各区域的高光部分来估计虚拟光反射颜色然后保持该虚拟光反射颜色，然后基于处理对象像素的坐标来选择要使用的虚拟光反射颜色。在这种情况下，可以使用最近的计算值，或者可以使用在同一被摄体区域内所计算出的值。[0109] 注意，这样假定了使像素变明亮的重新照亮效果，因而虚拟光源照射增益α被描述为正的值;然而，还可以添加使像素变暗的重新照亮效果。在这种情况下，光源特性提取单元207从暗区域中而非高反射的部分中提取反射特性，并且将虚拟光源照射增益α设置为负的值。[0110]另外，尽管本实施例说明了使以中心照射位置为中心的圆形区域内的所有像素均经受虚拟光源的影响以便于本发明的说明和理解，但结构也可以如下:仅使满足特定条件的像素经受虚拟光源的影响。例如，面部检测单元113可以提取人的面部区域，并且在照射范围703中，可以仅使面部区域经受虚拟光源的影响。可选地，可以使用数字照相机100所测量到的诸如散焦量等的被摄体的距离信息，并且在照射范围703中，可以仅使与预定距离内所存在的被摄体相对应的像素经受虚拟光源的影响。[0111]另外，用于对相加值进行加权的距离D不限于如本实施例所述的从中心照射位置起直到相加对象像素为止的图像中的距离，并且可以使用其它期望距离。例如，可以获得数字照相机和被摄体的三维位置，并且可以计算这两者之间的三维距离。[0112] 最后，尽管说明了按与距离D的平方成反比的权重来添加虚拟光源的效果的示例，但距离D和权重之间的关系不限于此。例如，权重可以与距离D成反比、或者权重可以根据高斯分布而改变等。[0113] 第二实施例[0114] 接着，将说明本发明的第二实施例。尽管第一实施例说明了根据单个拍摄图像来估计虚拟光反射颜色，但第二实施例说明使用多个拍摄图像来进行估计。如此，以下将仅说明与第一实施例有所不同的、重新照亮处理单元114的内部结构和系统控制单元50所进行的操作。[0115]图8A是示出根据本实施例的系统控制单元50在拍摄图像时所进行的操作的流程图。在图8A的S801中，系统控制单元50判断拍摄模式。假定用户可以通过对操作单元120进行操作来使拍摄模式在应用重新照亮的拍摄模式和正常拍摄模式之间切换。系统控制单元50在设置了应用重新照亮的拍摄模式的情况下使处理进入S802，并且在设置了其它拍摄模式这里为正常模式的情况下使处理进入S806。在S806中，系统控制单元50经由正常模式来拍摄单个图像即，按适当曝光拍摄图像并且结束该处理。[0116] 在S802中，系统控制单元50首先拍摄过度曝光图像。例如，按高曝光条件来拍摄诸如图4A中的像素404等的被摄体的阴影区域，使得像素404处于适当曝光。因而，存在更明亮的区域403将发生饱和高光溢出的可能性。[0117] 在S803中，系统控制单元50将所拍摄到的过度曝光图像记录到图像存储器106中。[0118] 在S804中，系统控制单元50按适当曝光拍摄图像。“适当曝光”是指主被摄体在图4A的示例中为被摄体的面部中的明亮区域403处于合适明度的曝光。注意，可以从适当曝光的拍摄起执行S802〜S804的处理。如在生成HDR合成图像时通常所考虑的那样，可以以被摄体没有移动以及被摄体的明度没有明显改变等的方式在短的时间段内连续拍摄两个图像。[0119] 在S805中，系统控制单元50通过将曝光不同的两个拍摄图像顺次地供给至图像处理单元105，来生成所谓的HDR合成图像。该合成图像与表示环境光反射特性的信息相对应。图像处理单元105的功能结构和基本处理操作与第一实施例相同，因而将省略针对该功能结构和基本处理操作的重复说明，其中说明关注于作为本实施例的特征的由光源特性提取单元207所进行的处理操作。[0120] 例如，系统控制单元50在不将第二个拍摄图像记录到系统存储器122中的情况下将该图像供给至图像处理单元105，然后将记录到系统存储器122中的第一个拍摄图像供给至图像处理单元105。在重新照亮模式中，光源特性提取单元207通过将所供给的多个图像进行合成来生成单个合成图像。[0121]具体地，光源特性提取单元207通过在按适当曝光拍摄到的图像中的诸如存在图4A所示的像素404的区域等的暗区域中替换为按过度曝光所拍摄到的图像中的像素，来生成单个合成图像。此时，如果替换所使用的像素是过度曝光的，则将该像素转换成与适当曝光相对应的明度。这样所获得的合成图像是阴影所产生的暗区域较少的图像。图像处理单元105将合成图像记录到图像存储器106中。[0122] 注意，在S802〜S804中，可以在改变过度曝光的程度的情况下拍摄多个图像，然后可以在生成合成图像时使用多个过度曝光图像中的适当曝光的像素。[0123] 接着，将说明根据本实施例的重新照亮处理单元114’的结构及其所进行的操作。图9是示出根据本实施例的重新照亮处理单元114’的功能结构的示例的图。向与第一实施例相同的功能块赋予与图6相同的附图标记，并且将省略针对这些功能块的说明。接着将说明在使用图5A所述的控制参数计算和设置处理之后由重新照亮处理单元114’所进行的操作。[0124] 在重新照亮处理单元114’中，将按适当曝光拍摄到的图像输入至RGB信号转换单元601，并且将光源特性提取单元207所生成的合成图像输入至平滑化处理单元902。注意，平滑化处理单元902对如下像素应用平滑化，并且将平滑化后的像素信号Rc，Gc，Bc输出至虚拟光源处理单元901，其中该像素位于与从去伽玛处理单元602接收到的并且由虚拟光源处理单元901进行处理后的处理对象像素相同的图像坐标处。平滑化的详情与第一实施例相同。[0125] 虚拟光源处理单元901向从去伽玛处理单元602输入的按适当曝光拍摄到的拍摄图像信号添加重新照亮效果。将使用图SB所示的流程图来说明虚拟光源处理单元901所进行的操作。[0126] 在S810中，以与第一实施例中的S510的处理相同的方式，虚拟光源处理单元901判断处理对象像素是否位于虚拟光源的照射范围内。虚拟光源处理单元901在判断为处理对象像素位于虚拟光源的照射范围内的情况下，使处理进入S811，并且在判断为处理对象像素没有位于虚拟光源的照射范围内的情况下，在不添加重新照亮效果的状态下结束该处理。[0127] 在S811中，虚拟光源处理单元901计算虚拟光反射颜色Rv，Gv，Bv。如下所述，可以通过将平滑化处理单元902根据合成图像所计算出的颜色信号Rc，Gc，Bc乘以S502中所设置的虚拟光源颜色增益；Rv-Gain，Bv-Gain来计算虚拟光反射颜色；Rv，Gv，Bv。[0128] Rv=Rv-Gain^Rc[0129] Gv=Gc[0130] Bv=Bv-Gain^Bc[0131] 在S812中，虚拟光源处理单元901计算虚拟光源和处理对象像素之间的距离D。这可以与第一实施例中的S514的处理相同。[0132] 在S813中，虚拟光源处理单元901向处理对象像素添加重新照亮效果。具体地，将S811中所计算出的虚拟光反射颜色Rv，Gv，Bv按基于虚拟光源照射增益⑷和S812中所计算出的距离D的权重来与处理对象像素Rt，Gt，Bt相加。[0133]同样在本实施例中，通过以下的公式来计算虚拟光源所照射的处理对象像素Rout,Gout,Bout的各成分ο[0134] Rout=Rt+αXlD'2XRv[0135] Gout=Gt+aXlD'2XGv[0136] Bout=Bt+aXlD'2XBv[0137] 这里，虚拟光源照射增益是0〈a〈l。[0138] 可以通过对各像素执行上述处理来添加重新照亮效果。[0139] 由虚拟光源处理单元901添加了重新照亮效果的像素信号由伽玛处理单元606进行伽玛处理，由亮度色差信号生成单元607转换成亮度色差信号，并且被输出。[0140]如至此所述，本实施例提供如下结构:使用利用过度曝光图像的像素对适当曝光图像的暗区域的像素进行合成的图像来计算虚拟光反射颜色Rv，Gv，Bv。因此，在要向适当曝光图像的暗区域中的像素添加重新照亮效果的情况下，即使在不使用根据相同颜色的高光部分所估计出的虚拟光反射颜色的情况下，也可以抑制添加了重新照亮效果之后的颜色不同于原本明亮的区域的颜色。[0141] 此外，与第一实施例相同，可以在不会增加噪声的情况下添加重新照亮效果。[0142]尽管本实施例说明了仅在设置了应用重新照亮的拍摄模式的情况下拍摄过度曝光图像，但结构可以如下:与拍摄模式无关地按适当曝光和过度曝光这两者拍摄图像，并且将这些图像记录到记录介质中。[0143] 注意，对于经过重新照亮处理的图像，可以发现是否存在按过度曝光拍摄到的图像，并且在存在这种图像的情况下可以使用第二实施例的方法，而在不存在这种图像的情况下可以执行第一实施例的方法。在这种情况下，例如，通过将重新照亮处理单元114作为软件实现、或者通过使用能够动态地重新配置的可编程逻辑阵列，来动态地执行这两个方法。当然，可以单独设置重新照亮处理单元114和114’。[0144] 其它实施例[0145] 还可以通过读出并执行记录在存储介质还可被更完整地称为“非瞬态计算机可读存储介质”上的计算机可执行指令例如，一个或多个程序以进行本发明的上述实施例中的一个或多个的功能以及或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路例如，专用集成电路ASIC的系统或设备的计算机和通过下面的方法来实现本发明的实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器例如，中央处理单元CPU、微处理单元MPU，并且可以包括单独计算机或单独计算机处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器RAM、只读存储器ROM、分布式计算机系统的存储器、光盘诸如致密盘CD、数字多功能盘DVD或蓝光盘BD1等、闪速存储装置和存储卡等中的一个或多个。[0146]尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功會K。[0147] 本申请要求2014年6月18日提交的日本专利申请2014-125755的优先权，在此通过引用包含其全部内容。

权利要求：1.一种图像处理设备，用于对图像中的像素的明度进行校正，所述图像处理设备包括:估计部件，用于估计拍摄所述图像时的环境光的反射特性；计算部件，用于计算基于所述环境光的反射特性来对所述像素的明度进行校正的校正值；以及校正部件，用于通过将所述校正值与所述像素相加来对所述像素的明度进行校正，其中，所述估计部件通过向所述图像应用平滑化来估计所述环境光的反射特性。2.根据权利要求1所述的图像处理设备，其中，所述估计部件通过向所述像素周围所存在的多个像素应用平滑化，来估计所述环境光的反射特性。3.根据权利要求1或2所述的图像处理设备，其中，所述估计部件通过向与所述像素相同的特征区域中所存在的多个像素应用平滑化，来估计所述环境光的反射特性。4.根据权利要求1至3中任一项所述的图像处理设备，其中，在所述像素的颜色在由颜色空间预先确定的特定颜色的区域内的情况下，所述估计部件通过向所述图像的像素中的、具有所述特定颜色的区域内所包括的颜色的多个像素应用平滑化，来估计所述环境光的反射特性。5.根据权利要求4所述的图像处理设备，其中，在所述像素的颜色在所述特定颜色的区域内的情况下，所述估计部件通过向所述图像的像素中的、具有所述特定颜色的区域内所包括的颜色并且明度等于或大于预定明度的多个像素应用平滑化，来估计所述环境光的反射特性。6.根据权利要求1至3中任一项所述的图像处理设备，其中，所述估计部件使用合成图像来估计所述环境光的反射特性，其中在所述合成图像中，所述图像的像素中的、明度小于或等于预定明度的像素被按相对于所述图像的过度曝光所拍摄到的图像中的相应像素所替换。7.根据权利要求1至6中任一项所述的图像处理设备，其中，所述环境光的反射特性表示所述环境光的反射光的颜色。8.根据权利要求1至7中任一项所述的图像处理设备，其中，所述估计部件针对所述图像的各颜色成分应用平滑化，以及所述校正部件针对各所述颜色成分计算所述校正值。9.根据权利要求1至8中任一项所述的图像处理设备，其中，所述校正部件仅对所述图像中的存在于特定区域中的像素执行校正。10.根据权利要求9所述的图像处理设备，其中，所述特定区域是来自预定的虚拟光源的光所照射的范围。11.根据权利要求10所述的图像处理设备，其中，在所述虚拟光源的颜色与所述环境光的颜色不同的情况下，所述计算部件通过基于所述虚拟光源的颜色对所述环境光的反射特性进行转换，来计算所述校正值。12.根据权利要求10或11所述的图像处理设备，其中，所述计算部件基于相对于所述虚拟光源的中心照射位置的距离，来改变应用于所述像素的所述校正值。13.—种摄像设备，包括:根据权利要求1至12中任一项所述的图像处理设备；以及拍摄部件，用于拍摄所述图像。14.一种图像处理设备，包括:计算部件，用于计算用于校正对象图像中的第一区域的明度的校正值；确定部件，用于确定所述计算部件在计算所述校正值时所参考的处于所述对象图像中的第二区域;以及校正部件，用于对所述第一区域的明度进行校正，其中，所述确定部件基于所述第一区域的颜色信息来确定所述第二区域，所述计算部件基于所述第二区域的颜色信息来计算针对所述第一区域内的多个颜色的各颜色信号的多个校正值，以及所述校正部件通过基于所述计算部件所计算出的多个校正值校正所述第一区域内的多个颜色的各颜色信号，来校正所述第一区域的明度。15.根据权利要求14所述的图像处理设备，其中，所述校正部件通过将所述计算单元所计算出的多个校正值与所述第一区域内的多个颜色的各颜色信号相加，来校正所述第一区域的明度。16.根据权利要求14所述的图像处理设备，其中，还包括:设置部件，用于在所述对象图像中设置所述校正部件要进行校正的校正对象区域，其中，所述第一区域处于所述校正对象区域内，以及所述计算部件基于所述设置部件所设置的校正对象区域的中心位置和所述第一区域的中心位置之间的差，来计算所述多个校正值。17.根据权利要求14所述的图像处理设备，其中，所述计算部件针对各颜色对所述第二区域内的颜色信号进行平均，并且基于平均化后的各颜色信号来计算所述多个校正值。18.根据权利要求14所述的图像处理设备，其中，在所述第一区域存在于特定颜色的区域中的情况下，所述确定部件从所述特定颜色的区域中确定所述第二区域。19.根据权利要求18所述的图像处理设备，其中，在所述第一区域存在于所述特定颜色的区域中的情况下，所述确定部件从所述特定颜色的区域中确定亮度值大于或等于预定值的区域作为所述第二区域。20.根据权利要求19所述的图像处理设备，其中，在所述第一区域不存在于所述特定颜色的区域中的情况下，所述确定部件将所述第一区域周围的区域确定作为所述第二区域。21.根据权利要求16所述的图像处理设备，其中，所述校正部件以利用来自虚拟光源的光照射所述对象图像中所存在的被摄体的方式，来校正所述校正对象区域的明度。22.根据权利要求21所述的图像处理设备，其中，所述计算部件基于来自所述虚拟光源的光的色温来计算所述多个校正值。23.—种图像处理设备，包括:校正部件，用于校正对象图像中的第一区域的明度；以及确定部件，用于确定所述校正部件校正所述第一区域的明度时所参考的处于所述对象图像中的第二区域，其中，所述校正部件在校正所述第一区域的明度时，使所述第一区域的颜色信息接近所述第二区域的颜色信息。24.—种图像处理方法，用于对图像中的像素的明度进行校正，所述图像处理方法包括以下步骤:估计步骤，用于估计拍摄所述图像时的环境光的反射特性；计算步骤，用于计算基于所述环境光的反射特性来对所述像素的明度进行校正的校正值；以及校正步骤，用于通过将所述校正值与所述像素相加来对所述像素的明度进行校正，其中，所述估计步骤通过向所述图像应用平滑化来估计所述环境光的反射特性。25.—种图像处理方法，包括以下步骤:计算步骤，用于计算用于校正对象图像中的第一区域的明度的校正值；确定步骤，用于确定所述计算步骤中计算所述校正值时所参考的处于所述对象图像中的第二区域;以及校正步骤，用于校正所述第一区域的明度，其中，所述确定步骤基于所述第一区域的颜色信息来确定所述第二区域，所述计算步骤基于所述第二区域的颜色信息来计算针对所述第一区域内的多个颜色的各颜色信号的多个校正值，以及所述校正步骤通过基于所述计算步骤中所计算出的多个校正值校正所述第一区域内的多个颜色的各颜色信号，来校正所述第一区域的明度。26.—种图像处理方法，包括以下步骤:校正步骤，用于校正对象图像中的第一区域的明度；以及确定步骤，用于确定所述校正步骤校正所述第一区域的明度时所参考的处于所述对象图像中的第二区域，其中，所述校正步骤在校正所述第一区域的明度时，使所述第一区域的颜色信息接近所述第二区域的颜色信息。27.—种程序，用于使计算机用作根据权利要求1所述的图像处理设备的各部件。28.—种程序，用于使计算机用作根据权利要求14所述的图像处理设备的各部件。29.—种程序，用于使计算机用作根据权利要求23所述的图像处理设备的各部件。

百度查询： 佳能株式会社 图像处理设备、摄像设备和图像处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD