买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】图像处理设备、摄像设备、图像处理方法和存储介质_佳能株式会社_201680026847.4 

申请/专利权人:佳能株式会社

申请日:2016-04-21

公开(公告)日:2021-07-16

公开(公告)号:CN107960120B

主分类号:G02B7/34(20210101)

分类号:G02B7/34(20210101);H04N5/232(20060101);G03B13/36(20210101);H04N13/128(20180101);H04N13/239(20180101)

优先权:["20150508 JP 2015-095348","20160413 JP 2016-080328"]

专利状态码:有效-授权

法律状态:2021.07.16#授权;2018.05.18#实质审查的生效;2018.04.24#公开

摘要:问题:本发明提供能够生成质量有所提高的视差图像的图像处理设备。解决手段:该图像处理设备包括:获取单元125a,用于获取基于用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束的多个光电转换器中的一个光电转换器的信号所生成的视差图像,并且获取通过对所述多个光电转换器的多个信号进行合成而生成的拍摄图像;以及图像处理单元125b,用于基于所述拍摄图像来进行校正处理,以减少所述视差图像中所包括的缺陷。

主权项:1.一种图像处理设备,包括:获取单元,用于获取基于来自多个光电转换器中的一个光电转换器的信号所生成的视差图像并且获取拍摄图像,其中,所述多个光电转换器用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束,所述拍摄图像是通过对来自包括所述一个光电转换器的所述多个光电转换器的多个信号进行合成而生成的图像;以及图像处理单元,用于通过使用作为参考图像的所述拍摄图像的信号来计算校正值并使用所述校正值来校正所述视差图像,其中,所述图像处理单元基于被判断为缺陷的第一位置处的所述拍摄图像的像素值、没有被判断为缺陷的第二位置处的所述视差图像的像素值以及所述第二位置处的所述拍摄图像的像素值,来对所述第一位置处的所述视差图像的像素值进行校正。

全文数据:图像处理设备、摄像设备、图像处理方法、程序和存储介质技术领域[0001]本发明涉及能够校正视差图像的图像处理设备。背景技术[0002]传统上,已知能够将摄像镜头的出射光瞳分割成多个光瞳区域并且同时拍摄与所分割出的光瞳区域相对应的多个视差图像的摄像设备。所拍摄的视差图像视点图像与作为与光强度的空间分布和角度分布有关的信息的LF光场数据等效。[0003]专利文献1公开了针对一个像素使用包括一个微透镜和分割出的多个光电转换器的二维摄像元件的摄像设备。分割出的光电转换器经由一个微透镜接收穿过摄像镜头的出射光瞳的不同部分光瞳区域的光束,从而进行光瞳分割。可以基于分割出的各光电转换器的光接收信号来生成与所分割出的部分光瞳区域相对应的多个视差图像。专利文献2公开了将分割出的光电转换器的各个光接收信号进行相加并且生成拍摄图像的摄像设备。[0004]现有技术文献[0005]引用文献列表[0006]专利文献[0007]专利文献1:美国专利4410804[0008]专利文献2:日本特开2001-083407发明内容[0009]发明要解决的问题[0010]然而,在通过专利文献1和专利文献2公开的摄像设备所获得的视差图像视点图像的一部分中,可能产生诸如点瑕疵和线瑕疵等的缺陷瑕疵信号)、由光瞳分割所导致的阴影以及饱和信号等,并且视差图像可能劣化。[0011]因此,本发明的目的是提供各自可以生成具有质量有所提高的视差图像的图像处理设备、摄像设备、图像处理方法、程序和存储介质。[0012]用于解决问题的方案[0013]作为本发明的一个方面,一种图像处理设备,包括:获取单元,用于获取基于来自多个光电转换器中的一个光电转换器的信号所生成的视差图像,并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像,其中所述多个光电转换器用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束;以及图像处理单元,用于基于所述拍摄图像来校正所述视差图像。[0014]作为本发明的另一方面,一种摄像设备,包括:摄像元件,其包括多个排列像素,其中所述多个排列像素具备用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束的多个光电转换器;获取单元,用于获取基于来自所述多个光电转换器中的一个光电转换器的信号所生成的视差图像,并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像;以及图像处理单元,用于基于所述拍摄图像来校正所述视差图像。[0015]作为本发明的另一方面,一种图像处理方法,包括以下步骤:获取基于来自多个光电转换器中的一个光电转换器的信号所生成的视差图像,并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像,其中所述多个光电转换器用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束;以及基于所述拍摄图像来校正所述视差图像。[0016]作为本发明的另一方面,一种程序,用于使计算机执行包括以下步骤的处理:获取基于来自多个光电转换器中的一个光电转换器的信号所生成的视差图像,并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像,其中所述多个光电转换器用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束;以及基于所述拍摄图像来校正所述视差图像。[0017]作为本发明的另一方面,存储介质存储上述程序。[0018]通过以下参考附图对典型实施例的说明,本发明的其它特征和方面将变得明显。[0019]发明的效果[0020]本发明可以提供能够生成具有质量有所提高的视差图像的图像处理设备、摄像设备、图像处理方法、程序和存储介质。附图说明[0021]图1是各实施例中的摄像设备的框图。[0022]图2是示出根据第一实施例的像素阵列的图。[0023]图3A是示出根据第一实施例的像素结构的图。[0024]图3B是示出根据第一实施例的像素结构的图。[0025]图4是各实施例中的摄像元件和光瞳分割功能的说明图。[0026]图5是各实施例中的摄像元件和光瞳分割功能的说明图。[0027]图6是各实施例中的散焦量和图像偏移量之间的关系的图。[0028]图7A是各实施例中的视差图像的配置图。[0029]图7B是各实施例中的视差图像的配置图。[0030]图8是第一实施例中的进行校正处理之前的典型视差图像。[0031]图9是第一实施例中的进行了校正处理之后的典型视差图像。[0032]图10是第一实施例中的进行校正处理之前的另一典型视差图像。[0033]图11是第一实施例中的进行了校正处理之后的另一典型视差图像。[0034]图12是示出第二实施例中的像素阵列的图。[0035]图13A是示出第二实施例中的像素结构的图。[0036]图13B是示出第二实施例中的像素结构的图。[0037]图14是各实施例中的再聚焦处理的示意性说明图。[0038]图15A是第三实施例中的在光入射至各像素上所形成微透镜的情况下的光强度分布的说明图。[0039]图15B是第三实施例中的在光入射至各像素上所形成微透镜的情况下的光强度分布的说明图。[0040]图16示出第三实施例中的依赖于光入射角的光接收率分布。[0041]图17是第三实施例中的校正处理的流程的示意图。[0042]图18是第三实施例中的校正处理的流程的示意图。[0043]图19A是第三实施例中的阴影的说明图。[0044]图19B是第三实施例中的阴影的说明图。[0045]图19C是第三实施例中的阴影的说明图。[0046]图20A是第三实施例中的拍摄图像的投影信号的说明图。[0047]图20B是第三实施例中的第一视点图像的投影信号的说明图。[0048]图20C是第三实施例中的拍摄图像的阴影函数的说明图。[0049]图21是第三实施例中的拍摄图像去马赛克后的示例。[0050]图22是第三实施例中的阴影校正前的第一视点图像去马赛克后)的示例。[0051]图23是第三实施例中的阴影校正后的第一视点(第一校正)图像去马赛克后)的示例。[0052]图24是第三实施例中的缺陷校正前的第一视点(第一校正)图像去马赛克后且阴影校正后)的示例。[0053]图25是第三实施例中的缺陷校正后的第一视点(第二校正)图像去马赛克后且阴影校正后)的示例。[0054]图26是第三实施例中的阴影校正前的第二视点(第一校正)图像去马赛克后)的示例。[0055]图27是第三实施例中的阴影校正后的第二校正视点图像去马赛克后)的示例。具体实施方式[0056]以下将参考附图来说明本发明的典型实施例。[0057]第一实施例[0058]现在,将参考图1来说明根据本发明的第一实施例的摄像设备的示意性结构。图1是本实施例中的摄像设备100照相机的框图。摄像设备100是包括照相机主体和可移除地安装至照相机主体的可更换镜头(成像光学系统或摄像光学系统)的数字照相机系统。然而,本实施例不限于该示例,并且可适用于包括照相机主体和镜头彼此一体化的摄像设备。[0059]第一透镜单元101在构成摄像镜头成像光学系统)的多个透镜单元中配置在最前侦U被摄体侧),并且被保持在镜筒上,以使得沿光轴OA的方向(光轴方向)往复移动。光圈快门102孔径光圈)调节其开口直径以控制拍摄图像时的光量,并且还用作快门以控制拍摄静止图像时的曝光时间。第二透镜单元103与光圈快门102—体化地沿着光轴方向往复移动,并且具有与第一透镜单元101的往复运动连动地进行变倍操作的变焦功能。第三透镜单元105是沿光轴方向往复移动以进行调焦调焦操作)的调焦透镜单元。光学低通滤波器106是用于减少拍摄图像的伪色或摩尔纹的光学元件。[0060]摄像元件107图像传感器进行对成像光学系统所形成的被摄体图像光学图像)的光电转换,并且例如包括CMOS传感器或CCD传感器及其周边电路。作为摄像元件107,例如,使用如下的二维单板颜色传感器,其中该二维单板颜色传感器在片上结构中具备在水平方向上具有m个像素且在垂直方向上具有n个像素的光接收像素上所形成的拜尔阵列的原色马赛克滤波器。[0061]变焦致动器111转动移动驱动未示出的凸轮筒以沿光轴方向移动第一透镜单元101和第二透镜单元103,从而进行变倍操作。光圈快门致动器112控制光圈快门102的开口直径,以调节光量摄像光量),并且还控制静止图像拍摄时的曝光时间。调焦致动器114沿光轴方向移动第三透镜单元105以进行调焦。[0062]电子闪光灯115是要用于照明被摄体的照明装置。电子闪光灯115可以使用包括氙管的闪光灯照明装置或者包括连续发光的LED发光二极管的照明装置。AF辅助光单元116经由投影透镜将具有预定开口图案的掩模的图像投影到被摄体上。该配置可以提高针对暗被摄体或者具有低对比度的被摄体的焦点检测能力。[0063]CPU121是管理摄像设备100上的各种控制的控制设备控制单元或控制器)XPU121包括处理器、R0M、RAM、AD转换器、DA转换器和通信接口电路等。CPU121读出并执行ROM中所存储的预定程序,以驱动摄像设备100的各种电路,并且进行诸如焦点检测AF、摄像拍摄)、图像处理或记录等的一系列操作。[0064]电子闪光灯控制电路122与摄像操作同步地控制电子闪光灯115的点亮和熄灭。辅助光驱动电路123与焦点检测操作同步地控制AF辅助光单元116的点亮和熄灭。摄像元件驱动电路124控制摄像元件107的摄像操作并且还进行对所获取到的图像信号的AD转换以将其发送至CPU121。[0065]图像处理电路125图像处理设备对从摄像元件107输出的图像数据进行诸如γ伽马变换、颜色插值或者JPEG联合图像专家组压缩等的处理。在本实施例中,图像处理电路125包括获取单元125a和图像处理单元125b校正器)。获取单元125a从摄像元件107获取拍摄图像和至少一个视差图像视点图像)。拍摄图像是通过将从用于接收穿过成像光学系统的不同部分光瞳区域的光束的多个光电转换器第一子像素和第二子像素)的多个信号第一信号和第二信号进行合成而生成的图像。视差图像视点图像是基于来自多个光电转换器中的光电转换器第一子像素或第二子像素)的信号而生成的图像。图像处理单元125b基于拍摄图像来进行校正处理缺陷校正),以使得减少视差图像中所包含的缺陷。[0066]调焦驱动电路126调焦驱动器基于焦点检测结果来驱动调焦致动器114,以沿光轴方向移动第三透镜单元105,从而进行调焦。光圈快门驱动电路128驱动光圈快门致动器112,以控制光圈快门102的开口直径。变焦驱动电路129变焦驱动器响应于用户的变焦操作而驱动变焦致动器111。[0067]显示装置131显示单元例如包括LCD液晶显示器)。显示装置131显示与摄像设备100的摄像模式有关的信息、拍摄前的预览图像、拍摄后的确认用图像或者焦点检测时的聚焦状态显示图像等。操作构件132操作开关单元包括电源开关、释放摄像触发器开关、变焦开关和摄像模式选择开关等。释放开关是具有半按下状态SW1接通的状态和全按下状态SW2接通的状态)的二级开关。记录介质133例如是相对于摄像设备100可移除的闪速传感器,并且记录拍摄图像图像数据)。[0068]现在,将参考图2、3A和3B来说明根据本实施例的摄像元件107的像素阵列和像素结构。图2是示出摄像元件107的像素阵列的图。图3A和图3B是示出摄像元件107的像素结构的图,并且图3A示出摄像元件107的像素200G的平面图(沿+z方向观看到的图),以及图3B示出图3A中的a-a截面图沿a-z方向观看到的图)。[0069]图2示出4列X4行范围的摄像元件107二维CMOS传感器上的像素阵列摄像像素的阵列)。在本实施例中,各摄像像素像素2001?、2006和20«包括两个子像素201和202。因此,图2示出8列X4行范围的子像素的阵列。[0070]如图2所示,2列\2行的像素组200包括采用拜尔阵列的像素2001?、2006和20«。在像素组200中,具有针对R红色)的光谱灵敏度的像素200R配置在左上方,具有针对G绿色)的光谱灵敏度的像素200G配置在右上方和左下方,以及具有针对B蓝色)的光谱灵敏度的像素200B配置在右下方。像素200R、200G和200B各自(各摄像像素包括以2列X1行排列的子像素201和202。子像素201是用于接收穿过成像光学系统中的第一光瞳区域的光束的像素。子像素202是用于接收穿过成像光学系统中的第二光瞳区域的光束的像素。[0071]如图2所示,摄像元件107包括在其表面配置的许多4列X4行的摄像像素8列X4行的子像素),并输出摄像信号子像素信号)。在本实施例的摄像元件107中,像素摄像像素的周期P是4μπι,以及像素摄像像素的数量N是水平方向5575列X垂直方向3725行=约2075万个像素。在摄像元件107中,列方向上的子像素的周期Psub是2μπι,以及子像素的数量Nsub是水平方向11150列X垂直方向3725行=约4150万个像素。可选地,摄像元件107可以具有6μπι的像素周期P以及水平方向6000列X垂直方向4000行=约2400万个像素的像素摄像像素数量Ν。可选地,在摄像元件107中,列方向上的子像素的周期Psub可以是3μπι,以及子像素的数量Nsub可以是水平方向12000列X垂直方向4000行=约4800万个像素。[0072]如图3Β所示,本实施例的像素200G在像素的光接收面侧设置有微透镜305,以会聚入射光。以二维方式排列多个微透镜305,并且各微透镜305配置在ζ轴方向(光轴OA的方向)上远离光接收面预定距离的位置处。在像素200G中,通过在X方向上将像素分割成Nh个二分割并且在y方向上分割成Nv个一分割来形成光电转换器301和光电转换器302光电转换器)。光电转换器301和光电转换器302分别对应于子像素201和子像素202。[0073]光电转换器301和302各自被配置为具有p-i-n结构的光电二极管,其中该p-i-n结构包括P型层和η型层以及p型层和η型层之间的本征层。根据需要,可以省去本征层,并且可以应用具有ρ-η结的光电二极管。像素200G各像素在微透镜305与光电转换器301和302各自之间设置有颜色滤波器306。根据需要,可以针对各子像素改变颜色滤波器306的光谱透过率,或者可选地,可以去除颜色滤波器。[0074]如图3Α和3Β所示,入射至像素200G的光被微透镜305会聚,并且被颜色滤波器306分光,然后通过光电转换器301和302接收分光。在光电转换器301和302各自中,根据光接收量生成电子和空穴对,并且它们在耗尽层中被分离,然后具有负电荷的电子累积在η型层中。另一方面,经由连接至恒压源未示出)的P型层将空穴排出至摄像元件107的外部。将在光电转换器301和302的η型层中所累积的电子经由传输门而传输至静电电容部FD,以转换成电压信号。[0075]现在,将参考图4来说明摄像元件107的光瞳分割功能。图4是摄像元件107的光瞳分割功能的说明图,并且示出一个像素部分的光瞳分割。图4示出从+y方向观看的图3Α所示的像素结构的a-a截面图以及成像光学系统的出射光瞳。在图4中,为了与出射光瞳面的坐标轴相对应,将截面图中的X轴和y轴相对于图3A和3B的X轴和y轴反转。[0076]在图4中,子像素201第一子像素)的部分光瞳区域501第一部分光瞳区域经由微透镜305而与重心沿-X方向偏移偏心)的光电转换器301的光接收面具有大致共辄关系。因而,部分光瞳区域501表不能够通过子像素201来接收光的光瞳区域。子像素201的部分光瞳区域501的重心在光瞳面上沿+X方向偏移偏心)。子像素202第二子像素)的部分光瞳区域502第二部分光瞳区域经由微透镜305而与重心沿+X方向偏移偏心)的光电转换器302的光接收面具有大致共辄关系。因而,部分光瞳区域502表示能够通过子像素202来接收光的光瞳区域。子像素202的部分光瞳区域502的重心在光瞳面上沿-X方向偏移偏心)。光瞳区域500可以接收在光电转换器301和302子像素201和202完全结合时的像素200G的整个区域的光。[0077]入射光被微透镜305会聚于焦点位置处。然而,由于光的波动性所引起的衍射的影响,导致会聚光斑的直径无法变得小于衍射极限A,并且其具有有限的尺寸。在光电转换器301和302各自的光接收面具有约1〜2μπι的长度的情况下,微透镜305的会聚光斑为约Ιμπι。因此,由于衍射模糊,导致图4中的经由微透镜305而与光电转换器301和302的光接收面具有共辄关系的部分光瞳区域501和502没有被清楚地分割,因而获得光接收率分布光瞳强度分布)。[0078]图5是摄像元件107和光瞳分割功能的说明图。穿过成像光学系统的光瞳区域中的不同部分光瞳区域501和502的光束以彼此不同的角度入射至摄像元件107的摄像面600上的摄像元件107的各像素,并且通过被分割成2Xl个的子像素201和202来接收。本实施例描述了将光瞳区域在水平方向上进行二分割的示例,但是本发明不限于本实施例,并且根据需要,可以在垂直方向上进行光瞳分割。[0079]在本实施例中,摄像元件107包括共用一个微透镜并且接收穿过成像光学系统摄像镜头)的光瞳中的不同区域第一部分光瞳区域和第二部分光瞳区域的多个光束的多个子像素。摄像元件107包括第一子像素(多个子像素201和第二子像素(多个子像素202作为多个子像素。[0080]在本实施例中,针对摄像元件107的各像素将子像素201和202的信号彼此相加合成并读出,以使得生成具有有效像素数N的分辨率的拍摄图像。如上所述,通过针对各像素将多个子像素本实施例中的子像素201和202的光接收信号进行合成来生成拍摄图像。[0081]在本实施例中,收集多个子像素201的光接收信号以生成第一视差图像。从拍摄图像中减去第一视差图像,以生成第二视差图像。然而,本发明不限于该示例,并且可以收集多个子像素202的光接收信号,以生成第二视差图像。因而,视差图像是针对彼此不同的各个部分光瞳区域、基于多个子像素的光接收信号而生成的。[0082]在本实施例中,第一视差图像、第二视差图像和拍摄图像各自是采用拜尔阵列的图像。根据需要,可以对第一视差图像、第二视差图像和拍摄图像中的每一个进行去马赛克。[0083]现在,将参考图6来说明从摄像元件107的子像素201所获取到的第一视差图像和从子像素202获取到的第二视差图像的散焦量与图像偏移量之间的关系。图6示出散焦量和图像偏移量之间的关系。图6示出配置在摄像面600上的摄像元件107,并且与图4和5同样地,将成像光学系统的出射光瞳分割成两个部分光瞳区域501和502。[0084]将散焦量d定义成使得:从被摄体的成像位置到摄像面600的距离是IdI,前焦点状态具有成像位置与摄像面600相比位于更靠近被摄体侧的位置的负符号d〈〇、以及后焦点状态具有成像位置相对于摄像面600位于被摄体的相反侧的位置的正符号d0。在被摄体的成像位置位于摄像面600上聚焦位置的聚焦状态下,满足散焦量d=0。图6示出处于聚焦状态d=0下的被摄体601以及处于前焦点状态d〈0下的被摄体602。将前焦点状态d〈〇和后焦点状态d0统称为散焦状态(IdI0。[0085]在前焦点状态d〈0下,来自被摄体602的光束中的穿过了部分光瞳区域501或者部分光瞳区域502的光束一度被会聚。之后,光束扩散至以光束的重心位置GlG2为中心的宽度FlF2,并且在摄像面600上形成模糊图像。通过构成摄像元件107中所排列的各像素的子像素201子像素202来接收模糊图像,并且生成第一视差图像第二视差图像)。因此,将第一视差图像第二视差图像记录为在摄像面600上的重心位置GlG2处被摄体602具有模糊宽度Γ1Γ2的模糊被摄体图像。被摄体图像的模糊宽度Γ1Γ2随着散焦量d的绝对值|d|的增大而大致成比例增大。同样地,第一视差图像和第二视差图像之间的被摄体图像的图像偏移量P即,等于光束的重心位置的差G1-G2的绝对值IpI大致随着散焦量d的绝对值|dI的增大而增大。这同样适用于后焦点状态d0,但是第一视差图像和第二视差图像之间的被摄体图像的图像偏移方向与前焦点状态下的情况相反。[0086]如上所述,根据本实施例,随着第一视差图像和第二视差图像的散焦量或者通过将第一视差图像和第二视差图像相加所获得的图像信号的散焦量的绝对值的增大,第一视差图像和第二视差图像之间的图像偏移量的绝对值增大。[0087]现在,将说明本实施例中的视差图像的校正处理。在本实施例中,摄像元件107可以输出拍摄图像和至少一个视差图像第一视差图像和第二视差图像至少之一)。图像处理电路125获取单元125a获取从摄像元件107输出的拍摄图像和视差图像。然后,图像处理电路125图像处理单元125b基于拍摄图像来校正(修正)视差图像。根据需要,获取单元125a可以将所获取到的拍摄图像以及所获取到的至少一个视差图像存储在诸如记录介质133和存储器134等的存储器中,以获取存储器中所存储的拍摄图像和视差图像。[0088]根据摄像元件107的电路结构或驱动方式,由于因传输门的的短路导致的影响,因此即使拍摄图像是正常的,在视差图像第一视差图像或者第二视差图像)中也可能产生瑕疵信号缺陷信号),并且在视差图像中可能包括诸如点瑕疵和线瑕疵等的缺陷。根据需要,可以在存储器中预先存储量产工序等中所检查的诸如点瑕疵信息和线瑕疵信息等的缺陷信息。在这种情况下,图像处理电路125图像处理单元125b通过使用所存储的缺陷信息来进行视差图像的校正处理。根据需要,图像处理电路125检查器可以实时(S卩,在用户使用摄像设备100期间检查视差图像,并且判断诸如点瑕疵和线瑕疵等的缺陷。[0089]现在,将参考图7A和7B来说明根据本实施例中的视差图像的校正处理。图7A是采用拜尔阵列的视差图像第一视差图像的阵列图。图7B是采用拜尔阵列的拍摄图像的阵列图。在图7A和7B中,将在行方向上的第j个像素且在列方向上的第i个像素的位置j,i处的第一视差图像和拍摄图像的像素值像素信号分别定义为Aj,i和Ij,i。[0090]如果第一视差图像在第j行上存在缺陷(线瑕疵并且拍摄图像在第j行上是正常的,则需要校正第一视差图像的第j行。在本实施例中,图像处理电路125图像处理单元125b基于拍摄图像来校正第一视差图像第一视差图像中要校正的位置处的像素值)。根据需要,可以同样地校正第二视差图像。[0091]在本实施例中,将产生缺陷的位置j,i、即要校正的位置第一位置处的第一视差图像的校正值校正信号定义为Acj,i。图像处理单元125b根据以下表达式⑴来计算校正值Acj,i,并且通过使用所计算出的校正值Acj,i作为第一视差图像的像素值Aj,i来校正第一视差图像。[0092]表达式1[0093][0094]在表达式⑴中,参数AO和IO是用于在第一视差图像的像素值A和拍摄图像的像素值I具有低亮度低亮度信号)的情况下使计算值稳定并且抑制噪声的增大的值。[0095]如上所述,在本实施例中,图像处理单元125b基于拍摄图像来进行对视差图像的校正处理,即利用校正值Acj,i来替换要校正的位置处的视差图像的像素值Aj,i。具体地,图像处理单元125b通过使用拍摄图像的像素值Ij,i以及要校正的位置附近的位置j2,i2#j,i处的拍摄图像和视差图像的像素值Ij2,i2和Aj2,i2,来确定视差图像的校正值Acj,i。[0096]在表达式(1中,可以适当设置参数AO和IO的具体值。例如,如果光瞳分割数Np是2,则可以将参数AO和10设置为AO=10Νρ。参数AO和10的值可以根据诸如要校正的位置j,i、ISO感光度、成像光学系统的光圈值以及出射光瞳距离等的摄像条件而改变。参数AO和IO的值可以基于要校正的位置附近周边的第一视差图像的像素值A和拍摄图像的像素值I来设置。[0097]图8示出进行根据本实施例的校正处理之前的聚焦状态下的第一视差图像去马赛克后)的示例。图9示出进行了根据本实施例的校正处理之后的聚焦状态下的第一视差图像去马赛克后)的示例。同样地,图10示出进行校正处理之前的散焦状态下的第一视差图像去马赛克后)的示例。图11示出进行了校正处理之后的散焦状态下的第一视差图像去马赛克后)的示例。应当理解,在聚焦状态和散焦状态中的各状态下,通过根据本实施例的校正处理来校正视差图像的缺陷。[0098]现在,将参考图14来说明根据本实施例的再聚焦处理。通过图像处理电路125图像处理单元125b作为再聚焦单元基于CPU121的指示来进行再聚焦处理。图14是根据本实施例的通过摄像元件107所获取到的第一信号形成第一视差图像的第一子像素的光接受信号)和第二信号(形成第二视差图像的第二子像素的光接受信号)在一维方向(列方向或水平方向)上的再聚焦处理的说明图。在图14中,符号i表示整数,示意性的符号Ai和Bi分别表示摄像面600上所配置的摄像元件107的列方向上的第i个像素的第一信号和第二信号。第一信号Ai是基于以(与图5中的部分光瞳区域501相对应的)主光线角度0a入射至第i个像素的光束而输出的光接收信号。第二信号Bi是以(与图5中的部分光瞳区域502相对应的)主光线角度9b入射至第i个像素的光束而输出的光接收信号。[0099]第一信号Ai和第二信号Bi各自具有入射角度信息和光强度分布信息。因此,将第一信号Ai以角度0a平行移动(平移)至虚拟成像面610,并且将第二信号Bi以角度0b平行移动平移至虚拟成像面610,然后将这些信号相加以生成虚拟成像面610上的再聚焦信号。第一信号Ai以角度0a向虚拟成像面610的平行移动与在列方向上偏移+0.5个像素相对应,以及第二信号Bi以角度0b向虚拟成像面610的平行移动与在列方向上偏移-0.5个像素相对应。因此,在第一信号Ai和第二信号Bi相对偏移+1个像素以将第一信号Ai与相应的第二信号Bi+Ι相加的情况下,生成虚拟成像面610上的再聚焦信号。同样地,在第一信号Ai和第二信号Bi偏移像素间距的整数倍(S卩,进行整数偏移并且将这些信号彼此相加的情况下,可以根据整数偏移量来生成各虚拟成像面上的偏移相加信号再聚焦信号)。[0100]在本实施例中,通过校正处理来移除或减少视差图像至少之一第一视差图像和第二视差图像至少之一)中所包括的缺陷的影响。因此,可以基于校正后的视差图像来进行再聚焦处理。因此,可以高精度地进行通过使用形成视差图像的各信号第一信号和第二信号)的再聚焦处理。[0101]第二实施例[0102]现在,将参考图12以及图13A和13B来说明根据本发明的第二实施例的摄像设备。本实施例与第一实施例的不同在于:代替基于第一视差图像和第二视差图像来生成拍摄图像,基于作为多个视差图像的第一视差图像至第四视差图像来生成拍摄图像。[0103]图12示出根据本实施例的摄像元件107的像素阵列。图13A和13B是示出摄像元件107的像素结构的图,以及图13A和13B分别是摄像元件107的像素200G的平面图(从+z方向观看到的图)以及沿图13A的线a-a的截面图(从-Z方向观看到的图)。[0104]图12示出4列X4行范围的摄像元件107二维CMOS传感器)的像素阵列(摄像像素的阵列)。在本实施例中,各摄像像素像素2001?、2006和20«包括四个子像素201、202、203和204。因此,图12示出8列X8行范围的子像素的阵列。[0105]如图12所示,2列\2行的像素组200包括采用拜尔阵列的像素2001?、2006和2008。换句话说,在像素组200中,具有针对R红色)的光谱灵敏度的像素200R配置在左上方,具有针对G绿色)的光谱灵敏度的像素200G配置在右上方和左下方,以及具有针对B蓝色)的光谱灵敏度的像素200B配置在右下方。像素200R、200G和200B中的每一个各摄像像素包括以2列X2行排列的子像素201、202、203和204。子像素201是用于接收穿过成像光学系统的第一光瞳区域的光束的像素。子像素202是用于接收穿过成像光学系统的第二光瞳区域的光束的像素。子像素203是用于接收穿过成像光学系统的第三光瞳区域的光束的像素。子像素204是用于接收穿过成像光学系统的第四光瞳区域的光束的像素。[0106]如图12所示,摄像元件107包括在其表面配置的4列X4行的许多摄像像素8列X8行的子像素),并输出摄像信号子像素信号)。在本实施例的摄像元件107中,像素摄像像素的周期P是4μπι,以及像素摄像像素的数量N是水平方向5575列X垂直方向3725行=约2075万个像素。在摄像元件107中,列方向上的子像素的周期Psub是2μπι,以及子像素的数量Nsub是水平方向11150列X垂直方向7450行=约8300万个像素。可选地,摄像元件107可以具有6μπι的像素摄像像素)周期P以及水平方向6000列X垂直方向4000行=约2400万个像素的像素摄像像素数量Ν。可选地,列方向上的子像素的周期Psub可以是3μπι,以及子像素的数量Nsub可以是水平方向12000列X垂直方向4000行=约4800万个像素。[0107]如图13Β所示,本实施例的像素200G在像素的光接收面侧设置有微透镜305,以会聚入射光。各微透镜305配置在ζ轴方向(光轴OA的方向)上远离光接收面预定距离的位置处。在像素200G中,通过在X方向上将像素分割成Nh个(二分割)并且在y方向上分割成Nv个二分割来形成光电转换器301、302、303和304光电转换器)。光电转换器301〜304分别对应于子像素201〜204。[0108]在本实施例中,摄像元件107包括共用一个微透镜并且接收穿过成像光学系统摄像镜头)的光瞳中的彼此不同区域第一部分光瞳区域至第四部分光瞳区域的多个光束的多个子像素。摄像元件107包括第一子像素(多个子像素201、第二子像素(多个子像素202、第三子像素多个子像素203、第四子像素多个子像素204作为多个子像素。[0109]在本实施例中,针对摄像元件107的各像素将子像素201、202、203和204的信号相加合成并读出,以使得生成具有有效像素数N的分辨率的拍摄图像。如上所述,通过针对各像素将多个子像素本实施例中为子像素201〜204的光接收信号进行合成来生成拍摄图像。[0110]在本实施例中,收集多个子像素201的光接收信号以生成第一视差图像。同样地,收集多个子像素202的光接收信号以生成第二视差图像,并且收集多个子像素203的光接收信号以生成第三视差图像。此外,在本实施例中,从拍摄图像中减去第一视差图像、第二视差图像和第三视差图像,以生成第四视差图像。然而,本实施例不限于该示例,并且可以收集多个子像素204的光接收信号,以生成第四视差图像。如上所述,视差图像是针对彼此不同的部分光瞳区域中的各部分光瞳区域、基于多个子像素的光接收信号所生成的。[0111]在本实施例中,拍摄图像和第一视差图像至第三视差图像(以及第四视差图像都是采用拜尔阵列的图像。根据需要,可以对拍摄图像和第一视差图像至第三视差图像(以及第四视差图像)中的每一个进行去马赛克。根据本实施例的视差图像的校正处理缺陷校正与第一实施例相同,因此省略其说明。[0112]第三实施例[0113]接着,说明根据本发明的第三实施例。本实施例与第一实施例的不同在于:图像处理单元125b基于拍摄图像进行视差图像的光量校正处理(阴影校正)。除了根据本实施例的光量校正处理之外,与第一实施例同样地,可以基于拍摄图像来进行视差图像的校正处理,以减少视差图像中所包含的缺陷。[0114]图4所示的光瞳区域500经由微透镜与包括被分割成2Xl个的光电转换器301和302被分割成NxXNy个的第一光电转换器至第Nlf光电转换器的光接收面具有大致光学共辄关系。光瞳区域500是各自包括子像素201和202第一子像素至第Nlf子像素)的像素200G可以接收光的光瞳区域。[0115]图15A和15B是光入射至各像素上所形成的微透镜的光强度分布的说明图。图15A示出与微透镜的光轴平行的截面的光强度分布。图15B示出与微透镜的光轴垂直的截面的光强度分布。通过微透镜将入射光会聚到聚焦位置上。然而,由于光的波动性的衍射的影响,导致会聚光斑的直径无法变得小于衍射极限A并且具有有限的尺寸。在光电转换器的光接收面具有约1〜2μπι的长度的情况下,微透镜的会聚光斑具有约Ιμπι的长度。因此,由于衍射模糊,导致没有清楚地对经由微透镜而与光电转换器的光接收面具有共辄关系的图4所不的部分光瞳区域501和502进行光瞳分割,并且具有依赖于光入射角的光接收率分布光瞳强度分布)。[0116]图16是依赖于光入射角的光接收率分布(光瞳强度分布)的图。横轴表不光瞳坐标,以及纵轴表示光接收率。由图16中的实线表示的图形线Ll表示沿着图4的部分光瞳区域501第一部分光瞳区域)中的X轴的光瞳强度分布。由图形线Ll表不的光接收率从左端起急剧上升,达到峰值,然后以平缓的变化率逐渐下降,然后到达右端。由图16的虚线表示的图形线L2表不沿部分光瞳区域502第二部分光瞳区域)的X轴的光瞳强度分布。与图形线LI相反,由图形线L2表示的光接收率从右端起急剧上升,达到其峰值,以平缓的变化率逐渐下降,然后到达左端。应当理解,如图16所示,进行平缓的光瞳分割。[0117]如图5所不,光电转换器301和302第一光电转换器至第Nlf光电转换器与子像素201和202第一子像素至第Nlf子像素相对应。在摄像元件的各像素中,被分割成2X1个的子像素201和202被分割成NxXNy个的第一光电转换器至第Nlf光电转换器接收穿过了部分光瞳区域501和502第一子像素至第Nlf子像素)的不同部分光瞳区域的光。基于各子像素所接收到的信号来获得表示光强度的空间分布和角度分布的LF数据(输入数据(输入图像)。[0118]针对各像素,可以基于LF数据输入图像),通过将来自2X1分割出的子像素201和202NxXNy分割出的第一光电转换器至第Nlf光电转换器)的全部信号彼此进行合成,来生成具有像素数N的分辨率的拍摄图像。[0119]基于LF数据输入图像),针对各像素,选择来自2X1分割出的子像素201和202NxXNy分割出的第一光电转换器至第Nlf光电转换器)中的特定子像素的信号。由此,可以生成与部分光瞳区域501和502第一子像素至第Nlf子像素)中的特定部分光瞳区域相对应的视点图像。例如,可以通过选择来自子像素201的信号来生成具有与成像光学系统中的部分光瞳区域501相对应的像素数N的分辨率的第一视点图像第一视差图像)。这同样适用于其它子像素。[0120]如所讨论的,根据本实施例的摄像元件包括具有被配置为接收穿过了成像光学系统的不同部分光瞳区域的光束的多个光电转换器的多个阵列像素,并且可以获取LF数据输入数据)。本实施例对第一视点图像和第二视点图像第一视点图像至第视点图像进行诸如瑕疵校正和阴影校正等的图像处理校正处理),并生成输出图像。[0121]现在,将参考图17和18来说明用于通过基于拍摄图像和摄像元件107所获取到的LF数据输入图像对第一视点图像和第二视点图像第一视点图像至第视点图像进行校正处理来生成输出图像的图像处理方法。图17和18是根据本实施例的校正处理的流程的示意图。图17和18主要是通过图像处理电路125获取单元125a和图像处理单元125b基于CPU121的命令来执行的。[0122]首先,在图17的步骤Sl之前的阶段(或者在未示出的步骤S0,图像处理电路125获取单元125a基于摄像元件107所获取到的LF数据输入数据来生成获取拍摄图像和至少一个视点图像。拍摄图像是根据将成像光学系统中的不同部分光瞳区域进行合成所得到的光瞳区域而生成的图像。视点图像是针对成像光学系统中的各个不同部分光瞳区域所生成的图像。[0123]在步骤SO中,首先,图像处理电路125输入摄像元件107所获取到的LF数据输入图像)。可选地,图像处理电路125可以使用摄像元件107预先拍摄并存储在记录介质中的LF数据输入图像)。[0124]接着,在步骤SO中,图像处理电路125生成与将成像光学系统中的不同部分光瞳区域第一部分光瞳区域和第二部分光瞳区域进行合成所得到的光瞳区域相对应的拍摄图像。将LF数据输入图像称为LF。另外,将LF的各像素信号中的作为列方向上的第isf并且行方向上的第js个II的子像素信号称为第k子像素信号,其中,k=Nxjs-1+isI。图像处理电路125如以下表达式2那样生成合成图像作为列方向上第is个且行方向上第js个的拍摄图像Ij,i。[0125]表达式2[0126][0127]为了维持拍摄图像j,i的良好SN,本实施例在对各子像素信号进行模拟至数字转换AD转换之前,在摄像元件内的静电电容部FD中将表达式2的各子像素信号彼此进行合成。根据需要,在对各子像素信号进行AD转换之前,本实施例可以在将摄像元件内的静电电容部FD中所累积的电荷转换成电压信号时将表达式2的各子像素信号彼此进行合成。根据需要,在对各子像素信号进行了AD转换之后,本实施例可以将表达式2的各子像素信号彼此进行合成。[0128]本实施例是在X方向上对各像素进行二分割(例如,Nx=2,Ny=I以及Nlf=2的示例。基于与图2中的示意性像素阵列相对应的输入图像LF数据),针对各像素将来自在X方向进行二分割而得到的子像素201和202进行NxXNy分割而得到的第一子像素至第Nlf子像素)的全部信号进行合成。由此,可以生成作为具有像素数N=水平像素数NhX垂直像素数Nv的分辨率的拜尔阵列的RGB信号的拍摄图像。由于根据本实施例的视点图像的校正处理使用拍摄图像作为校正基准的参考图像,因此针对拍摄图像Ij,i进行阴影光量校正处理和点瑕疵校正处理等。如果需要,可以进行其它处理。[0129]接着,在步骤SO中,图像处理电路125如以下表达式3所示那样生成作为与成像光学系统的第k部分光瞳区域相对应的列方向上的第i个且行方向上的第j个的第k视点图像I“j,i。[0130]表达式3[0131][0132]本实施例是在X方向上对各像素进行二分割例如,Nx=2,Ny=l以及Nlf=2并且k=1的示例。本实施例基于与图2所示的像素阵列相对应的LF数据输入图像),针对各像素选择在X方向上进行二分割而得到的子像素201的信号。然后,本实施例基于部分光瞳区域501和502第一部分光瞳区域至第Nlf部分光瞳区域来生成作为具有像素数N=水平像素数NhX垂直像素数Nv的分辨率的拜尔阵列的RGB信号的第一视点图像I1j,i。根据需要,可以选择k=2,并且可以生成与成像光学系统中的部分光瞳区域502相对应的第二视点图像12j,i。[0133]如上所述,图像处理单元125b基于通过具有被配置为接收穿过了成像光学系统中的不同部分光瞳区域的光束的多个光电转换器的多个像素的摄像元件所获取到的输入图像,来生成与将不同部分光瞳区域进行合成所得到的光瞳区域相对应的拍摄图像。另外,图像处理单元125b针对各不同的部分光瞳区域生成至少一个视点图像。[0134]本实施例基于通过摄像元件107所获取到的LF数据输入图像生成作为采用拜尔阵列的RGB信号的拍摄图像Ij,i以及作为采用拜尔阵列的RGB信号的第一视点图像Idj,i,并且将它们存储在记录介质中。另外,本实施例基于拍摄图像Ij,i和第一视点图像I1j,i来生成第二视点图像I2j,i。针对本实施例中的拍摄图像Ij,i,该配置可以提供与针对通过不对各像素的光电转换器进行分割的传统摄像元件所获取到的拍摄图像的图像处理相同的图像处理。根据需要,为了使对各视点图像的处理相同,可以生成第一视点图像Iij,i和第二视点图像I2j,i,并将其存储在记录介质中。[0135]接着,在图17的步骤Sl中,图像处理单元125b基于拍摄图像Ij,i来进行针对第一视点图像I1第k视点图像Ik的RGB各自的阴影校正处理光量校正处理)。[0136]现在,将参考图19A〜19C来说明由于第一视点图像和第二视点图像第一视点图像至第Nlf视点图像之间的光瞳偏移所引起的阴影。图19A〜19C是阴影的说明图,并且示出在摄像元件107的周边图像高度处的光电转换器301接收光的部分光瞳区域501、光电转换器302接收光的部分光瞳区域502和成像光学系统中的出射光瞳400之间的关系。利用同样的附图标记来指定图4中的相应元件。光电转换器301和302第一光电转换器至第Nlf光电转换器与子像素201和202第一子像素至第Nfl子像素相对应。[0137]图19A示出成像光学系统中的出射光瞳距离Dl等于摄像元件107中的设置光瞳距离Ds的情况。在这种情况下,成像光学系统中的出射光瞳400大致被部分光瞳区域501和502均等地分割。与此相对,如图19B所示,在成像光学系统中的出射光瞳距离Dl短于摄像元件107中的设置光瞳距离Ds的情况下,在摄像元件107的周边图像高度处,在出射光瞳400和摄像元件107的入射光瞳之间发生光瞳偏移。结果,出射光瞳400没有被均等地分割。同样地,如图19C所示,在成像光学系统中的出射光瞳距离Dl长于摄像元件107中的设置光瞳距离Ds的情况下,在摄像元件107的周边图像高度处,在出射光瞳400和摄像元件107的入射光瞳之间发生光瞳偏移。结果,出射光瞳400没有被均等地分割。伴随着周边图像高度处的不均等的光瞳分割,第一视点图像和第二视点图像具有不均等的强度并且针对RGB颜色各自产生第一视点图像和第二视点图像中的一个的强度高而另一个的强度低的阴影。[0138]为了生成具有良好的图像质量的各视点图像,根据本实施例的图像处理单元125b在图17的步骤SI中,通过使用拍摄图像Ij,i作为基准或参考图像,来进行针对第一视点图像I1第k视点图像Ik的RGB各自的阴影校正光量校正)。[0139]在图17的步骤Sl中,图像处理电路125首先检测拍摄图像Ij,i和第一视点图像I1j,i中的任一个是不饱和且无缺陷无瑕疵)的有效像素V1j,i。拍摄图像Ij,i和第一视点图像I1j,i中的任一个是不饱和且无缺陷无瑕疵的有效像素满足化j,i=1。拍摄图像Ij,i和第一视点图像I1j,i中的任一个是饱和或有缺陷的无效像素满足化j,i=0。同样地,在针对第k视点图像Ik的阴影光量校正中,拍摄图像Ij,i和第k视点图像Ikj,i这两者均不饱和且无缺陷的有效像素满足Vkj,i=1。[0140]假定整数」2以及i2。假定图2中采用拜尔阵列的拍摄图像I包括针对R、Gr、Gb和B的拍摄图像RI、GrI、GbI和BI。将R的拍摄图像表示为RI2j2-l,2i2-l=I2j2-l,2i2-l,并且将Gr的拍摄图像表示为Grl2j2-l,2i2=I2j2-l,2i2。将Gb的拍摄图像表示为GbI2j2,2i2-l=I2j2,2j2-l,并且将B的拍摄图像表示为BI2j2,2i2=I2j2,2i2。同样地,假定图2中所示的第k拍摄图像Ik包括针对R、Gr、Gb和B的拍摄图像RIk、GrIk、GbIk和BIk。将R的拍摄图像表示为RIk2j2-l,2i2-l=Ik2j2-l,2i2-l,并且将64勺拍摄图像表示为6^“2]_2-1,212=11{2]_2-1,212。将613的拍摄图像表示为61311{2]_2,2i2-l=Ik2j2,2j2-l,并且将B的拍摄图像表示为BIk2j2,2i2=Ik2j2,2i2。[0141]在步骤SI中,接着,图像处理单元125b进行针对拍摄图像RI2j2-l,2i2-l、GrI2j2-l,2i2、GbI2j2,2i2-l和BI2j2,2i2的投影处理。更具体地,针对拍摄图像1?12」2-1,2i2-l、GrI2j2-l,2i2、GbI2j2,2i2-l和BI2j2,2i2,利用表达式4A〜4D,在与光瞳分割方向(x方向)垂直的方向(y方向)上进行投影处理。由此,生成拍摄图像的投影信号RP2i2-l、GrP2i2、GbP2i2-l和BP2i2。饱和信号值或缺陷信号值不包含用来校正地检测针对拍摄图像的RGB各自的阴影的信息。因而,计算拍摄图像和有效像素Vk的乘积,并且通过排除饱和信号值和缺陷信号值来进行投影处理表达式4A〜(4D中的上段的分子),并且利用用于投影处理的有效像素数来进行标准化表达式4A〜4D中的上段的分母)。在用于投影处理的有效像素数是〇的情况下,通过表达式4A中的下段至表达式4D中的下段,来将拍摄信号的投影信号设置为0。在拍摄图像的投影信号由于噪声影响而变成负信号的情况下,同样将拍摄图像的投影信号设置为0。同样地,针对第k视点图像1?1“2」2-l,2i2-l、GrIk2j2-l,2i2、GbIk2j2,2i2-l和BIk2j2,2i2,利用表达式4E〜4H,在与光瞳分割方向(X方向)垂直的方向(y方向)上进行投影处理。该配置生成第k视点图像的投影信号RPk2i2-l、GrPk2i2、GbPk2i2-l和BPk2i2。[0142]表达式4A[0143][0144]表达式4B[0145][0146]表达式4C[0147[0148]表达式4D[0149][0150]表达式4E[0151][0152]表达式4F[0153][0154]表达式4G[0155][0156]表达式4H[0157][0158]在表达式4A〜(4H的投影处理之后,进行低通滤波处理。针对拍摄图像的投影信号RP2i2-l、GrP2i2、GbP2i2-l和BP2i2以及第k视点图像的投影信号RPk2i2-l、GrPk2i2、GbPk2i2-l和BPk2i2进行低通滤波处理。由此,将拍摄图像中的投影信号平滑化。可选地,可以省略低通滤波处理。[0159]图20A〜20C是拍摄图像的投影信号、第一视点图像的投影信号以及阴影函数的说明图。图20A示出拍摄图像的投影信号RP⑻、GrP⑹、GbP⑹和BP⑻的示例。图20B示出第一视点图像的投影信号RPi⑻、GrP1⑹、GbP“G和BP1⑻的示例。各投影信号具有依赖于被摄体的多个波动。为了对第一视点图像I1第k视点图像Ik进行高精度的阴影校正,需要将由于光瞳偏移所引起的第一视点图像I1第k视点图像Ik的RGB各自的阴影成分从针对被摄体的RGB的信号成分分离。[0160]在步骤Sl中,图像处理单元125b通过表达式5A〜(5D,计算针对相对于作为基准的拍摄图像的第k视点图像Ik的RGB各自的阴影信号RSk2i2-1、GrSk2i2、GbSk2i2_1和BSk2i2〇[0161]表达式5A[0162][0163]表达式5B[0164][0165]表达式5C[0166][0167]表达式5D[0168][0169]在计算阴影成分时,需要使像素的光接收量大于子像素的光接收量,并且使子像素的光接收量大于〇。因而,在满足条件表达式RP2i2_lRPk2i2_l0的情况下,通过表达式5A获取第k视点图像的R投影信号RPk2i2-l和拍摄图像的R投影信号RP2i2-l之间的比。然后,将该结果与光瞳分割数Nlf相乘以进行标准化,并且生成第k视点图像阴影信号RSk2i2-l。由此,可以抵消被摄体的R信号成分,并且可以分离出第k视点图像I1^R阴影成分。在不满足条件表达式1^如2-11«\212-10的情况下,将第1^视点图像11{的1?阴影信号RSk2i2_l设置为0。[0170]同样地,在满足条件表达式GrP2i2GrPk2i20的情况下,通过表达式5B获取第k视点图像的Gr投影信号GrPk2i2和拍摄图像的Gr投影信号GrP2i2之间的比。然后,将该结果与光瞳分割数Nlf相乘以进行标准化,并且生成第k视点图像阴影信号GrSk2i2。由此,可以抵消被摄体的Gr信号成分,并且可以分离出第k视点图像I1^Gr阴影成分。在不满足条件表达式GrP2i2GrPk2i20的情况下,将第k视点图像Ik的Gr阴影信号GrSk2i2设置为0。[0171]同样地,在满足条件表达式GbP2i2_lGbPk2i2_l0的情况下,通过表达式5C获取第k视点图像的Gb投影信号GbPk2i2-l和拍摄图像的Gb投影信号GbP2i2-l之间的比。然后,将该结果与光瞳分割数Nlf相乘以进行标准化,并且生成第k视点图像阴影信号GbSk2i2-l。由此,可以抵消被摄体的Gb信号成分,并且可以分离出第k视点图像I1^Gb阴影成分。在不满足条件表达式GbP2i2-lGbPk2i2-l0的情况下,将第k视点图像Ik的Gb阴影信号GbSk2i2-l设置为0。[0172]同样地,在满足条件表达式BP2i2BPk2i20的情况下,通过表达式5D获取第k视点图像的B投影信号BPk2i2和拍摄图像的B投影信号BP2i2之间的比。然后,将该结果与光瞳分割数—相乘以进行标准化,并且生成第k视点图像I1^B阴影信号BSk2i2。由此,可以抵消被摄体的B信号成分,并且可以分离出第k视点图像阴影成分。在不满足条件表达式BP2i2BPk2i20的情况下,将第k视点图像Ik的B阴影信号BSk2i2设置为0。[0173]为了进行高精度的阴影校正,在满足RSk2i2_lMKGrSk2i2XKGbSk2i2_l〇和BSk2i20的有效阴影信号数量等于或高于预定数量的情况下,可以提供阴影校正。[0174]接着,在步骤Sl中,图像处理单元125b进行通过表达式6A〜(6D所表示的计算处理。将针对第k视点图像Ik的RGB各自的阴影函数RSFk2i2-l、GrSFk2i2、GbSFk2i2-l和BSFk2i2设置成针对光瞳分割方向(x方向)的位置变量的平滑的Nsf次多项式函数。将通过表达式5A〜5D生成的并且满足RSk2i2-lXKGrSk2i2XKGbSk2i2-l0和BSk2i20的有效阴影信号设置成数据点。通过这些数据点以及利用最小二乘法的参数拟合来计算表达式6A〜6D中的系数RSCkμ、GrSCk⑻、GbSCkμ和BSCkμ。[0175]表达式6Α[0176][0177]表达式6Β[0178][0179]表达式6C[0180][0181]表达式6D[0182][0183]如上所述,生成针对相对于作为基准的拍摄图像的第k视点图像Ik的RGB各自的阴影函数RSFk2i2-l、GrSFk2i2、GbSFk2i2-l和BSFk2i2。[0184]图20C示出针对相对于作为基准的拍摄图像的第一视点图像U^RGB各自的阴影函数RSF1R、GrSFiG、GbSFi⑹和BSF1B。图20B中的第一视点图像的投影信号和图20A中的拍摄图像的投影信号具有依赖于被摄体的波动。另一方面,可以通过获得第一视点图像的投影信号和拍摄图像的投影信号之间的比来抵消依赖于被摄体的波动针对RGB各自的被摄体的信号值),并且可以针对RGB各自分离并生成平滑的第一视点图像1:的阴影函数。尽管本实施例使用多项式函数作为阴影函数,但是本发明不限于本实施例,并且根据需要可以根据阴影形状使用更一般的函数。[0185]接着,在图17的步骤S1中,图像处理单元125b针对第k视点图像Ikj,i,利用表达式7A〜7D,使用RGB各自的阴影函数,并且进行阴影光量校正处理。由此,生成阴影校正后的第k视点(第一校正)图像M1IkCj,i。如下这样针对R、Gr、Gb和B中的每一个来表示采用拜尔阵列的第k视点(第一校正)图像M1Ik。换句话说,将R的第k视点(第一校正)图像设置为RM1Ik2j2-l,2i2-l=M1Ik2j2-l,2i2-l,并且将Gr的第k视点(第一校正)图像设置为GrM1IkQj2-IJi2=ΜΛ2]·2-1,2ί2。将Gb的第k视点(第一校正)图像设置为GbM1IkQj2,2i2-l=M1Ik^j2Ji2-I,并且将B的第k视点(第一校正)图像设置为BM1Ik^j2Ji2=M1Ik2j2,2i2。根据需要,可以将阴影校正后的第k视点(第一校正)图像M1IkLi设置为输出图像。[0186]表达式7A[0187][0188]表达式7B[0189][0190]表达式7C[0191][0192]表达式7D[0193][0194]现在,将参考图21〜23,来说明针对图17的步骤S1中所示的第一视点图像Iij,i的RGB各自的阴影校正处理(光量校正处理)的效果。图21示出根据本实施例的拍摄图像I去马赛克后)的示例。示例性的拍摄图像具有良好的图像质量。图22示出本实施例中的阴影校正前的第一视点图像I1去马赛克后)的示例。由于成像光学系统的出射光瞳和摄像元件的入射光瞳之间的光瞳偏移而导致RGB各自产生阴影,并且在第一视点图像I1Li的右侦I亮度降低并且RGB比被调制。图23示出本实施例中的阴影校正后的第一视点第一校正)图像M1I1去马赛克后的示例。由于基于拍摄图像的RGB各自的阴影校正而使得亮度降低且RGB比的调制被校正,并且与拍摄图像同样地,生成具有良好图像质量的阴影校正后的第一视点第一校正图像M山j,i去马赛克后)。[0195]本实施例基于包括具有被配置为接收穿过了成像光学系统的不同部分光瞳区域的光束的多个光电转换器的多个像素的摄像元件所获取到的输入图像,来生成与将不同部分光瞳区域进行合成而得到的光瞳区域相对应的拍摄图像。然后,本实施例针对各个不同的部分光瞳区域生成多个视点图像,基于拍摄图像来进行用于校正视点图像的图像处理,并且生成输出图像。本实施例基于拍摄图像来进行用于校正针对各颜色或RGB各自的光量阴影的图像处理。本实施例基于拍摄图像的投影信号和视点图像的投影信号来进行用于校正视点图像的光量的图像处理。本实施例的配置可以提供具有良好质量的视点图像。[0196]接着,在图17的步骤S2中,图像处理单元125b基于拍摄图像I来校正阴影校正之后的第k视点(第一校正)图像M1Ik的缺陷。本实施例示出k=l的示例,但是本发明不限于本实施例。[0197]在本实施例中,由于摄像元件的电路结构和驱动方式所引起的传输门的短路等,导致尽管拍摄图像I是正常的,但是第k视点图像Ik第一视点图像I1的仅一部分产生缺陷信号或者点或线缺陷。根据需要,本实施例可以预先将量产工序等中所检查到的点缺陷信息和线缺陷信息存储在图像处理电路125等中,并且可以基于所记录的点和线信息来进行针对第k视点图像Ik第一视点图像I1的缺陷校正处理。另外,本实施例实时检查第k视点图像Ik第一视点图像I1,并且进行点缺陷判断或线缺陷判断。[0198]现在,将说明根据本实施例的缺陷校正(图17中的步骤S2。本实施例假定第k视点图像Ik的奇数行2jD-l或偶数行2jD被判断为在水平方向(X方向)上具有线缺陷,并且拍摄图像I中的奇数行2jD-1或偶数行2jD没有被判断为具有线缺陷。[0199]在本实施例的步骤S2的缺陷校正中,正常的拍摄图像I被设置为参考图像,并且基于拍摄图像I来校正第k视点(第一校正)图像M1Ik的缺陷。本实施例通过将在没有被判断为缺陷的位置处的第k视点(第一校正)图像M1Ik的信号值与没有被判断为缺陷的位置处的拍摄图像I的信号值进行比较来校正缺陷。在该比较中,为了进行高精度的缺陷校正,需要移除由于光瞳偏移所引起的对第k视点图像Ik的RGB各自的阴影成分的影响,并精确地比较第k视点图像Ik和拍摄图像I之间的被摄体的RGB各自的信号成分。因而,在步骤S1中,本实施例预先校正第k视点图像的RGB各自的阴影光量),生成第k视点(第一校正)图像M1Ik,建立与拍摄图像I同样的阴影状态,并且移除阴影成分的影响。之后,在步骤S2中,本实施例基于拍摄图像I来高精度地对校正了阴影的第k视点第一校正图像M1Ik中的缺陷进行校正。[0200]在图17的步骤S2中,本实施例基于拍摄图像I的正常信号和第k视点第一校正)图像M1Ik的正常信号,来对阴影校正之后的第k视点(第一校正)图像M1Ikj,i的一部分中被判断为缺陷的信号进行缺陷校正处理。然后,本实施例生成缺陷校正后的第k视点(第二校正)图像M2Ikj,i。这里,如下这样针对R、Gr、Gb和B中的每一个来表示采用拜尔阵列的第k视点(第二校正)图像M2Ik。换句话说,将R的第k视点(第二校正)图像表示为RM2Ik2j2-l,2i2-l=M2Ik2j2-l,2i2-l,并且将Gr的第k视点(第二校正)图像表示为GrM2Ik2j2-l,2i2=121“2]_2-1,212。将613的第14见点(第二校正)图像表示为6匕1211{2]_2,212-1=1211{2」2,212-1,并且将邮勺第14见点(第二校正)图像表示为81211{2]_2,212=1211{2]_2,212。[0201]在步骤S2中,假定第k视点第一校正)图像M1Ik的R的第一位置2jD-l,2iD-l被判断为缺陷。此时,基于第一位置处的拍摄图像RI2jD-l,2iD-l、没有被判断为缺陷的R的第二位置处的第k视点(第一校正)图像RM1Ik、以及第二位置处的拍摄图像RI,通过以下表达式8A来进行缺陷校正处理。该配置生成第一位置处的缺陷校正后的第k视点(第二校正)图[0202]假定第k视点(第一校正)图像M1Ik的Gr的第一位置2jD-l,2iD被判断为缺陷。此时,基于第一位置处的拍摄图像GrI2jD-l,2iD、没有被判断为缺陷的Gb的第二位置处的第k视点(第一校正)图像GbM1L以及第二位置处的拍摄图像GbI,通过以下表达式8B来进行缺陷校正处理。该配置生成第一位置处的缺陷校正后的第k视点(第二校正)图像GrM2Ik2jD-l,2iD〇[0203]假定第k视点(第一校正)图像M1Ik的Gb的第一位置2jD,2iD_l被判断为缺陷。此时,基于第一位置处的拍摄图像GbI2jD,2iD-l、没有被判断为缺陷的Gr的第二位置处的第k视点第一校正)图像GAIk、以及第二位置处的拍摄图像GrI,通过以下表达式8C来进行缺陷校正处理。该配置生成第一位置处的缺陷校正后的第k视点(第二校正)图像GbM2Ik2jD,2iD-l〇[0204]假定第k视点(第一校正)图像M1Ik的B的第一位置(2jD,2iD被判断为缺陷。此时,基于第一位置处的拍摄图像BI2jD,2iD、没有被判断为缺陷的B的第二位置处的第k视点第一校正)图像BM1Ik、以及第二位置处的拍摄图像BI,通过以下表达式8D来进行缺陷校正处理。该配置生成第一位置处的缺陷校正后的第k视点第二校正)图像BM2Ik2jD,2iD。[0205]表达式8A[0206][0207]表达式8B[0208][0209]表达式8C[0210][0211]表达式8D[0212][0213]在没有被判断为缺陷的大部分位置j,i处,第k视点第二校正)图像M2Ikj,i具有与第k视点(第一校正)图像M1Ikj,i的信号值相同的信号值,并且M2Ikj,i=M1Ikj,i成立。根据需要,可以将缺陷校正后的第k视点第二校正图像M2Ikj,i输出为输出图像。[0214]现在,将参考图24和25来说明本实施例中的基于图17的步骤S2所示的第一视点第一校正)图像M1I1的正常的拍摄图像I的缺陷校正的效果。图24示出本实施例中的缺陷校正前的第一视点(第一校正)图像M1I1阴影校正后且去马赛克后)的示例。示出在第一视点第一校正)图像M1I1Li的中央部、在水平方向(X方向)上产生线缺陷的示例。图25示出本实施例中的缺陷校正后的第一视点(第二校正)图像M2I1阴影校正后且去马赛克后)的示例。利用基于正常的拍摄图像I的缺陷校正来对水平方向(X方向)上的线缺陷进行校正,并且与拍摄图像同样地,生成具有良好质量的缺陷校正后的第一视点第二校正图像M2I1j,i〇[0215]本实施例基于包括具有被配置为接收穿过了成像光学系统中的不同部分光瞳区域的光束的多个光电转换器的多个像素的摄像元件所获取到的输入图像,来生成与将不同部分光瞳区域进行合成而得到的光瞳区域相对应的拍摄图像。然后,本实施例针对各个不同部分光瞳区域生成多个视点图像,基于拍摄图像来进行用于校正视点图像的图像处理,并且生成输出图像。本实施例基于拍摄图像来进行图像处理,以校正并减少视点图像中所包含的缺陷。本实施例基于第一位置处的拍摄图像的信号值来进行用于对被判断为缺陷的第一位置处的视点图像的信号值进行校正的图像校正处理。本实施例基于被判断为缺陷的第一位置处的拍摄图像的信号值、没有被判断为缺陷的第二位置处的视点图像的信号值、以及第二位置处的拍摄图像的信号值,来进行用于校正第一位置处的视点图像的信号值的信号处理。[0216]在本实施例中,图像处理单元125b在基于拍摄图像进行了对视点图像的光量校正处理之后,基于拍摄图像来进行校正处理(图像处理),以减少视点图像中所包含的缺陷。该配置可以生成具有良好质量的视点图像。[0217]接着,在图17的步骤S2中,图像处理单元125b通过使用以下表达式9A〜(9D来对缺陷校正后的第k视点(第二校正)图像M2Ikj,i进行阴影处理。由此,生成第k视点(第三校正)图像M3Ikj,i。[0218]表达式9A[0219]RM3Ik2j2-l,2i2-l=RSFk2i2-lXRM2Ik2j2-l,2i2-l,···(9A[0220]表达式9B[0221]GrM3Ik2j2-l,2i2=GrSFk2i2XGrM2Ik2j2-l,2i2,···(9B[0222]表达式9C[0223]GbM3Ik2j2,2i2-l=GbSFk2i2-lXGbM2Ik2j2,2i2-l,···(9C[0224]表达式9D[0225]BM3Ik2j2,2i2=BSFk2i2XBM2Ik2j2,2i2.···9D[0226]现在,针对R、Gr、Gb和B中的每一个来获取采用拜尔阵列的第k视点(第三校正)图像吣115。将1?的第14见点(第三校正)图像表示为1«1311{2]_2-1,212-1=1311{2]_2-1,212-1,并且将64勺第14见点(第三校正)图像表示为6—311{2]_2-1,212=1311{2]_2-1,2乜)。将613的第1^视点(第三校正)图像表示为GbM3Ik2j2,2i2-l=M3Ik2j2,2i2-l,并且将B的第k视点第三校正)图像表示为8131“2]_2,212=1311{2]_2,212。[0227]在图18的步骤S3中,针对拍摄图像Ij,i和第k视点(第三校正)图像M3Ikj,i进行饱和信号处理。本实施例讨论k=l和Nlf=2的示例。[0228]在步骤S3中,首先,针对拍摄图像Ij,i其中,拍摄信号的最大值被设置为Imax,利用以下表达式(10来进行饱和信号处理,并且生成校正后的拍摄图像MIj,i。[0229]表达式10[0230][0231]接着,在步骤S3中,图像处理单元125b针对第k视点(第三校正)图像M3Ikj,i其中,将拜尔阵列的阴影函数设置为SFkj,i,如以下表达式(11那样进行与阴影状态相对应的饱和信号处理。由此,可以生成第k视点(第四校正)图像M4Ikj,i。这里,基于针对R、6『、613和8中的每一个来生成的阴影函数1^?1{212-1、6^?1{212、6匕3?1{212-1和83?1{2i2,通过表达式6A〜(6D来计算拜尔阵列的阴影函数SFkj,i。换句话说,假定SFk2j2-l,2i2-l=RSFk2i2-l、SFk2j2-l,2i2=GrSFk2i2、SFk2j2,2i2-l=GbSFk2i2-l和SFk2j2,2i2=BSFk2i2。[0232]表达式11[0233][0234]在图18的步骤S4中,图像处理单元125b通过校正后的拍摄图像MIj,i以及第一视点第四校正图像M4I1j,i,基于表达式(12来生成第二视点图像I2j,i。[0235]表达式12[0236]I2j,i=MIj,i-M4Iij,i·12[0237]在本实施例中,由于摄像元件107的驱动方式和AD转换电路结构,因此第一视点第三校正)图像M3I1j,i的饱和时的最大信号值可以具有与拍摄图像Ij,i的饱和时的最大信号值Imax相同的最大信号值。在这种情况下,在不进行饱和信号处理的状态下通过如表达式12那样从拍摄图像减去第一视点第三校正)图像来生成第二视点图像、并且第二视点图像可能具有饱和信号值的情况下,饱和信号值可能具有错误的信号值〇。因而,为了防止该问题,步骤S3针对拍摄图像Ij,i和第k视点(第三校正)图像M3Ikj,i预先进行与阴影状态相对应的饱和信号处理,以使得生成进行饱和信号处理后的校正后的拍摄图像MIj,i以及第一视点(第四校正)图像M4I1Cj,i。之后,步骤S4可以使用表达式(12,通过生成第二视点图像I2j,i来生成与正确的饱和信号值相对应的第二视点图像12。[0238]在图18的步骤S5中,图像处理单元125b针对第一视点(第四校正)图像M4Iij,i和第二视点图像I2j,i进行阴影校正光量校正)。更具体地,针对第一视点(第四校正)图像M4Iij,i,利用通过表达式6A〜6D已经生成的阴影函数1«?1、6^?1、6匕3?1和83?1,与表达式7A〜7D同样地进行阴影校正光量校正)。由此,生成第一视点(第五校正)图像M5I1j,i。接着,在步骤S5中,图像处理单元125b针对第二视点图像I2j,i,与表达式4A〜7D同样地,基于校正后的拍摄图像MIj,i来进行阴影校正光量校正)。由此,生成第二视点第五校正)图像M5I2j,i。[0239]最后,在图18的步骤S6中,图像处理单元125b针对第一视点(第五校正)图像M5I1j,i和第二视点(第五校正)图像M5I2j,i,通过以下表达式(13来进行饱和信号处理。由此,生成第一校正视点图像MI1j,i和第二校正视点图像MI2j,i作为输出图像。[0240]表达式13[0241][0242]现在,将参考图26和27来说明图17的步骤S5中所示的第二视点图像I2j,i的RGB各自的阴影校正处理光量校正处理的效果。图26示出本实施例中的阴影校正前的第二视点图像I2去马赛克后)的示例。成像光学系统的出射光瞳和摄像元件的入射光瞳之间的光瞳偏移使得RGB各自产生阴影,因而在第二视点图像12j,i的左侧发生亮度的降低和RGB比的调制。图27示出本实施例中的阴影校正后的第二校正视点图像MI2去马赛克后)的示例。基于拍摄图像的RGB各自的阴影校正来对亮度的降低和RGB比的调制进行校正,并且与拍摄图像同样地,生成具有良好质量的阴影校正后的第二校正视点图像MI2j,i。[0243]根据本实施例的图像处理设备是具有用于进行上述图像处理方法的图像处理单元的图像处理设备。根据本实施例的摄像设备是包括用于进行上述图像处理方法的图像处理单元和如下的摄像元件的摄像设备,其中,该摄像元件包括具有被配置为接收穿过了成像光学系统中的不同部分光瞳区域的光束的多个子像素的多个排列像素。本实施例的结构可以生成具有良好质量的视点图像。[0244]第四实施例[0245]接着,将说明根据本发明的第四实施例。本实施例基于第三实施例中所生成的第一校正视点图像和第二校正视点图像第一校正视点图像至第Nlf校正视点图像)以及第一校正视点图像和第二校正视点图像之间的相关性信号的一致度),通过相位差检测方法来检测图像偏移量分布。[0246]在生成图像偏移量分布时,首先,基于作为采用拜尔阵列的RGB信号的第k校正视点图像MIkk=1〜Nlf,针对各位置j,i,使针对RGB的颜色重心彼此一致。通过以下表达式14来生成第k视点亮度信号Yk。[0247]表达式14[0248][0249]接着,在生成图像偏移量分布时,基于作为采用拜尔阵列的RGB信号的第一校正视点图像MI1,针对通过表达式(14所生成的第一视点亮度信号Y1,在光瞳分割方向(列方向)上进行一维带通滤波处理,并且生成第一焦点检测信号dYA。另外,本实施例基于第二校正视点图像MI2,针对通过表达式(14所生成的第二视点亮度信号Y2,在光瞳分割方向(列方向)上进行一维带通滤波处理,并且生成第二焦点检测信号dYB。一维带通滤波器例如可以使用一次微分滤波器[1,5,8,8,8,8,5,1,-1,-5,-8,-8,-8,-8,-5,-1]等。根据需要,可以调节一维带通滤波器的通过带域。[0250]接着,在生成图像偏移量分布时,本实施例使第一焦点检测信号dYA和第二焦点检测信号dYB相对于彼此在光瞳分割方向(列方向)上偏移,计算表不信号的一致度的相关量,并且基于该相关量来生成图像偏移量分布Mdisj,i。本实施例将第一焦点检测信号设置为dYAj+j2,i+i2并且将第二焦点检测信号设置为dYBj+j2,i+i2,其中,dYAj+j2,i+i2是以位置j,i为中心的行方向上的第j2个)且作为光瞳分割方向的列方向上的第i2个。假定偏移量是s..。然后,通过以下表达式(15A来计算各位置(j,i处的相关量CORevenj,i,s,并且通过以下表达式(15B来计算相关量⑶Rqddj,i,s〇[0251]表达式15A[0252][0253]表达式15B[0254][0255]相关量⑶Rqddj,i,s是通过使第一焦点检测信号dYA和第二焦点检测信号dYB之间的偏移量相对于相关量CORevenj,i,s偏移半个相位或-1而得到的相关量。本实施例基于相关量CORevenj,i,s和相关量CORciddj,i,s,通过子像素计算来对使相关量最小的实数值的偏移量进行计算并平均,并且检测图像偏移量分布Mwsj,i。[0256]在利用相位差方式来检测图像偏移量时,本实施例对表达式(15A和(15B的相关量进行评价,并且基于第一焦点检测信号和第二焦点检测信号之间的相关性信号的一致度来检测图像偏移量。本实施例根据对基于拍摄图像的RGB中的每一个进行了阴影光量)校正后的第一校正视点图像和第二校正视点图像来生成第一焦点检测信号和第二焦点检测信号。因而,本实施例可以提高第一焦点检测信号和第二焦点检测信号之间的相关性信号的一致度),并且高精度地检测图像偏移量。[0257]在根据自动焦点检测所检测到的散焦量将透镜驱动至聚焦位置的情况下,将图像偏移量分布Mwsj,i与从与诸如摄像镜头成像光学系统)的光圈值F和出射光瞳距离等的镜头信息相对应的图像偏移量至散焦量的转换系数K相乘。由此,可以检测到散焦分布MDefj,i。可以针对焦点检测区域中的各图像高度位置进行该计算。[0258]本实施例可以生成具有良好质量的多个视点图像。本实施例可以通过使用具有良好质量的多个视点图像来提高图像偏移量的检测精度。[0259]第五实施例[0260]接着,将说明根据本发明的第五实施例。本实施例讨论Nx=2、Ny=2和Nlf=4的四分割的示例。在本实施例中,基于与图12所示的像素阵列相对应的输入图像LF数据和表达式2,针对各像素来将来自四分割出的子像素201〜204NxXNy分割出的第一子像素至第子像素的全部信号进行合成。生成拍摄图像I作为具有像素数N=水平像素数NhX垂直像素数Nv的分辨率的拜尔阵列的RGB信号。[0261]本实施例讨论Nx=2、Ny=2和Nlf=4的四分割以及k=l〜3的示例。基于与图12所示的像素阵列相对应的LF数据输入图像和表达式3,针对各像素,从四分割出的子像素201〜204中选择子像素201第一子像素)的信号。然后,本实施例生成第一视点图像I1j,i作为具有与成像光学系统中的部分光瞳区域501相对应的像素数N的分辨率的拜尔阵列的RGB信号。本实施例基于LF数据和表达式3,针对各像素,从四分割出的子像素201〜204中选择子像素202第二子像素)的信号。本实施例生成第二视点图像I2j,i作为具有与成像光学系统中的部分光瞳区域502相对应的像素数N的分辨率的拜尔阵列的RGB信号。本实施例基于LF数据和表达式(3,针对各像素,从四分割出的子像素201〜204中选择子像素203第三子像素)的信号。本实施例生成第三视点图像I3j,i作为具有与成像光学系统中的部分光瞳区域503相对应的像素数N的分辨率的拜尔阵列的RGB信号。[0262]本实施例基于通过包括具有被配置为接收穿过了成像光学系统中的不同部分光瞳区域的光束的多个光电转换器的多个排列像素的摄像元件所获取到的输入图像LF数据),来生成与将不同部分光瞳区域进行合成而得到的光瞳区域相对应的拍摄图像。然后,本实施例针对不同部分光瞳区域各自生成多个视点图像。为了生成具有良好质量的各视点图像,与第三实施例同样地,本实施例基于拍摄图像来对第一视点图像至第四视点图像第一视点图像至第Nlf视点图像进行诸如瑕疵校正和阴影校正等的图像处理,并生成输出图像。[0263]在图17的步骤Sl中,本实施例通过将拍摄图像Ij,i设置为基准或参考图像来对第一视点图像1逐第三视点图像I3第k视点图像Ik:k=l〜Nlf-D进行阴影域光量校正。本实施例讨论Nx=2、Ny=2和Nlf=4的四分割并且k=l〜3的示例。[0264]首先,在步骤Sl中,本实施例针对第k视点图像Ikk=l〜Nlf-I,通过表达式4A〜7D来在X方向上进行阴影光量校正。接着,在表达式4A〜7D中,利用y方向来替换X方向,并且在y方向上进行阴影光量校正处理,并且生成第k视点(第一校正)图像M1Ikk=1〜Nlf-I。在进行X方向上的阴影光量校正和y方向上的阴影校正这两个阶段的情况下,光瞳分割数与所需数量相比多1,以使得将表达式5A〜5D标准化。因而,在y方向上的第二阴影校正时,在表达式5A〜5D中省略与光瞳分割数Nlf相乘,以进行标准化。[0265]通过表达式8A〜(10,本实施例的过程与第三实施例的过程相同直至生成第k视点(第四校正)图像M4Ikk=l〜Nlf-I为止。在图18的步骤S4中,基于校正后的拍摄图像MIj,i以及第k视点(第四校正)图像M4Ikk=1〜Nlf-I,通过以下表达式(16来生成第Nlf视点图像Inlfj,i。本实施例讨论Nx=2、Ny=2和Nlf=4的四分割的示例。[0266]表达式16[0267][0268]图18中的步骤S5和随后步骤与第三实施例中的步骤相同。[0269]本实施例可以生成具有良好质量的视点图像。在摄像元件的各像素的光电转换器中,其它实施例可以增加分割数,诸如Nx=3、Ny=3和NLF=9的九分割以及Nx=4、Ny=4和Nlf=16的十六分割等。[0270]如上所述,各实施例中的图像处理设备(图像处理电路125包括获取单元125a和图像处理单元125b校正单元)。获取单元125a获取基于用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束的多个光电转换器中的一个光电转换器的信号而生成的视差图像,并且获取通过将来自多个光电转换器的信号进行合成所生成的拍摄图像。图像处理单元125b基于拍摄图像来进行校正处理,以使得减少视差图像中所包含的缺陷(诸如点瑕疵和线瑕疵等)。[0271]优选地,图像处理单元125b通过使用被判断为缺陷的第一位置要校正的位置处的拍摄图像的像素值像素信号)来对第一位置处的视差图像的像素值像素信号进行校正。更优选地,图像处理单元125b基于第一位置处的拍摄图像的像素值I、没有被判断为缺陷的第二位置处的视差图像的像素值以及第二位置处的拍摄图像的像素值,来对第一位置处的视差图像的像素值进行校正。第二位置是第一位置要校正的位置附近或者周边的像素的位置。更优选地,第二位置是在预定方向(像素阵列上的垂直方向、水平方向或者斜方向)上与第一位置邻接的位置。[0272]优选地,在第二位置处的视差图像或者拍摄图像的像素值低于预定亮度值参数AO或10的情况下,图像处理单元125b利用预定亮度值来替换像素值。更优选地,预定亮度值被设置成根据部分光瞳区域的数量而改变。优选地,预定亮度值被设置成根据第一位置要校正的位置而改变。优选地,预定亮度值被设置成根据摄像条件信息而改变。摄像条件信息包括ISO感光度、成像光学系统的光圈值以及出射光瞳距离至少之一。[0273]优选地,图像处理设备包括用于存储与第一位置有关的缺陷信息的存储器存储器134、或者用于检查与第一位置有关的缺陷信息的检查器。图像处理单元125b基于存储器中所存储的缺陷信息或者作为检查器的检查结果而获得的缺陷信息来进行校正处理。[0274]优选地,视差图像是通过针对成像光学系统中的彼此不同的各个部分光瞳区域而收集一个光电转换器中所包括的多个子像素多个第一子像素、多个第二子像素、多个第三子像素和多个第四子像素)的光接收信号来生成的。拍摄图像是通过收集多个光电转换器中所包括的全部子像素多个第一子像素和多个第二子像素,此外,根据需要还包括多个第三子像素和多个第四子像素的光接收信号而生成的。[0275]优选地,视差图像包括与穿过成像光学系统中的彼此不同的部分光瞳区别的各光束相对应的第一视差图像和第二视差图像。然后,获取单元125a从包括多个光电转换器的摄像元件107获取拍摄图像以及视差图像中的第一视差图像。图像处理单元125b对视差图像中的第一视差图像进行校正处理。然后,图像处理单元125b通过从拍摄图像中减去校正后的第一视差图像来生成第二视差图像。优选地,图像处理单元125b再聚焦单元基于校正后的视差图像对拍摄图像进行再聚焦处理。[0276]优选地,图像处理单元基于拍摄图像来进行视差图像的光量校正或阴影校正。更优选地,图像处理单元基于拍摄图像来对视差图像的各颜色进行视差图像的光量校正处理。更优选地,图像处理单元基于拍摄图像的投影信号和视差图像的投影信号来进行视差图像的光量校正处理。更优选地,在图像处理单元对视差图像进行了光量校正处理之后,图像处理单元基于拍摄图像对视差图像进行校正,以使得减少进行了光量校正处理之后的视差图像中所包含的缺陷。[0277]其它实施例[0278]本发明可以在用于经由网络或存储介质将用于实现上述实施例的一个或多个功能的程序供给至系统或设备,并且在系统或设备的计算机中的一个或多个处理器中读取并执行该程序的处理中实现。另外,本发明还可以在用于实现一个或多个功能的电路诸如ASIC等)中实现。[0279]各实施例可以提供能够生成具有质量有所提高的视差图像的图像处理设备、摄像设备、图像处理方法、程序和非暂时性计算机可读存储介质。[0280]尽管参考典型实施例说明了本发明,但是本发明不限于所公开的典型实施例,并且可以在不偏离本发明的范围的情况下进行各种改变和修改。[0281]附图标记的说明[0282]125图像处理电路(图像处理设备)[0283]125a获取单元[0284]125b图像处理单元

权利要求:1.一种图像处理设备,包括:获取单元,用于获取基于来自多个光电转换器中的一个光电转换器的信号所生成的视差图像,并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像,其中所述多个光电转换器用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束;以及图像处理单元,用于基于所述拍摄图像来校正所述视差图像。2.根据权利要求1所述的图像处理设备,其中,所述图像处理单元基于所述拍摄图像来校正所述视差图像,以减少所述视差图像中所包含的缺陷。3.根据权利要求2所述的图像处理设备,其中,所述图像处理单元基于被判断为缺陷的第一位置处的所述拍摄图像的像素值,来对所述第一位置处的所述视差图像的像素值进行校正。4.根据权利要求3所述的图像处理设备,其中,所述图像处理单元基于所述第一位置处的所述拍摄图像的像素值、没有被判断为缺陷的第二位置处的所述视差图像的像素值以及所述第二位置处的所述拍摄图像的像素值,来对所述第一位置处的所述视差图像的像素值进行校正。5.根据权利要求4所述的图像处理设备,其中,所述第二位置是在预定方向上与所述第一位置邻接的位置。6.根据权利要求4或5所述的图像处理设备,其中,在所述第二位置处的所述视差图像或所述拍摄图像的像素值低于预定亮度值的情况下,所述图像处理单元利用所述预定亮度值来替换该像素值。7.根据权利要求6所述的图像处理设备,其中,所述预定亮度值被设置成根据所述部分光瞳区域的数量而改变。8.根据权利要求6或7所述的图像处理设备,其中,所述预定亮度值被设置成根据所述第一位置而改变。9.根据权利要求6至8中任一项所述的图像处理设备,其中,所述预定亮度值被设置成根据摄像条件信息而改变。10.根据权利要求9所述的图像处理设备,其中,所述摄像条件信息包括ISO感光度、所述成像光学系统的光圈值以及出射光瞳距离其中至少之一。11.根据权利要求3至10中任一项所述的图像处理设备,其中,还包括存储器,所述存储器用于存储与所述第一位置有关的缺陷信息,其中,所述图像处理单元基于所述缺陷信息来校正所述视差图像。12.根据权利要求3至10中任一项所述的图像处理设备,其中,还包括检查器,所述检查器用于检查与所述第一位置有关的缺陷信息,其中,所述图像处理单元基于所述缺陷信息来校正所述视差图像。13.根据权利要求1至12中任一项所述的图像处理设备,其中,所述视差图像是通过针对所述成像光学系统中的彼此不同的各个部分光瞳区域而收集来自所述一个光电转换器中所包括的多个子像素的光接收信号来生成的,以及所述拍摄图像是通过收集来自所述多个光电转换器中所包括的全部子像素的光接收信号来生成的。14.根据权利要求1所述的图像处理设备,其中,所述视差图像包括第一视差图像和第二视差图像,所述第一视差图像和所述第二视差图像分别与穿过所述成像光学系统中的彼此不同的部分光瞳区域的光束相对应,其中,所述获取单元从包括所述多个光电转换器的摄像元件获取所述拍摄图像以及所述视差图像中的所述第一视差图像,以及所述图像处理单元进行以下操作:对所述视差图像中的所述第一视差图像进行校正,以及通过从所述拍摄图像中减去校正后的第一视差图像来生成所述第二视差图像。15.根据权利要求1至14中任一项所述的图像处理设备,其中,所述图像处理单元基于校正后的视差图像来进行对所述拍摄图像的再聚焦处理。16.根据权利要求1至15中任一项所述的图像处理设备,其中,所述图像处理单元基于所述拍摄图像来进行对所述视差图像的光量校正处理。17.根据权利要求16所述的图像处理设备,其中,所述图像处理单元基于所述拍摄图像、针对所述视差图像的各个颜色来进行对所述视差图像的所述光量校正处理。18.根据权利要求16或17所述的图像处理设备,其中,所述图像处理单元基于所述拍摄图像的投影信号和所述视差图像的投影信号来进行对所述视差图像的所述光量校正处理。19.根据权利要求16至18中任一项所述的图像处理设备,其中,所述图像处理单元在进行了对所述视差图像的所述光量校正处理之后,基于所述拍摄图像来对所述视差图像进行校正,以减少进行了所述光量校正处理之后的所述视差图像中所包含的缺陷。20.一种摄像设备,包括:摄像元件,其包括多个排列像素,其中所述多个排列像素具备用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束的多个光电转换器;获取单元,用于获取基于来自所述多个光电转换器中的一个光电转换器的信号所生成的视差图像,并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像;以及图像处理单元,用于基于所述拍摄图像来校正所述视差图像。21.根据权利要求20所述的摄像设备,其中,所述摄像元件针对一个微透镜包括所述多个光电转换器,并且所述微透镜是以二维方式排列的。22.—种图像处理方法,包括以下步骤:获取基于来自多个光电转换器中的一个光电转换器的信号所生成的视差图像,并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像,其中所述多个光电转换器用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束;以及基于所述拍摄图像来校正所述视差图像。23.—种程序,用于使计算机执行包括以下步骤的处理:获取基于来自多个光电转换器中的一个光电转换器的信号所生成的视差图像,并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像,其中所述多个光电转换器用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束;以及基于所述拍摄图像来校正所述视差图像。24.—种非暂时性计算机可读存储介质,其存储根据权利要求23所述的程序。

百度查询: 佳能株式会社 图像处理设备、摄像设备、图像处理方法和存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术
相关技术