申请/专利权人：索尼公司

申请日：2017-01-17

公开（公告）日：2021-02-19

公开（公告）号：CN108781250B

主分类号：H04N5/225(20060101)

分类号：H04N5/225(20060101)

优先权：["20160317 JP 2016-053995"]

专利状态码：有效-授权

法律状态：2021.02.19#授权;2019.03.15#实质审查的生效;2018.11.09#公开

摘要：根据本发明的摄像控制装置包括：摄像控制器，所述摄像控制器使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步；和信号处理器，其包括合成处理器，所述合成处理器对由所述第一摄像器件生成的第一数据和由所述第二摄像器件生成的第二数据进行合成。这里，所述合成处理器包括定位器，所述定位器具有裁剪器，所述裁剪器基于所述第一摄像器件和所述第二摄像器件各自的倍率以及所述第一数据和所述第二数据各自的图像尺寸来指定将要合成的区域。

主权项：1.一种摄像控制装置，其包括：摄像控制器，其使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步；和信号处理器，其包括合成处理器，所述合成处理器对由所述第一摄像器件生成的第一数据和由所述第二摄像器件生成的第二数据进行合成，其中所述合成处理器包括定位器，所述定位器具有裁剪器，所述裁剪器基于所述第一摄像器件和所述第二摄像器件各自的倍率以及所述第一数据和所述第二数据各自的图像尺寸来指定将要合成的区域。

全文数据：摄像控制装置、摄像控制方法和摄像装置技术领域[0001]本发明涉及摄像控制装置、摄像控制方法和摄像装置，所述摄像控制装置、所述摄像控制方法和所述摄像装置与多个摄像器件的控制有关。背景技术[0002]己经提出了使用两个摄像装置来拍摄具有宽视场和高分辨率的图像的摄像体系例如，参见专利文献1。[0003]引用列表[0004]专利文献[0005]专利文献1:日本未审查专利申请公开第2003-134375号发明内容[0006]在执行使用多个摄像器件的摄像的情况下，希望适当地控制各个摄像器件中的曝光时序。[0007]目前期望提供这样的摄像控制装置、摄像控制方法和摄像装置:它们允许多个摄像器件以基本相同的曝光时序对同一物体执行摄像。[0008]根据本发明的实施例的摄像控制装置包括:摄像控制器，该摄像控制器使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步。[0009]根据本发明的实施例的摄像控制方法包括:执行使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步的控制。[0010]根据本发明的实施例的摄像装置包括:第一摄像器件，其通过卷帘快门方式执行曝光;第二摄像器件，其在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光；以及摄像控制器，其使所述第一摄像器件的曝光时序和所述第二摄像器件的曝光时序基于所述摄像条件而同步。[0011]在根据本发明实施例的摄像控制装置、摄像控制方法或摄像装置中，对通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于摄像条件而适当地执行了同步控制。[0012]根据本发明实施例的摄像控制装置、摄像控制方法或摄像装置，对第一摄像器件的曝光时序和第二摄像器件的曝光时序基于摄像条件而适当地执行了同步控制，这就使得多个摄像器件能够以基本相同的曝光时序对同一物体执行摄像。[0013]应该注意，这里说明的效果并非是受到限制的，而是可以包括本发明中说明的任何效果。附图说明[00M]图1是示出根据本发明的第一实施例的摄像装置的第一示意性结构的结构图。[0015]图2是示出根据第一实施例的摄像装置的第二示意性结构的结构图。[0016]图3是示出根据第一实施例的摄像装置的功能块的示例的框图。[0017]图4是示出摄像元件的像素阵列的说明图。[0018]图5是示出通过图3中的合成处理器进行信号处理的概念的示例的说明图。[0019]图6是示出图3中的合成处理器的功能块的示例的框图。[0020]图7是示出通过图6中的合成处理器进行信号处理过程的示例的流程图。[0021]图8是示出像素插值的示例的说明图。[0022]图9是示出在中心像素是G像素的情况下的插值滤波器的示例的说明图。[0023]图10是示出在中心像素是R像素或B像素的情况下的插值滤波器的示例的说明图。[0024]图11是示出通过图6中的相关处理器进行相关处理的示例的说明图。[0025]图12是示出通过图6中的相关处理器进行相关处理的示例的说明图。[0026]图13是示出在第一摄像器件和第二摄像器件通过卷帘快门方式以彼此相同的视角和彼此相同的分辨率像素数执行摄像的情况下的曝光时序的示例的说明图。[0027]图14是示出在第一摄像器件和第二摄像器件通过卷帘快门方式以彼此相同的视角和彼此相同的分辨率像素数执行摄像的情况下的曝光时序的示例的时序图。[0028]图15是示出在第一摄像器件和第二摄像器件通过卷帘快门方式以彼此不同的视角和彼此相同的分辨率像素数执行摄像的情况下的曝光时序的示例的说明图。[0029]图16是示出在第一摄像器件和第二摄像器件通过卷帘快门方式以彼此不同的视角和彼此相同的分辨率像素数执行摄像的情况下的曝光时序的示例的时序图。[0030]图17是示出在第一摄像器件和第二摄像器件通过卷帘快门方式以彼此不同的视角和彼此相同的分辨率像素数执行摄像的情况下的曝光时序的示例的说明图。[0031]图18是示出基于视角的差异来优化图16中的曝光时序的示例的时序。[0032]图19是示出在第一摄像器件和第二摄像器件通过卷帘快门方式以彼此相同的视角和彼此不同的分辨率像素数执行摄像的情况下的曝光时序的示例的图。[0033]图20是示出在第一摄像器件和第二摄像器件通过卷帘快门方式以彼此相同的视角和彼此不同的分辨率像素数执行摄像的情况下的曝光时序的示例的时序图。[0034]图21是示出基于分辨率像素数的差异来优化图20中的曝光时序的示例的时序图。[0035]图22是示出用于对曝光时序执行同步控制的控制器的第一结构示例的框图。[0036]图23是示出用于对曝光时序执行同步控制的控制器的第二结构示例的框图。[0037]图24是示出用于对曝光时序执行同步控制的控制器的第三结构示例的框图。[0038]图25是示出用于对曝光时序执行同步控制的控制器的第四结构示例的框图。[0039]图26是示出在第一摄像器件和第二摄像器件之中的一者或两者执行变焦的情况下对曝光时序进行同步控制的示例的流程图。[0040]图27是示出在第一摄像器件和第二摄像器件之中的两者都以固定焦点执行摄像的情况下对曝光时序进行同步控制的示例的流程图。[0041]图28是示出根据第一实施例的变形例的摄像装置的示意性结构[0042]图29是不出根据第二实施例的摄像装置的示意性结构的结构图口[0043]图30是示出图29中的摄像装置的功能块的示例的框图。—、。[0044]图31是示出图30中的合成处理器的功能块的示例的框图。具体实施方式[0045]在下文中，参照附图详细地说明本发明的一些实施例。应该注意，按以下顺序给出说明。[0046]1.第一实施例摄像装置，其通过两个摄像器件产生具有彼此不同的视角的两张图像数据，并合成这两张图像数据）[0047]1.1摄像装置的概述图1〜图5[0048]1.2合成处理器的详细说明（图5〜图12[0049]1.3两个摄像器件之间的同步控制的说明（图13〜图27[0050]1.4效果[0051]1.5第一实施例的变形例（图28[0052]2•第二实施例（摄像装置，其通过三个摄像器件产生具有彼此不同的视角的三张图像数据，并合成这三张图像数据）（图29〜图31[0053]3•其他实施例[0054]〈1.第一实施例〉[0055][1.1摄像装置的概述][0056]图1和图2示出了根据本发明的第一实施例的摄像装置的示意性结构的示例。[0057]根据本实施例的摄像装置1能够通过使用包括第一摄像器件1〇和第二摄像器件2〇在内的两个摄像器件来获取具有宽视角和高分辨率的图像。[0058]例如，第一摄像器件10和第二摄像器件20被设置成在物理布置中是彼此水平的。例如，如图1所示，第一摄像器件10的光轴AX1和第二摄像器件20的光轴AX2可以彼此平行。可替代地，例如，如图2所示，光轴AX1和光轴AX2可以彼此不平行。在光轴AX1和光轴AX2彼此不平行的情况下，光轴AX1和光轴AX2优选地指向如下的方向：按照这样的方向，光轴AX1与光轴AX2之间的间隙随着距摄像装置1的距离的增加而减小。[0059]第一摄像器件10和第二摄像器件2〇能够对同一物体执行摄像，且可以具有彼此不同的摄像区域。例如，如图1和图2所示，第二摄像器件20能够具有摄像区域R2,其是第一摄像器件10的摄像区域R1的除了外边缘之外的区域。这使得第一摄像器件10和第二摄像器件20能够分别生成具有彼此不同的视角的第一RAW数据Irawl和第二RAW数据Iraw2以作为图像数据摄像数据），例如如图1和2所示。例如，摄像器件10通过摄像而生成具有相对宽视角的第一RAW数据Irawl。例如，摄像器件20通过摄像而生成具有比第一RAW数据Irawl的视角窄的视角的第二RAW数据Iraw2。稍后将详细说明第一RAW数据Irawl和第二RAW数据Iraw2的具体示例。[0060]图3示出了摄像装置1的功能块的示例。例如，摄像装置1包括第一摄像器件10、第二摄像器件20、信号处理器30和控制器40。控制器40控制第一摄像器件10和第二摄像器件20以及信号处理器30。[0061]第一摄像器件10[0062]例如，第一摄像器件10包括第一摄像元件11和第一光学透镜12。第一光学透镜12会聚第一物体光L1，并且致使所会聚的第一物体光L1入射至第一摄像元件U的光入射面。例如，第一光学透镜12固定在第一摄像器件10中。此时，第一摄像器件10的焦点距离固定在恒定值。例如，第一摄像器件10可以还包括位于第一摄像元件11的光入射面侧上的光圈iris和可变光学LPF低通滤波器:lowpassfilter。稍后将说明第一摄像元件U的结构。[0063]第二摄像器件2〇[0064]例如，第二摄像器件20包括第二摄像元件21和第二光学透镜22。第二光学透镜22会聚第二物体光L2,并且致使所会聚的第二物体光L2入射至第二摄像元件21的光入射面。例如，第二光学透镜22固定在第二摄像器件20中。此时，第二摄像器件20的焦点距离固定在恒定值。例如，第二摄像器件2〇可以还包括位于第二摄像元件21的光入射面侧上的光圈和可变光学LPF。[0065]例如，第一摄像器件1〇和第二摄像器件20能够通过第一光学透镜12和第二光学透镜22而拥有在光学上彼此不同各自的视角。例如，如稍后将说明的图M等所示，针对第一光学透镜12和第二光学透镜22两者都使用变焦透镜，这能够使它们的视角在光学上彼此不同。可替代地，如稍后将说明的图24所示，针对第一光学透镜12和第二光学透镜22中的一者使用变焦透镜，并且针对第一光学透镜12和第二光学透镜22中的另一者使用单焦点透镜，可以使它们的视角在光学上彼此不同。可替代地，如稍后将说明的图25所示，第一光学透镜I2和第二光学透镜22可以包括具有彼此不同的视角的单焦点透镜固定焦点透镜）。[0066]第一摄像元件11和第二摄像元件21[0067]接着，将对第一摄像元件11和第二摄像元件21进行说明。例如，第一摄像元件11和第二摄像元件21各自包括光接收器和颜色滤光片阵列。光接收器包括以预定间隔呈二维布置着的多个光电转换元件。颜色滤光片阵列设置在光接收器的光入射面上。例如，第一摄像元件11和第二摄像元件21都是单板固态摄像元件，并且例如各自都包括单板CMOS互补金属氧化物半导体:ComplementaryMetal-OxideSemiconductor图像传感器。在第一摄像元件11和第二摄像元件21的每一者中，例如，如图4所示，颜色滤光片阵列是包括三种颜色R红色）、G绿色和B蓝色的阵列的拜耳阵列Bayerarray。应注意，例如，颜色滤光片阵列可以是将W白色）添加到R、g和B中的RGBW阵列。可替代地，颜色滤光片阵列可以是Y黄色）、C青色）、M洋红色等的阵列。应注意，在下文中，把其中颜色滤光片阵列是包括RGB阵列的拜耳阵列的情况作为示例来进行说明。[0068]例如，第一摄像元件11和第二摄像元件21通过光接收器和颜色滤光片阵列对已经，过^一光学透镜12和第二光学透镜22入射进来的第一物体光L1和第二物体光L2进行离散地采样，从而生成第一RAW数据lrawl和第二RAW数据Iraw2。[0069]例如，第一摄像元件11生成具有相对宽视角的第一RAW数据Irawl。例如，在第一摄像器件10中，使第一光学透镜12的焦点距离相对较小，这使得能够获得具有相对宽视角的第一RAW数据Iraw1。[0070]例如，第二摄像元件21生成第二RAW数据Iraw2,其具有比第一RAW数据Irawl的视角窄的视角。例如，在第二摄像器件20中，使第二光学透镜22的焦点距离相对较长，这使得能够获得具有相对窄的视角的第二RAW数据lraw2。[OO71]第一RAW数据Irawl和第二RAW数据lraw2各者均是如下的马赛克数据mosaic;data:其中，为各个像素设定了颜色滤光片阵列中所包括的多种颜色信息之中的一种颜色信息。在颜色滤光片阵列是包括RGB阵列的拜耳阵列的情况下，第一RAW数据Irawl和第二RAW数据Iraw2各者均是这样的马赛克数据:其中，为各个像素设定了颜色滤光片阵列中所包括的红色信息、绿色信息和蓝色信息中的一种颜色信息。在这种情况下，为了从第一RAW数据Irawl和第二RAW数据Iraw2生成彩色图像数据Ic〇l，需要进行去马赛克处理demosaicprocessing，以便根据第一RAW数据Irawl和第二RAW数据Iraw2生成针对所有像素的所有颜色信息。在本实施例中，经历去马赛克处理之前的第一RAW数据Irawl和第二RAW数据Iraw2被合成。稍后将详细说明第一RAW数据Irawl和第二RAW数据Iraw2的合成。[0072]信号处理器30[0073]接着，给出信号处理器30的说明。例如，如图3所示，信号处理器30包括合成处理器31和相机信号处理器32。合成处理器31对由第一摄像器件1〇和第二摄像器件2〇生成的第一RAW数据Irawl和第二RAW数据Iraw2进行合成，从而生成了合成RAW数据lraw。相机信号处理器32对由合成处理器31生成的合成RAW数据Iraw执行去马赛克处理，从而生成彩色图像数据Ico1。例如，彩色图像数据Ico1针对各像素都含有颜色滤光片阵列中所包括的所有种类的彩色信息。在颜色滤光片阵列是包括RGB的拜耳阵列的情况下，彩色图像数据ic〇l例如包括针对各像素的RGB颜色信息。[0074]图5示出了通过由合成处理器31进行信号处理的概念的示例。在图5中，优先考虑了由合成处理器31进行的信号处理的可理解性；因此，简要地说明了信号处理。相应地，在图5中使用与上述附图标记不同的附图标记。[0075]合成处理器31从第一摄像器件10获取宽图像数据Iwide，并从第二摄像器件20获取远摄telephoto图像数据Itele。远摄图像数据Itele的视角小于宽图像数据Iwide的视角。远摄图像数据Itele对应于宽图像数据Iwide的除了外边缘之外的预定区域a。合成处理器31基于第一摄像器件10和第二摄像器件20各自的倍率以及宽图像数据Iwide和远摄图像数据Itele各自的图像尺寸来设定预定区域a。[0076]合成处理器31从宽图像数据Iwide裁剪出预定区域a，以生成图像数据Iwide，。合成处理器31基于第一摄像器件10和第二摄像器件20各自的倍率来缩小远摄图像数据Itele，以生成图像数据Itele’。合成处理器31将图像数据Iwide’和图像数据Itele’相互合成，从而生成了合成图像数据Ifusion。假设，第一摄像器件1〇的倍率被设定为一倍，第二摄像器件20的倍率被设定为两倍。此时，例如，在用户指定的倍率为一倍的情况下，合成处理器31将宽图像数据Iwide作为合成RAW数据Iraw输出。例如，在用户指定的倍率为两倍以上的情况下，合成处理器31将已经通过用户指定的倍率进行放大后的远摄图像数据Iteldt为合成RAW数据Iraw输出。例如，在用户指定的倍率为一倍至两倍之间的情况下，合成处理器31将通过用合成图像数据Ifusi〇n替换宽图像数据iwide中的预定区域a而产生的合成图像数据Imerge作为合成RAW数据Iraw输出。[0077]应注意，实际上，在图像数据Iwide’和图像数据Itele，中可能包含由视差parallax以及第一摄像器件1〇与第二摄像器件20之间的灵敏度差异和曝光差异引起的位置偏差。此外，合成图像数据Ifusion可能包括超过第一摄像器件10和第二摄像器件2〇各自的Nyquist频率奈奎斯特频率的高频成分。图像数据Iwide，和图像数据Itele，都是按照定义的马赛克数据；因此，优选地，对图像数据lwide，和图像数据Itele，执行像素插值，以便以高精度将图像数据Iwide’和图像数据Itele，相互合成。因此，合成处理器31优选地对图像数据Iwide’和图像数据Itele’执行下述的各种信号处理。[0078][1.2合成处理器的详细说明][0079]图6示出了合成处理器31的功能块的示例。图7示出了合成处理器31的信号处理过程的示例。[0080]合成处理器31包括定位器130和合成器140。定位器130基于由第一摄像器件10和第二摄像器件2〇生成的第一RAW数据Irawl和第二RAW数据Iraw2来生成第一RAW数据Irawl和第二RAW数据Iraw2的定位数据positioningdata。合成器140基于由定位器130生成的定位数据将第一RAW数据Irawl和第二RAW数据Iraw2相互合成。[0081]例如，定位器130包括裁剪器1：31、增益校正器132、像素校正器133和134、缩小器135以及视差计算器136。[0082]裁剪器131指定第一RAW数据Irawl中的将要与第二RAW数据Iraw2合成的融合区域6对应于图5中的区域a。具体地，裁剪器1；31基于第一摄像器件10和第二摄像器件20各自的倍率以及第一RAW数据Irawl和第二RAW数据Iraw2各自的图像尺寸来指定融合区域0。裁剪器131例如基于第一摄像器件10和第二摄像器件20各自的倍率以及第一RAW数据Irawl和第二RAW数据Iraw2各自的图像尺寸来指定在第一RAW数据Irawl中的融合区域@的坐标。裁剪器131例如基于所指定的坐标从第一RAW数据Irawl中裁剪出对应于融合区域f^RAW数据Irawla步骤S101〇[0083]应注意，合成处理器31可以对RAW数据Irawla和第二RAW数据Iraw2执行0PB光学黑:0pticalBlack减法。0PB减法表示消除由暗电流等引起的噪声成分。例如，合成处理器31可以从RAW数据Irawla和第二RAW数据Iraw2中消除在第一摄像器件1〇和第二摄像器件20被遮光的情况下产生的噪声成分。此时，在如果某个像素具有由于消除了RAW数据Irawla和第二RAW数据Iraw2中的噪声成分因而变为负值的值的情况下，合成处理器31保存该像素的坐标。[0084]增益校正器I32计算RAW数据Irawla和第二RAW数据Iraw2中的各种颜色信息的增益比（例如，RGB增益比）。例如，增益校正器132针对各种颜色信息计算RAW数据Irawla中的平均值，并且针对各种颜色信息计算第二RAW数据Iraw2中的平均值。例如，增益校正器132根据各种颜色信息的RAW数据Irawla和Iraw2的平均值的比率来计算各种颜色信息的校正增益。增益校正器132基于所计算的校正增益来校正第二RAW数据Iraw2步骤S102，从而生成RAW数据Iraw2a。[0085]像素校正器I33基于RAW数据Irawla中所包括的预定种类的颜色信息例如，绿色信息对RAW数据Irawla中所包括的所有像素执行插值interpolation，从而生成包括预定种类的颜色信息例如，绿色信息）的插值RAW数据Irawlb作为定位数据步骤si〇3。像素校正器1M基于RAW数据Iraw2a中所包括的预定种类的颜色信息例如，绿色信息对RAW数据Iraw2a中所包括的所有像素执彳丁插值，以生成包括预定种类的颜色信息（例如，绿色信息的插值RAW数据Iraw2b作为定位数据步骤S103。[0086]例如，如图8所示，像素校正器1M从包括RGB阵列的拜耳阵列的RAW数据Irawla中生成包括绿色信息的插值RAW数据Irawlb。此外，例如，如图8所示，像素校正器133从包括RGB阵列的拜耳阵列的RAW数据Iraw2a中生成包括绿色信息的插值RAW数据Iraw2b。此时，在中心像素作为插值对象的像素）为G像素的情况下，像素校正器133通过使用例如图9所示的插值滤波器F来校正中心像素的绿色信息。此外，在中心像素作为插值对象的像素）为R像素或B像素的情况下，像素校正器133采用例如使用图10所示的插值滤波器F生成的绿色信息来替换中心像素的颜色信息。[0087]缩小器135基于第一摄像器件1〇和第二摄像器件20各自的倍率来使插值RAW数据Iraw2b缩小（步骤S104。视差计算器136基于插值RAW数据Irawlb和Iraw2c来计算出作为定位数据的视差信息Disp步骤S105。视差信息Disp相当于由第一摄像器件10的位置和第二摄像器件2〇的位置的相互不一致misalignment引起的图像上的位置偏差量。视差计算器136例如使用两个图像之间的运动矢量m〇ti〇nvect〇r推定方法等从插值RAW数据Irawlb和Iraw2c生成视差信息Disp。[0088]例如，合成器140包括融合单元141、LPF低通滤波器单元142、相关处理器143、合并单元144和选择器145。[0089]融合单兀141将两个插值RAW数据Irawlb和Iraw2c进行合成，从而生成了合成RAW数据Iraw3a步骤S106。具体地，融合单元141基于视差信息Disp将两个插值RAW数据Irawlb和Iraw2c进行合成，以生成合成RAW数据Iraw3a。[0090]LPF单元142将合成RAW数据Imw3a中所包括的超过第一摄像器件10和第二摄像器件20各自的Nyquist频率的尚频成分衰减，从而生成合成RAW数据Iraw3b步骤S107。结果，抑制了伪色falsecolor的发生。[0091]相关处理器143针对合成RAW数据IraW3a或针对已经对合成RAW数据Iraw3a进行了预定处理后得到的合成RAW数据Iraw3b执行相关处理步骤S108。例如，如图11所示，相关处理器143把合成RAW数据Iraw3a或合成RAW数据Iraw3b跟作为第一RAW数据Irawl与插值RAW数据Irawlb之间的差分的色差（c〇l〇rdifference分量（Irawl-Irawlb相加。在相关处理中，可以使用色比colorratio。例如，如图12所示，相关处理器143可以将合成RAW数据Iraw3a或合成RAW数据Iraw3b乘以作为第一RAW数据Irawl与插值RAW数据Irawlb的比率的色比分量（IrawlIrawlb。结果，相关处理器143生成包括与第一RAW数据Irawl和第二RAW数据Iraw2的阵列对应的阵列的RAW数据Iraw3c。[0092]合并单元144将第一RAW数据Irawl和RAW数据Iraw3c相互合成，从而生成用于去马赛克处理的RAW数据IrawM步骤S109。此时，合并单元144提供了在RAW数据Iraw3c的周缘中的、颜色信息为零的框形区域，以使得RAW数据Iraw3c的图像尺寸等于第一RAW数据Irawl的图像尺寸。随后，例如，合并单元144将第一RAW数据Irawl中的融合区域a的颜色信息设置为零。此外，例如，合并单元144将第一RAW数据Irawl跟具有已经变得与RAW数据Irawl的图像尺寸相等的图像尺寸的RAW数据Irawk相加。换句话说，例如，合并单元144用RAW数据Iraw3c替换第一RAW数据Irawl中的融合区域a。[0093]应注意，在合成处理器31执行0PB减法的情况下，在执行合成处理之前，考虑到符号问题，合并单元144可以把在0PB减法中被消除的噪声成分加到RAW数据Iraw3c上。[0094]选择器145根据用户指定的倍率来选择所要输出的合成RAW数据Iraw。假设第一摄像器件10的倍率被设定为一倍，且第二摄像器件20的倍率被设定为两倍。此时，例如，在用户指定的倍率为一倍的情况下，选择器145将第一RAW数据Irawl作为合成RAW数据Iraw输出。例如，在用户指定的倍率为两倍以上的情况下，合成处理器31将已经通过用户指定的倍率进行放大后的第二RAW数据Iraw2作为合成RAW数据Iraw输出。例如，在用户指定的倍率为一倍至两倍之间的情况下，合成处理器31将RAW数据Iraw3d作为合成RAW数据Iraw输出。[0095]摄像装置1中合成处理的效果）[0096]在根据本实施例的摄像装置1中，第一摄像器件10的摄像区域R1的除了外边缘之外的区域对应于第二摄像器件2〇的摄像区域R2。此外，在摄像装置丨中，第一摄像器件10和第二摄像器件2〇分别生成具有相对宽的视角的第一RAW数据Irawl和具有比第一RAW数据Iraw1的视角窄的视角的第二RAW数据Iraw2。因此，合成RAW数据Iraw的除了外边缘之外的预定区域S4合区域®和第二RAW数据Iraw2相互合成。换句话说，第二RAW数据Iraw2被嵌入到框形的第一RAW数据Irawl中。结果，利用第一摄像器件1〇和第二摄像器件2〇，能够获得具有宽视角和高分辨率的图像。此外，即使在第一摄像器件10和第二摄像器件20中的第一光学透镜12和第二光学透镜22都包括固定焦点透镜的情况下，也能够在不使用机械变焦机构的前提下实现光学变焦。[0097]此外，在摄像装置1中，基于第一RAW数据Irawl和第二RAW数据Iraw2中所包括的预定种类的颜色信息，执行第一RAW数据Irawl和第二RAW数据Iraw2中所包括的所有像素的插值。这使得能够以如下的精度来执行合成处理:该精度基本上等于在对第一RAW数据Irawl和第二RAW数据Iraw2执行去马赛克处理之后才被执行的合成处理中的精度。[0098]此外，在摄像装置1中，基于从第一RAW数据Irawl和第二RAW数据Iraw2生成的两个插值RAW数据Irawlb和Iraw2b，生成作为定位数据的视差信息Disp。因此，使用视差信息Disp，可以提高插值RAW数据Irawlb和插值RAW数据Iraw2c的合成精度。[00"]此外，在摄像装置1中，合成RAW数据Iraw3a中所包括的超过第一摄像器件1〇和第二摄像器件2〇各自的Nyquist频率的高频成分被LPF单元142衰减。这使得在将RAW数据Irawl和RAW数据Iraw3c进行相互合成的情况下，可以抑制伪色的发生。[0100]此外，在摄像装置1中，色差分量（Irawl-Irawlb与合成RAW数据Iraw3c或已经受到预定处理后的合成RAW数据Iraw3a合成RAW数据Iraw3b相加。如上所述，在摄像装置1中，在执行了颜色信息略少的合成处理之后，丢失的颜色信息返回到合成RAW数据Iraw3c或合成RAW数据Iraw3b。因此，在摄像装置1中，能够在降低合成处理所需求的处理成本和电力消耗的同时，提高合成精度。[0]此外，在摄像装置1中，对通过将第一RAW数据Irawl和RAW数据Iraw3c进行相互合成而生成的RAW数据Iraw3d执行去马赛克处理。如上所述，在摄像装置1中，在执行RAW数据的合成之后才执行去马赛克处理，因而与在执行去马赛克处理之后再执行合成的情况相比，可以降低处理成本和电力消耗。[0102][1.3两个摄像器件之间的同步控制的说明][0103]在如上述摄像装置1那样利用第一摄像器件1〇和第二摄像器件20执行摄像的情况下，期望适当地控制各个摄像器件中的曝光时序。一般地，作为包括诸如CMOS等图像传感器的摄像器件中的电子快门方式，己知有全局快门（globalshutter方式和卷帘快门rollingshutter方式。在全局快门方式中，X寸所有像素同时执行电子决门操作。因此，在全局快门方式中，曝光时序对于所有像素而言是相同的。相反，在卷帘快门方式中，对例如1条水平线执行电子快门操作。因此，在卷帘快门方式中，曝光时序例如偏移了一条水平线。为此，特别地，在第一摄像器件10和第二摄像器件20中通过卷帘快门方式执行曝光的情况下，期望适当地控制各个摄像器件中的曝光时序。[0104]应注意，在下文中，适当地结合图1〜图3等所示的摄像装置1的结构给出说明；然而，通过本发明实现的同步控制技术也适用于除了图1〜图3等所示的摄像装置1的结构之外的结构。例如，通过本发明实现的同步控制技术也适用于以下情况:其中，第一摄像器件1〇和第二摄像器件20中所生成的图像数据通过除了上述的根据本实施例的图像合成处理技术之外的方法进行合成。此外，通过本发明实现的同步控制技术也适用于以下情况：其中，仅仅生成两个图像数据，而不执行图像合成。此外，在下文中，将两个图像器件之间的同步控制作为示例说明；然而，通过本发明实现的同步控制技术也适用于稍后在第二实施例中说明的使用三个摄像器件的情况或使用至少四个摄像器件的情况。[0105]以相同的视角和相同的分辨率像素数执行摄像的情况）[0106]图13和图14示出了在第一摄像器件10和第二摄像器件20通过卷帘快门方式以相同的视角和相同的分辨率像素数执行摄像的情况下的曝光时序的示例。在图13的左侧示意性地示出了由第一摄像器件10的第一摄像元件11生成的图像数据和曝光时序。在图13的右侧示意性地示出了由第二摄像器件20的第二摄像元件12生成的图像数据和曝光时序。图14示出了第一摄像器件10和第二摄像器件20中进行摄像的同步信号XVS的时序、以及第一摄像元件11和第二摄像元件12中各自的快门时序复位时序和像素数据读出时序。稍后将说明的图17〜图21也示出了类似的时序。[0107]如图13和图14所示，在第一摄像器件10和第二摄像器件20以相同的视角对同一物体执行摄像的情况下，它们的摄像区域基本上彼此相同。在这种情况下，摄像曝光开始位置是该物体中的大致同一位置p1。为此，使第一摄像元件11和第二摄像元件21中各自的快门时序和像素数据读出时序同步，这就使得能够对同一物体位置以相同的时序执行摄像曝光）。此外，在这种情况下，第二摄像元件I2中的读出期间和曝光期间等于第一摄像元件11中的读出期间Trl和曝光期间Tel。[0108]以不同视角执行摄像的情况）[0109]图15和图16示出了在第一摄像器件10和第二摄像器件20通过卷帘快门方式以互不相同的视角和相同的分辨率像素数执行摄像的情况下的曝光时序的示例。[0110]如图15和图ie所示，在第一摄像器件10和第二摄像器件20对同一物体以互不相同的视角执行摄像的情况下，它们的摄像区域互不相同。在图15和图16的示例中，第一摄像器件10以视角相对宽的宽视角执行摄像，第二摄像器件20以视角相对窄的远摄视角执行摄像。在这种情况下，与第一摄像器件10的摄像区域相比，第二摄像器件20的摄像区域相对较窄。在第一摄像器件10的摄像曝光开始位置是物体中的位置pi的情况下，第二摄像器件20的摄像曝光开始位置是物体中的位于位置pi内侧的位置P2。因此，在第一摄像元件n和第二摄像元件2i中各自的快门时序和像素数据读出时序同步、并且第一摄像元件n和第二摄像元件21的读出期间Trl和曝光期间Te1分别相等的情况下，第一摄像元件丨丨和第二摄像元件21对同一物体位置以不同的时序执行摄像曝光）。以这种方式对同一物体位置在互不相同的时序下执行摄像曝光），就可能导致:例如在手移动的情况下或在物体移动的情况下，不能建立由第一摄像器件1〇和第二摄像器件2〇拍摄的图像之间的相关性。[0111]图I7和图is示出了在第一摄像器件10和第二摄像器件2〇通过卷帘快门方式以互不相同的视角和相同的分辨率像素数执行摄像的情况下的曝光时序的示例。[0112]图is示出了基于第一摄像器件10与第二摄像器件20之间的视角差异来优化图16中的曝光时序的示例。在第一摄像器件10和第二摄像器件20以互不相同的视角和相同的分辨率像素数执行摄像的情况下，如图18所示，期望将以相对窄的视角执行摄像的第二摄像元件21的曝光开始时刻从以相对宽的视角执行摄像的第一摄像元件11的曝光开始时刻延迟。此外，以窄视角执行摄像的第二摄像元件21中的像素数据读出速度期望被设定为高于以宽视角执行摄像的第一摄像元件11的像素数据读出速度。在图18的示例中，第一摄像元件11的读出开始时刻是在时间tl处。第二摄像元件21的读出开始时刻是在时间t2处，该时间12从时间11与视角差异对应地发生延迟。此外，第二摄像元件21的读出期间为期间Tr2,该期间Tr2相对于第一摄像元件11的读出期间Trl与视角差异对应地发生提速。执行这样的时序控制就可以使第一摄像器件10和第二摄像器件20对同一物体位置以相同的时序执行摄像曝光）。[0113]应注意，读出速度的提速可以通过拼组bining来实现。拼组是一种将彼此接近的多个同色像素以模拟的方式进行加算的技术。通过该拼组来减少读出像素的数量，从而能够提高读出速度。[0114]以不同的分辨率像素数执行摄像的情况）[0115]图I9和图2〇示出了在第一摄像器件10和第二摄像器件20通过卷帘快门方式以相同的视角和互不相同的分辨率像素数执行摄像的情况下的曝光时序的示例。[0116]如图I9和图2〇所示，在第一摄像器件10和第二摄像器件20对同一物体以相同的视角和互不相同的分辨率像素数执行摄像的情况下，它们的摄像区域彼此基本上相同。在这种情形下，在第一摄像元件11和第二摄像元件21中各自的像素数据读出速度相等的情况下，不管摄像区域是否彼此相同，像素数的差异都会导致读出期间不同。在图20中的示例中，第一摄像元件11具有相对大的像素数，并以高分辨率执行摄像。第二摄像元件21具有相对小的像素数，并以低分辨率执行摄像。在这种情况下，第二摄像元件21的读出期间为期间Tr2,该期间Tr2相对于第一摄像元件11的读出期间Trl与像素数差异对应地发生了提速。因此，第一摄像元件11和第二摄像元件21能够对同一物体位置以不同的时序执行摄像（曝光。[0117]图21示出了基于第一摄像器件10与第二摄像器件20之间的分辨率像素数差异来优化图20中的曝光时序的示例。在第一摄像器件10和第二摄像器件20对同一物体以相同的视角和互不相同的分辨率像素数执行摄像的情况下，如图21所示，具有相对小的像素数的第二摄像元件21中的像素数据读出速度期望被设定为比具有相对大的像素数的第一摄像元件11中的像素数据读出速度慢。反之，具有大的像素数的第一摄像元件11中的像素数据读出速度期望被设定为比具有小的像素数的第二摄像元件21中的像素数据读出速度更快速。执行这样的时序控制可以使第一摄像器件10和第二摄像器件20对同一物体位置以相同的时序执行摄像曝光）。[0118]用于对曝光时序执行同步控制的控制器的结构示例）[0119]图22和图23示出了用于对曝光时序执行同步控制的控制器的第一和第二结构示例。图22和图23是在第一摄像器件10的第一光学透镜12和第二摄像器件20的第二光学透镜22两者都包括变焦透镜的情况下的结构示例。[0120]如图22所示，控制器40可以包括初始值存储单元41、摄像控制器60和透镜控制器70。应注意，如图23所示，初始值存储单元41、摄像控制器60和透镜控制器70可以设置在控制器40的外部。[0121]摄像控制器60可以包括读出控制器61和快门控制器62。读出控制器61控制第一摄像元件11和第二摄像元件21中各自的像素数据读出时序。快门控制器62控制第一摄像元件11和第二摄像元件21中各自的快门时序。[0122]透镜控制器70可以包括聚焦控制器71和变焦控制器72。聚焦控制器71对第一光学透镜12和第二光学透镜22执行聚焦控制。变焦控制器72对第一光学透镜12和第二光学透镜22执行变焦控制。变焦控制器72将第一光学透镜12和第二光学透镜22的变焦倍率的信息发送到读出控制器61和快门控制器62。[0123]初始值存储单元41保存第一摄像器件10和第二摄像器件20中的初始摄像条件的信息。例如，初始摄像条件可以包括对曝光时序产生影响的参数，例如:视角、像素数、时钟速度、帧速率、曝光时间和操作模式等。[0124]摄像控制器60使通过卷帘快门方式执行曝光的第一摄像器件10的曝光时序和采用与第一摄像器件10的摄像条件不同的摄像条件通过卷帘快门方式执行曝光的第二摄像器件20的曝光时序基于摄像条件而同步。[0125]这里，摄像条件可以包括视角和像素数中的至少一者。第二摄像器件20的摄像条件可以与第一摄像器件10的摄像条件在视角和像素数之中的一方或两方上不同。[0126]此外，摄像条件可以包括变焦透镜的变焦倍率。摄像控制器60可以使第一摄像器件10的曝光时序和第二摄像器件20的曝光时序基于变焦倍率而动态地同步。[0127]与上述图18所示的示例一样，摄像控制器60可以执行如下控制:将第一摄像器件10和第二摄像器件20之中的以相对窄的视角执行摄像的摄像器件的曝光开始时刻从第一摄像器件10和第二摄像器件20之中的以相对宽的视角执行摄像的摄像器件的曝光开始时刻延迟。在这种情况下，摄像控制器60可以执行如下控制:使以窄视角执行摄像的摄像器件中的像素数据读出速度比以宽视角执行摄像的摄像器件中的像素数据读出速度更快速。[0128]此外，与上述图21所示的示例一样，摄像控制器60可以执行如下控制:使第一摄像器件10和第二摄像器件20之中的具有相对大的像素数的摄像器件中的像素数据读出速度比第一摄像器件10和第二摄像器件20之中的具有相对小的像素数的摄像器件中的像素数据读出速度更快速。[0129]图24示出了用于对曝光时序执行同步控制的控制器的第三结构示例。在图24的结构示例中，设置了第一光学透镜12A以替换图22的结构示例中的第一光学透镜12。第一光学透镜12A包括固定焦点透镜以替换变焦透镜。在该结构示例中，变焦控制器72对第二光学透镜22执行变焦控制。其他结构可以与图22中的结构示例的结构基本类似。[0130]图25示出了用于对曝光时序执行同步控制的控制器的第四结构示例。在图25的结构示例中，设置第一光学透镜12A以替换图22的结构示例中的第一光学透镜12。此外，设置了第二光学透镜22A以替换图22的结构示例中的第二光学透镜22。第一光学透镜12A和第二光学透镜22A各自包括固定焦点透镜以替换变焦透镜。[0131]在图25的结构示例中，采用透镜控制器7〇A的结构，该透镜控制器70A省去了透镜控制器70的变焦控制器72。在该结构示例中，摄像控制器60使第一摄像器件10的曝光时序和第二摄像器件20的曝光时序基于存储在初始值存储单元41中的初始摄像条件而同步。其他结构可以与图22中的结构示例的结构基本相似。[0132]图26示出了在第一和第二摄像器件中的至少一者执行变焦的情况下（在图22〜24的结构示例中对曝光时序执行同步控制的示例。[0133]当电源接通时（步骤S2〇l，摄像控制器60从初始值存储单元41读出初始参数步骤S2〇2。初始参数可以是对曝光时序产生影响的初始摄像条件，例如:像素数、时钟速度、帧速率、曝光时间和操作模式等。视角根据变焦倍率而动态地变化。因此，摄像控制器60接着从变焦控制器72读出变焦透镜的变焦倍率的信息步骤S203。因此，决定与变焦倍率对应的视角。接着，摄像控制器6〇基于所获得的诸如视角等摄像条件，来决定第一摄像元件11和第二摄像元件21中各自的像素数据读出时序（步骤S204。接着，摄像控制器60基于所获得的诸如视角等摄像条件，来决定第一摄像元件11和第二摄像元件21中各自的快门时序步骤S205。接着，摄像控制器60以所决定的快门时序和所决定的读出时序使第一摄像元件11和第二摄像元件21开始摄像步骤S206。[0134]图27示出了在第一和第二摄像器件两者都以固定焦点执行摄像的情况下在图25的结构示例中对曝光时序进行同步控制的示例。[0135]当电源接通时（步骤S2〇l，摄像控制器㈤从初始值存储单元41读出初始参数步骤S202A。初始参数可以是对曝光时序产生影响的初始摄像条件，例如:视角、像素数、时钟速度、帧速率、曝光时间和操作模式等。接着，摄像控制器60基于所获得的诸如视角等摄像条件来决定第一摄像元件11和第二摄像元件21中各自的像素数据读出时序步骤S204。接着，摄像控制器60基于所获得的诸如视角等摄像条件来决定第一摄像元件11和第二摄像元件21中各自的快门时序步骤S205。接着，摄像控制器60以所决定的快门时序和所决定的读出时序使第一摄像元件11和第二摄像元件21开始摄像步骤S206。[0136][1.4效果][0137]如上所述，根据本实施例，对第一摄像器件10的曝光时序和第二摄像器件20的曝光时序基于摄像条件适当地执行同步控制，从而使多个摄像器件可以对同一物体以基本相同的曝光时序执行摄像。[0138]应注意，在本说明书中说明的效果仅仅是示例性的而非限制性的，并且可以包括其他效果。这也适用于通过以下其他实施例实现的效果。[0139][1.5第一实施例的变形例][0140]图28示出了根据第一实施例的变形例的摄像装置200的示意性结构。[0141]在上述摄像装置1中，相机信号处理器32设置在合成处理器31的后面;然而，像如图28所示的摄像装置200那样，合成处理器250可以设置在第一相机信号处理器230和第二相机信号处理器240的后面。[0142]摄像装置200包括相机信号处理器230和相机信号处理器240。相机信号处理器230将由第一摄像器件1〇获得的第一RAW数据Irawl转换成彩色图像Icoll，相机信号处理器240将由第二摄像器件20获得的第二RAW数据Iraw2转换成彩色图像Ic〇12。摄像装置200还包括合成处理器250,该合成处理器250将由第一相机信号处理器230和第二相机信号处理器240获得的彩色图像Icoll和Ic〇12进行相互合成，以生成彩色图像Ic〇13。如上所述，在摄像装置200中，彩色图象化去马赛克处理是在第一摄像器件10和第二摄像器件20中各自执行的，并且在执行彩色图象化去马赛克处理之后才执行图像合成。[0143]应注意，在上述摄像装置1中，基于在视角相互不同的第一RAW数据Irawl和第二RAW数据Iraw2的基础上生成的定位数据，来使第一RAW数据Irawl和第二RAW数据Iraw2相互合成。换句话说，在上述摄像装置1中，在受到去马赛克处理之前的RAW数据的阶段下执行合成。这使得可以将去马赛克处理的次数减少到一次。此外，在上述摄像装置1中，作为合成对象的第一RAW数据Irawl和第二RAW数据Iraw2包括的各像素的颜色信息比本变形例的摄像装置200中作为合成对象的彩色图像数据Ico11和Ico12所包括的颜色信息少。这使得可以抑制合成所必需的计算量。因此，在上述摄像装置1中，与本变形例的摄像装置200相比，可以降低去马赛克处理和合成处理所需求的处理成本和电力消耗。[0144]此外，在上述摄像装置1中，从合成处理器31输出RAW数据Iraw。因此，常规的相机信号处理器等可以在不添加任何修改的情况下应用于跟在合成处理器31后面的相机信号处理器32。换句话说，在上述摄像装置1中，如下的结构适用于相机信号处理器32:在该结构中，针对单个摄像器件的RAW输出在去马赛克处理之后才进行处理完全没有被修改。因此，在上述摄像装置1中，与使用单个摄像器件的情况同样简便的，能够降低去马赛克处理和合成处理所需求的处理成本和电力消耗。[0145]〈2.第二实施例〉[0146]接着，给出本发明的第二实施例的说明。在下文中，具有与上述第一实施例中的结构和工作方式基本类似的结构和工作方式的部分适当地不作说明。[0147]在上述第一实施例中，摄像装置1包括第一摄像器件10和第二摄像器件20;然而，摄像装置1可以包括三个以上的摄像器件。例如，如图29和图30所示，摄像装置1可以具有包括第一摄像器件10、第二摄像器件20和第三摄像器件50在内的三个摄像器件。第一摄像器件10、第二摄像器件20和第三摄像器件50可以设置成在物理布置中是彼此水平的。例如，第一摄像器件10的光轴AX1、第二摄像器件20的光轴AX2和摄像器件50的光轴AX3可以如图29所示是彼此不平行的。此时，光轴AX1、AX2和AX3优选地指向如下的方向：按照这样的方向，光轴AX1、AX2和AX3相互之间的间隙随着距摄像装置1的距离的增加而减小。光轴AC1、AX2和AX3可以是互相平行的。[0148]在本实施例中，基于由第一摄像器件10、第二摄像器件20和第三摄像器件50分别生成的三个以上的RAW数据Irawl、Iraw2和Iraw4，定位器130生成三个以上的RAW数据Irawl、Iraw2和Iraw4的定位数据。合成器140基于由定位器130生成的定位数据将三个以上的RAW数据Irawl、Iraw2和Iraw4相互合成。[0149]在本实施例中，摄像器件20以第一摄像器件10的摄像区域R1的除了外边缘之外的区域作为摄像区域R2。第三摄像器件50包括第三摄像元件51和第三光学透镜52,并且第三摄像器件50以第二摄像器件20的摄像区域R2的除了外边缘之外的区域作为摄像区域R3。第三光学透镜52会聚第三物体光L3,并致使所会聚的第三物体光L3入射至第三摄像元件51的光入射面。第一摄像器件10、第二摄像器件20和第三摄像器件50分别生成视角互不相同的第一RAW数据Irawl、第二RAW数据Iraw2和第三RAW数据Iraw4。第一摄像器件10通过摄像而生成具有最宽视角的第一RAW数据Irawl。第二摄像器件20通过摄像而生成具有比第一RAW数据Irawl的视角窄的视角的第二RAW数据Iraw2。第三摄像器件50通过摄像而生成具有比第二RAW数据Iraw2的视角窄的视角的第三RAW数据Iraw4。[0150]在本实施例中，合成处理器31将第一RAW数据Irawl的除了外边缘之外的预定区域跟RAW数据Irawa2合成，并且将RAW数据Irawa2的除了外边缘之外的预定区域和第三RAW数据Iraw4合成。[0151]图31示出了根据本实施例的合成处理器31的功能块的示例。在本实施例中，定位器130包括用于第三RAW数据Iraw4的信号处理块，并且例如包括增益校正器137、像素校正器138和缩小器139。[0152]增益校正器137计算第二RAW数据Iraw2和第三RAW数据Iraw3中的各种颜色信息的增益比（例如，RGB增益比）。例如，增益校正器137针对各种颜色信息计算出第二RAW数据Iraw2中的平均值，并且针对各种颜色信息计算出第三RAW数据Iraw4中的平均值。例如，增益校正器137根据各种颜色信息的第二RAW数据Iraw2和第三RAW数据Iraw4的平均值的比率计算各种颜色信息的校正增益。增益校正器137基于所计算的校正增益来校正第三RAW数据Iraw4，从而生成RAW数据Iraw4a。[0153]像素校正器138基于RAW数据Iraw4a中所包括的预定种类的颜色信息（例如，绿色信息来针对RAW数据Iraw4a中所包括的所有像素执行插值，从而生成包括预定种类的颜色信息例如，绿色信息）的插值RAW数据Iraw4b作为定位数据。[0154]例如如图8所示，像素校正器138从包括RGB阵列的拜耳阵列的RAW数据Iraw4a中生成包括绿色信息的插值RAW数据Iraw4b。此时，在中心像素作为插值对象的像素为G像素的情况下，像素校正器138例如采用图9所示的插值滤波器F来校正中心像素的绿色信息。此夕卜，在中心像素作为插值对象的像素为R像素或B像素的情况下，像素校正器133利用例如采用图10所示的插值滤波器F生成的绿色信息来替换中心像素的颜色信息。[0155]缩小器139基于第二摄像器件20和第三摄像器件50各自的倍率来使插值RAW数据Iraw4b缩小。视差计算器136基于插值RAW数据Irawlb、Iraw2c和Iraw4c来计算作为定位数据的视差信息Disp。视差信息Disp相当于：由第一摄像器件1〇的位置和第二摄像器件2〇的位置的相互不一致引起的图像上的位置偏离量、以及由第二摄像器件20的位置和第三摄像器件50的位置的相互不一致引起的图像上的位置偏离量。视差计算器136例如利用两个图像之间的运动矢量推定方法等从插值RAW数据Irawlb、Iraw2c和Iraw4c生成视差信息Disp。[0156]在本实施例中，融合单元141将个插值RAW数据Irawlb和Iraw2c进行合成，并将两个插值RAW数据Iraw2c和Iraw4c进行合成，从而生成了合成RAW数据Iraw3a。具体地，融合单兀141基于视差信息Disp将两个插值RAW数据Irawlb和Iraw2c进行合成、且将两个插值RAW数据Iraw2c和Iraw4c进行合成，从而生成了合成RAW数据Iraw3a。[0157]在本实施例中，基于在具有互不相同的视角的第一RAW数据Irawl和第二RAW数据Iraw2的基础上生成的定位数据，将第一RAW数据Irawl和第二RAW数据Iraw2进行合成。此外，基于在具有互不相同的视角的第二RAW数据Iraw2和第三RAW数据Iraw4的基础上生成的定位数据，将第二RAW数据Iraw2和第三RAW数据Iraw4进行合成。换句话说，在本实施例中，在执行去马赛克处理之前的RAW数据的阶段下进行合成。这使得可以减少去马赛克处理的次数。此外，在本实施例中，作为合成对象的第一RAW数据Irawl、第二RAW数据Iraw2和第三RAW数据Iraw4所包括的各个像素的颜色信息少于现有技术中作为合成对象的彩色图像数据的颜色信息。因此，能够降低去马赛克处理和合成处理所需求的处理成本和电力消耗。[0158]此外，在本实施例中，第一摄像器件10的摄像区域R1的除了外边缘之外的区域对应于第二摄像器件20的摄像区域R2,第二摄像器件20的摄像区域R2的除了外边缘之外的区域对应于第三摄像器件50的摄像区域R3。此外，在本实施例中，第一摄像器件10、第二摄像器件20和第三摄像器件50分别生成具有相对宽的视角的第一RAW数据Irawl、具有比第一RAW数据Irawl的视角窄的视角的第二RAW数据Iraw2、以及具有比第二RAW数据Iraw2的视角窄的视角的第三RAW数据Iraw4。因此，将合成RAW数据Iraw的除了外边缘之外的预定区域融合区域©和第二RAW数据Iraw2进行相互合成。此外，将第二RAW数据Iraw2的除了外边缘之外的预定区域和第三RAW数据Iraw4进行相互合成。换句话说，第二RAW数据Iraw2被嵌入到框形的第一RAW数据Irawl，且第三RAW数据Iraw4被嵌入到框形的第二RAW数据Iraw2。因此，利用第一摄像器件10、第二摄像器件20和第三摄像器件50,可以获得具有宽视角和高分辨率的图像。此外，即使在第一摄像器件10、第二摄像器件20和第三摄像器件50的第一光学透镜12、第二光学透镜22和第三光学透镜52全都包括固定焦点透镜的情况下，也可以在不使用机械变焦机构的前提下实现光学变焦。[0159]其他结构、操作和效果可以与上述第一实施例中的结构、操作和效果基本类似。[0160]3.其他实施例〉[0161]本发明实现的技术不限于上述各个实施例的说明，而且可以以各种方式进行修改。[0162]应该以各种形式来考虑到图1所示的摄像装置1等适用的相机的变形。第一光学透镜12等可以是固定型或可交换型。在第一光学透镜12等是可交换型透镜单元的情况下，图22、图23等所示的透镜控制器70和摄像控制器60可以设置在相机主体所在的那侧或设置在可交换型透镜单元所在的那侧。[0163]此外，在图1所示的摄像装置1等中，由信号处理器30生成的彩色图像数据Icol可以存储在外部存储器中或可以显示在显示器上。此外，彩色图像数据Icol可以通过网络传输到任何其他设备，而不是被存储或显示。此外，图1所示的信号处理器30可以与摄像装置1的主体分离。例如，信号处理器30可以设置在与摄像装置1连接的网络端。此外，摄像装置1的主体可以在不执行图像处理的情况下将图像数据存储在外部存储器中，并且可以使诸如个人计算机PC:personalcomputer等各种别的设备执行图像处理。[0164]应注意，信号处理器30的处理可以由计算机作为程序执行。例如，本发明的程序是例如从存储介质提供到允许执行各种程序代码的信息处理设备和计算机系统的程序。通过信息处理设备或计算机系统中的程序执行单元执行这样的程序使得可以实现与程序相对应的处理。[0165]此外，本技术进行的一系列图像处理可以通过硬件、软件或硬件和软件的组合来执行。在执行软件处理的情况下，可以将保存有处理序列的程序安装在内置于专用硬件的计算机的存储器中，并且使计算机执行该程序，或者可以将程序安装在能够执行各种处理的通用计算机中，并且使通用计算机执行该程序。例如，可以预先将程序存储在存储介质中。除了将程序从存储介质安装到计算机之外，还可以通过诸如LAN局域网）和因特网等网络接收该程序，并将程序安装在诸如内置硬件等存储介质中。[0166]此外，例如，本技术可以具有以下结构。[0167]1一种摄像控制装置，其包括：L0168」摄像捏制器，其使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步。[0169]⑵根据⑴所述的摄像控制装置，其中[0170]所述摄像条件包括视角和像素数中的至少一者，并且[0171]所述第二摄像器件的摄像条件与所述第一摄像器件的摄像条件在所述视角和所述像素数中的至少一者上是不同的。[0172]⑶根据⑴或⑵所述的摄像控制装置，还包括：[0173]存储单元，所述存储单元保存着所述第一摄像器件和所述第二摄像器件的在初始状态下的摄像条件的信息，[0174]其中，所述摄像控制器使所述第一摄像器件的曝光时序和所述第二摄像器件的曝光时序基于所述在初始状态下的摄像条件而同步。[0175]⑷根据⑴〜⑶中任一项所述的摄像控制装置，其中[0176]所述第一摄像器件和所述第二摄像器件中的至少一者包括变焦透镜，[0177]所述摄像条件至少包括所述变焦透镜的变焦倍率，并且[0178]所述摄像控制器使所述第一摄像器件的曝光时序和所述第二摄像器件的曝光时序基于所述变焦倍率而同步。[0179]⑸根据⑴〜⑷中任一项所述的摄像控制装置，其中[0180]所述摄像条件至少包括视角，并且[0181]_所述摄像控制器使所述第一摄像器件和所述第二摄像器件之中的在相对较窄视角下执行摄像的摄像器件的曝光开始时刻从所述第一摄像器件和所述第二摄像器件之中的在相对较宽视角下执行摄像的摄像器件的曝光开始时刻延迟。[0182]6根据5所述的摄像控制装置，其中，所述摄像控制器致使所述在较窄视角下执行摄像的摄像器件中的像素数据的读出速度高于所述在较宽视角下执行摄像的摄像器件中的像素数据的读出速度。[0183]⑺根据⑴〜⑷中任—项所述的摄像控制装置，其中[0184]所述摄像条件至少包括像素数，并且[0185]所述摄像控制器致使所述第一摄像器件和所述第二摄像器件之中的具有相对较大像素数的摄像器件中的像素数据的读出速度高于所述第一摄像器件和所述第二摄像器件之中的具有相对较小像素数的摄像器件中的像素数据的读出速度。[0186]⑻一种摄像控制方法，其包括：[0187]执行使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步的控制。[0188]⑼一种摄像装置，其包括：[0189]第一摄像器件，其通过卷帘快门方式执行曝光；[0190]第二摄像器件，其在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光；以及[0191]摄像控制器，其使所述第一摄像器件的曝光时序和所述第二摄像器件的曝光时序基于所述摄像条件同步。[0192]10根据9所述的摄像装置，还包括:合成器，所述合成器将具有互不相同的摄像区域的两个图像数据进行合成，所述两个图像数据是在所述第一摄像器件和所述第二摄像器件中以互不相同的视角执行摄像而生成的。[0193]11根据（10所述的摄像装置，其中，所述合成器以如下方式将所述两个图像数据进行合成:让所述两个图像数据之中的具有相对较窄视角的图像数据包含于所述两个图像数据之中的具有相对较宽视角的图像数据的除了外边缘之外的预定区域内。[0194]本申请要求于2016年3月17日向日本专利局提交的日本优先权专利申请第2016_053995号的权益，其全部内容通过引用并入本文。[0195]本领域技术人员应该理解，根据设计需要和其他因素，可以进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。

权利要求：1.一种摄像控制装置，其包括：摄像控制器，其使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步。2.根据权利要求1所述的摄像控制装置，其中，所述摄像条件包括视角和像素数中的至少一者，并且所述第二摄像器件的摄像条件与所述第一摄像器件的摄像条件在所述视角和所述像素数中的至少一者上是不同的。3.根据权利要求1所述的摄像控制装置，其还包括：存储单元，所述存储单元保存着所述第一摄像器件和所述第二摄像器件的在初始状态下的摄像条件的信息，其中，所述摄像控制器使所述第一摄像器件的曝光时序和所述第二摄像器件的曝光时序基于所述在初始状态下的摄像条件而同步。4.根据权利要求1所述的摄像控制装置，其中，所述第一摄像器件和所述第二摄像器件中的至少一者包括变焦透镜，所述摄像条件至少包括所述变焦透镜的变焦倍率，并且所述摄像控制器使所述第一摄像器件的曝光时序和所述第二摄像器件的曝光时序基于所述变焦倍率而同步。5.根据权利要求1所述的摄像控制装置，其中，所述摄像条件至少包括视角，并且所述摄像控制器使所述第一摄像器件和所述第二摄像器件之中的在相对较窄视角下执行摄像的摄像器件的曝光开始时刻从所述第一摄像器件和所述第二摄像器件之中的在相对较宽视角下执行摄像的摄像器件的曝光开始时刻延迟。6.根据权利要求5所述的摄像控制装置，其中，^所述摄像控制器致使所述在较窄视角下执行摄像的摄像器件中的像素数据的读出速度高于所述在较宽视角下执行摄像的摄像器件中的像素数据的读出速度。7.根据权利要求1所述的摄像控制装置，其中所述摄像条件至少包括像素数，并且所述摄像控制器致使所述第一摄像器件和所述第二摄像器件之中的具有相对较大像素数的摄像器件中的像素数据的读出速度高于所述第一摄像器件和所述第二摄像器件之中的具有相对较小像素数的摄像器件中的像素数据的读出速度。8.—种摄像控制方法，其包括：执行使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步的控制。9.一种摄像装置，其包括：第一摄像器件，其通过卷帘快门方式执行曝光；第二摄像器件，其在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光；以及摄像控制器，其使所述第一摄像器件的曝光时序和所述第二摄像器件的曝光时序基于所述摄像条件而同步。10.根据权利要求9所述的摄像装置，其还包括：合成器，所述合成器将具有互不相同的摄像区域的两个图像数据进行合成，所述两个图像数据是在所述第一摄像器件和所述第二摄像器件中以互不相同的视角执行摄像而生成的。11.根据权利要求10所述的摄像装置，其中，所述合成器以如下方式将所述两个图像数据进行合成:让所述两个图像数据之中的具有相对较窄视角的图像数据包含于所述两个图像数据之中的具有相对较宽视角的图像数据的除了外边缘之外的预定区域内。

百度查询： 索尼公司 摄像控制装置、摄像控制方法和摄像装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD