申请/专利权人：索尼公司

申请日：2016-10-28

公开（公告）日：2020-10-16

公开（公告）号：CN108353156B

主分类号：H04N13/106(20180101)

分类号：H04N13/106(20180101);H04N13/161(20180101);H04N19/597(20140101);H04N19/70(20140101);H04N21/235(20110101)

优先权：["20151111 JP 2015-221236"]

专利状态码：有效-授权

法律状态：2020.10.16#授权;2018.10.26#实质审查的生效;2018.07.31#公开

摘要：本公开内容涉及使得能够基于二维图像数据和深度图像数据以高精度生成三维数据的图像处理装置和图像处理方法。颜色偏移校正数据生成单元生成用于校正在参考视点的二维图像数据和标准视点的二维图像数据中的颜色偏移的颜色偏移校正数据。元数据添加单元发送：包含由颜色偏移校正数据生成单元生成的颜色偏移校正数据的颜色偏移校正信息；包括表达每个像素在成像对象的深度方向上的位置的深度图像数据和标准视点的二维图像数据的编码数据；以及包括参考视点的深度图像数据和二维图像数据的编码数据。本公开内容适用于例如合成装置等。

主权项：1.一种图像处理装置，包括：颜色偏移校正数据生成单元，其生成用于校正第一视点的二维图像数据与第二视点的二维图像数据之间的颜色偏移的颜色偏移校正数据；以及发送单元，其发送：颜色偏移校正信息，所述颜色偏移校正信息包括由所述颜色偏移校正数据生成单元生成的所述颜色偏移校正数据；第一编码数据，所述第一编码数据是所述第一视点的二维图像数据与指示相对于第三视点的每个像素在图像拾取对象的深度方向上的位置的深度图像数据的编码数据；以及第二编码数据，所述第二编码数据是所述第二视点的二维图像数据与第四视点的深度图像数据的编码数据。

全文数据：图像处理装置和图像处理方法技术领域[0001]本公开内容涉及图像处理装置和图像处理方法，并且尤其涉及使得可以基于二维图像数据和深度图像数据以高精度生成三维数据的图像处理装置和图像处理方法。背景技术[0002]在多视点立体技术中，设计了一种传输系统，其记录、编码、传输、解码和显示包括由多个相机拾取的三维对象的三维位置信息和二维图像数据的三维数据例如参照NPLl。作为三维数据的编码方法，可以使用MPEG运动图像专家组阶段方法等例如，参见NPL2。[0003]此外，已经设计了一种传输系统，通过该传输系统，从多个相机获得的多条不同视点的二维图像数据和包括指示像素在图像拾取对象的深度方向（垂直于图像拾取平面的方向）上的位置的深度的深度图像数据被原样记录、编码、发送、解码和显示。作为用于对二维图像数据和深度图像数据进行编码的方法，可以使用MVCD多视点和深度视频编码方法、AVC高级视频编码方法、HEVC高效视频编码方法等。[0004][引文列表][0005][非专利文献][0006][NPLl][0007]MingChuang,PatSweeney,DonGillett1DennisEvseevjDavidCalabrese,HuguesHoppe,AdamKirk,SteveSullivan,“High-QualityStreamableFree-ViewpointVideo,AlvaroCollet,”微软公司[0008][NPL2][0009]MariusPreda,“MPEGGraphicsCompressionModel”MPEG文献：N9892,2008年5月发明内容[0010][技术问题][0011]然而，在将图像拾取对象的三维信息作为三维数据发送的情况下，在接收侧需要处理三维数据的高功能的处理单元。[0012]此外，在以多个相机获得的二维图像数据和深度图像数据的形式发送图像拾取对象的三维信息的情况下，尽管在接收侧的处理变得容易，但是颜色偏移有时出现在视点的二维图像数据中。在这种情况下，不能基于视点的二维图像数据和深度图像数据高精度地生成三维数据。[0013]鉴于如上所述的这种情况做出了本公开内容，并且本公开内容的目的是使得可以基于二维图像数据和深度图像数据以高精度生成三维数据。[0014][解决问题的方法][0015]根据本公开内容的第一方面的图像处理装置是如下一种图像处理装置，其包括：颜色偏移校正数据生成单元，其生成用于校正第一视点的二维图像数据与第二视点的二维图像数据之间的颜色偏移的颜色偏移校正数据；以及发送单元，其发送颜色偏移校正信息、第一编码数据和第二编码数据，所述颜色偏移校正信息包括由颜色偏移校正数据生成单元生成的颜色偏移校正数据，所述第一编码数据是第一视点的二维图像数据与指示相对于第三视点每个像素在图像拾取对象的深度方向上的位置的图像深度数据的编码数据，所述第二编码数据是第二视点的二维图像数据与第四视点的深度图像数据的编码数据。[0016]根据本公开内容的第一方面的图像处理方法对应于本公开内容的第一方面的图像处理装置。[0017]在本公开内容的第一方面，生成用于校正第一视点的二维图像数据与第二视点的二维图像数据之间的颜色偏移的颜色偏移校正数据，并且发送颜色偏移校正信息、第一编码信息以及第二编码信息，所述颜色偏移校正信息包括生成的颜色偏移校正数据，所述第一编码信息是第一视点的二维图像数据与指示相对于第三视点的每个像素在图像拾取对象的深度方向上的位置的深度图像数据的编码数据，所述第二编码信息是第二视点的二维图像数据与第四视点的深度图像数据的编码数据。[0018]根据本公开内容的第二方面的图像处理装置是如下一种图像处理装置，其包括：解码单元，对第一编码数据和第二编码数据进行解码，所述第一编码数据是第一视点的二维图像数据与指示相对于第二视点每个像素在图像拾取对象的深度方向上的位置的深度图像数据的编码数据，所述第二编码数据是第三视点的二维图像数据与第四视点的深度图像数据的编码数据；以及颜色校正单元，其基于包括第一视点的二维图像数据与第二视点的二维图像数据的颜色偏移校正数据的颜色偏移校正信息，执行作为解码单元的解码结果获得的第三视点的二维图像数据的颜色偏移校正。[0019]根据本公开内容的第二方面的图像处理方法和程序对应于本公开内容的第二方面的图像处理装置。[0020]在本公开内容的第二方面，对第一编码数据和第二编码数据进行解码，所述第一编码数据是第一视点的二维图像数据与指示相对于第二视点每个像素在图像拾取对象的深度方向上的位置的深度图像数据的编码数据，所述第二编码数据是第三视点的二维图像数据与第四视点的深度图像数据的编码数据。基于包括第一视点的二维图像数据与第三视点的二维图像数据的颜色偏移校正数据的颜色偏移校正信息，执行作为解码结果获得的第三视点的二维图像数据的颜色校正。[0021]要注意的是，第一方面和第二方面的图像处理装置可以通过使计算机执行程序来实现。[0022]此外，为了实现第一方面和第二方面的图像处理装置，要通过计算机执行的程序可以通过传输介质传输或通过将其记录在记录介质上来提供。[发明的有益效果][0023]利用本公开内容的第一方面，可以执行图像处理。此外，利用本公开内容的第一方面，可以执行图像处理，使得可以基于二维图像数据和深度图像数据以高精度生成三维数据。[0024]利用本公开内容的第二方面，可以执行图像处理。此外，利用本公开内容的第二方面，可以基于二维图像数据和深度图像数据以高精度生成三维数据。[0025]应该注意，这里描述的效果并非是限制性的，并且可以应用本公开内容中描述的效果中的任何一个。附图说明[0026]图1是示出应用本公开内容的传输系统的第一实施方式的配置的示例的框图。[0027]图2是示出图1的转换单元的配置的示例的框图。[0028]图3是示出与预定显示图像生成方法对应的多个视点的示例的视图。[0029]图4是示出相机相关信息的示例的视图。[0030]图5是示出图1的图像拾取装置和编码装置的编码处理的流程图。[0031]图6是示出图1的转换单元的第一配置示例的框图。[0032]图7是示出图1的转换单元的第二配置示例的框图。[0033]图8是示出图1的转换单元的第三配置示例的框图。[0034]图9是示出图1的解码装置的解码处理的流程图。[0035]图10是示出应用本公开内容的传输系统的第二实施方式的配置的示例的框图。[0036]图11是示出图10的图像拾取装置的配置的示例的框图。[0037]图12是示出同步偏差信息的示例的视图。[0038]图13是示出图10的编码装置的配置的示例的框图。[0039]图14是示出图10的图像拾取装置和编码装置的编码处理的流程图。[0040]图15是示出图10的解码单元的配置的示例的框图。[0041]图16是示出图10的解码装置的解码处理的流程图。[0042]图17是示出应用本公开内容的传输系统的第三实施方式的配置的示例的框图。[0043]图18是示出图17的合成装置的配置的示例的框图。[0044]图19是示出图18的合成装置的合成处理的流程图。[0045]图20是示出第四实施方式中的合成装置的配置的示例的框图。[0046]图21是示出用于生成坐标变换数据的处理的视图。[0047]图22是示出坐标变换信息的示例的视图。[0048]图23是示出图20的合成装置的合成处理的流程图。[0049]图24是示出第四实施方式中的转换单元的配置的示例的框图。[0050]图25是示出第四实施方式中的解码装置的解码处理的流程图。[0051]图26是示出第五实施方式中的合成装置的配置的示例的框图。[0052]图27是示出颜色偏移校正信息的示例的视图。[0053]图28是示出图26的合成装置的合成处理的流程图。[0054]图29是示出第五实施方式中的转换单元的配置的示例的框图。[0055]图30是示出计算机的硬件配置的示例的框图。具体实施方式[0056]在下文中，描述用于执行本公开内容的模式在下文中被称为实施方式）。应该注意，描述按以下顺序给出。[0057]1.第一实施方式:传输系统（图1至图9[0058]2.第二实施方式:传输系统（图10至图16[0059]3.第三实施方式:传输系统（图17至图19[0060]4.第四实施方式:传输系统（图20至图25[0061]5.第五实施方式:传输系统（图26至图29[0062]6.第六实施方式:计算机图30[0063]〈第一实施方式〉[0064]传输系统的第一实施方式的配置的示例）[0065]图1是示出应用本公开内容的传输系统的第一实施方式的配置的示例的框图。[0066]图1的传输系统10包括图像拾取装置11、编码装置12、解码装置13以及显示装置14。传输系统10使用从图像拾取装置11获取的二维图像数据等根据预定显示图像生成方法生成并显示显示图像数据。[0067]具体地，传输系统10的图像拾取装置11包括例如多相机、距离测量仪器和图像处理单元。图像拾取装置11的多相机包括多个例如八个相机，其中所述多个相机拾取图像拾取对象的运动图像的二维图像数据，这些二维图像数据在相机之间至少有一部分相同。例如，在每个相机中提供距离测量仪器并且生成与相机的视点相同的视点的深度图像数据。[0068]图像拾取装置11的图像处理单元三维数据生成单元使用相机的视点的二维图像数据和深度图像数据以及相机的内部参数和外部参数通过可视外型VisualHull来执行建模以生成网格。图像处理单元生成指示构成所生成的网格的点（顶点）的三维位置和点的连线（多边形）的几何信息（几何形状）以及网格的二维图像数据作为图像拾取对象的三维数据并且将三维数据提供给编码装置12。[0069]例如，在加州大学圣地亚哥分校的SaiedMoezzi、Li_ChengTai、PhilippeGerard的“VirtualViewGenerationfor3DDigital”或TakeoKanade和PeterRanger、P.J.Narayanan的“VirtualizedReality:ConstructingVirtualWorldsfromRealScenes”中描述了用于根据多个视点的二维图像数据和深度图像数据生成三维数据的方法的细节。[0070]编码装置12包括转换单元21、编码单元22和发送单元23。[0071]编码装置12的转换单元21将与预定显示图像生成方法对应的多个视点的虚拟相机的内部参数和外部参数设置为相机参数。转换单元21基于相机参数根据从图像拾取装置11提供的三维数据生成与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据。[0072]例如在MasayukiΤΑΝΙΜ0Τ0的“Aimingforultimatevideocommunication，”TechnicalReportoftheProceedingsoftheInstituteofElectronics,InformationandCommunicationEngineers，CS,CommunicationMethod110323，73_78,2010-11-25等中描述了用于根据三维数据生成多个视点的二维图像数据和深度图像数据的3DCG技术的细节。[0073]在本说明书中，尽管假设二维图像数据和深度图像数据的视点彼此相同，但是二维图像数据和深度图像数据的视点和视点的数量可以彼此不同。此外，二维图像数据和深度图像数据的视点和视点的数量可以与图像拾取装置11的相机的视点和视点的数量相同或不同。[0074]转换单元21从由图像拾取装置11提供的三维数据中提取与预定显示图像生成方法对应的多个视点不可见的遮挡区域中的三维数据这种数据在下文中被称为遮挡三维数据）。转换单元21向编码单元22提供与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据、遮挡三维数据以及包括相机相关信息的元数据，所述相机相关信息是关于虚拟相机的信息例如视点的相机参数等。[0075]编码单元22对从转换单元21提供的二维图像数据、深度图像数据和元数据进行编码。作为编码方法，可以米纳MVCD多视点和深度视频编码方法、AVC方法、HEVC方法等。[0076]在编码方法是MVCD方法的情况下，所有视点的二维图像数据和深度图像数据被集体编码。作为结果，生成包括二维图像数据和深度图像数据以及元数据的编码数据的单个编码流。在这种情况下，来自元数据中的相机参数被放置在编码流的参考显示信息SEI中。同时，来自元数据中的与深度图像数据有关的信息被放置在深度表示信息SEI中。[0077]另一方面，在编码方法是AVC方法或HEVC方法的情况下，各视点的深度图像数据和二维图像数据彼此分开编码。作为结果，生成每个视点的包括视点的二维图像数据和元数据的的编码流和每个视点的包括视点的深度图像数据和元数据的编码数据的编码流。在这种情况下，元数据被放置在例如每个编码流的用户未注册SEI中。此外，元数据包括将编码流和相机参数等相互关联的信息。[0078]要注意的是，将编码流和相机参数等关联的信息可以不被包括在元数据中，而是仅与编码流对应的元数据可以被包括在编码流中。[0079]编码单元22将编码流提供给发送单元23。发送单元23将从编码单元22提供的编码流发送至解码装置13。要注意的是，尽管在本说明书中，声称元数据放置在编码流中并与编码流一起发送，但是它可以与编码流分开发送。[0080]解码装置13包括接收单元31、解码单元32和转换单元33。[0081]解码装置13的接收单元31接收从发送单元23发送的编码流，并将编码流提供给解码单元32。解码单元32根据与编码单元22的编码方法对应的方法对从接收单元31提供的编码流进行解码。解码单元32将作为解码结果获得的元数据以及多个视点的二维图像数据和深度图像数据提供给转换单元33。[0082]转换单元33基于从解码单元32提供的元数据和解码装置13的显示图像生成方法来从多个视点的二维图像数据和深度图像数据中选择预定视点的二维图像数据或预定视点的二维图像数据和深度图像数据。转换单元33基于所选择的预定视点的二维图像数据或者所选择的预定视点的二维图像数据和深度图像数据来生成显示图像数据，并且将显示图像数据提供给显示装置14。[0083]显示装置14包括二维头戴式显示器、二维监视器、三维头戴式显示器、三维监视器等。显示装置14基于从转换单元33提供的显示图像数据二维地显示或三维显示显示图像。[0084]转换单元21的配置的示例）[0085]图2是示出图1的转换单元21的配置的示例的框图。[0086]图2的转换单元21包括图像拾取对象位置确定单元51、相机确定单元52、二维数据生成单元53和遮挡确定单元54。[0087]转换单元21的图像拾取对象位置确定单元51确定与从图1的图像拾取装置11提供的三维数据对应的三维对象的图像拾取对象的中心的三维位置，并且将表示三维位置的图像拾取对象位置信息提供给相机确定单元52。[0088]相机确定单元52基于从图像拾取对象位置确定单元51提供的图像拾取对象位置信息来确定与预定显示图像生成方法对应的多个视点的相机参数，并将相机参数提供给二维数据生成单元53和遮挡确定单元54。此外，相机确定单元52根据视点的相机参数等生成相机相关信息，并且将相机相关信息作为元数据提供给图1的编码单元22。[0089]二维数据生成单元53基于从相机确定单元52提供的多个视点的相机参数，执行与每个视点的三维数据对应的三维对象的透视投影。[0090]具体而言，使用相机的内部参数A和外部参数参数R|t通过以下表达式（1来表示与像素的二维位置对应的矩阵m’和与世界坐标系的三维坐标对应的矩阵M之间的关系。[0091][数学式1][0093]表达式⑴更具体地由表达式⑵表示。[0094][数学式2][0096]在表达式2中，（u，v表示图像上的二维坐标，并且fx和fy表示焦距。同时，Cx和Cy表示主要点，ril至Γ13、Γ21至Γ23、Γ31至Γ33和tl至t3表示参数，（X，Y，Z表示世界坐标系的三维坐标。[0097]因此，二维数据生成单元53根据以上给出的表达式⑴和2使用相机参数来确定与每个像素的二维坐标对应的三维坐标。[0098]此外，二维数据生成单元53针对每个视点将与三维数据中的像素的二维坐标对应的三维坐标的二维图像数据设置为像素的二维图像数据，以生成将像素的二维坐标和图像数据关联的二维图像数据。此外，二维数据生成单元53针对每个视点基于与像素的二维坐标对应的三维坐标确定每个像素的深度，以生成将像素的二维坐标和深度关联的深度图像数据。深度是例如在图像拾取对象的深度方向上的位置2的倒数lζ。二维数据生成单元53将每个视点的二维图像数据和深度图像数据提供给编码单元22。[0099]遮挡确定单元54基于从相机确定单元52提供的相机参数来从图像拾取装置11提供的三维数据提取遮挡三维数据，并且将所提取的遮挡三维数据作为元数据提供给编码单元22〇[0100]与预定显示图像生成方法对应的多个视点的示例）[0101]图3是示出与预定显示图像生成方法对应的多个视点的示例的视图。[0102]在图3的A的示例中，预定显示图像生成方法是预定视点显示图像生成方法和自由视点显示图像生成方法，通过所述预定视点显示图像生成方法，预定一个视点的显示图像被二维显示，通过自由视点显示图像生成方法，作为随意一个视点的自由视点的显示图像被二维显示。在这种情况下，如图3的A所示，与预定显示图像生成方法对应的多个视点是在同一圆上等距离存在的多个在图3的A的示例中，8个视点71至78,并且视点71到78的方向是指向圆中心的。[0103]根据前述，解码装置13可以选择视点71至78中的一个的二维图像数据作为显示图像数据并提供至显示装置14,使得显示装置14可以二维地显示来自视点的显示图像。[0104]另一方面，解码装置13可以通过基于视点71至78的二维图像数据和深度图像数据生成三维数据并且执行对应于三维数据的三维对象到自由视点的透视投影，生成自由视点的二维图像数据作为显示图像数据。因此，解码装置13可以通过将生成的显示图像数据提供给显示装置14,使显示装置14二维地显示自由视点的显示图像。[0105]在图3的B的示例中，预定显示图像生成方法是预定视点显示图像生成方法、自由视点显示图像生成方法、三维显示图像生成方法和内插视点显示图像生成方法，通过所述三维显示图像生成方法，基于两个视点的二维图像数据来三维地显示显示图像，通过所述内插视点显示图像生成方法，二维地显示两个视点之间的视点的显示图像。[0106]在这种情况下，如图3的B所示，与预定显示图像生成方法对应的多个视点是例如在同一圆上等距离存在的多个在图3的B的示例中，10个视点81至90。视点88和视点89与视点87和视点88在大致水平方向上排列。视点87与视点89之间以及视点88与视点90之间在大致水平方向上的距离例如对应于左右人眼之间的距离。视点81至90的方向是指向布置有视点81至90的圆的中心的方向。[0107]根据前述，解码装置13可以使显示装置14与图3的A的情况一样二维地显示视点81至90中的一个的显示图像或者自由视点的显示图像。此外，解码装置13可以通过选择成对的视点87和视点89或成对的视点88和视点90的二维图像数据作为显示图像数据并将所选择的显示图像数据提供给显示装置14,使显示装置14三维地显示视点87和视点89或视点88和视点90的成对显示图像。[0108]此外，解码装置13可以基于成对的视点87和视点89或成对的视点88和视点90的二维图像数据和深度图像数据来内插在成对的视点之间的视点的二维图像数据。因此，解码装置13可以通过将内插二维图像数据作为显示图像数据提供给显示装置14,使显示装置14二维地显示成对的视点87与视点89之间或视点88与视点90之间的视点的显示图像。[0109]在图3的A和图3的B的示例的情况下，预定显示图像生成方法的数量为复数。因此，解码装置13可以通过预定显示图像生成方法之一基于与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据来生成显示图像数据。因此，可以说编码装置12可以生成具有可伸缩性的编码流。要注意的是，预定显示图像生成方法的数量可以是一个。[0110]此外，在图像拾取装置11的相机的数量大于与预定显示图像生成方法对应的多个视点的情况下，相机确定单元52可以通过确定与预定显示图像生成方法对应的多个视点的相机参数来消除视点的冗余。[0111]例如，在当图像拾取装置11的相机的视点是视点71至78的八个视点但是与多个显示图像生成方法对应的多个视点是视点71、视点73、视点75和视点77的四个视点的情况下，相机确定单元52确定四个视点的相机参数。因此，与其中视点71至78的所有二维图像数据和所有深度图像数据都被编码的替选情况相比，可以消除编码流中的视点的冗余。[0112]与多个显示图像生成方法对应的多个视点的位置不限于图3的A和图3的B的示例中的那些，而是可以设置为任意位置。此外，可以使每个视点的相机参数是例如对应于相对较小视角的相机参数。在这种情况下，可以改善变焦时显示图像的分辨率。[0113]此外，尽管在本说明书中，在预定显示图像生成方法的数量为复数的情况下，生成与所有预定显示图像生成方法对应的多个视点的编码流，但是针对预定显示图像生成方法中的每个，也可以生成对应的多个视点的编码流。在这种情况下，解码装置13使用与其自身的显示图像生成方法对应的编码流来生成显示图像数据。[0114]此外，相机确定单元52可以根据来自解码装置13的请求来确定与预定显示图像生成方法对应的多个视点。[0115]相机相关信息的示例）[0116]图4是示出相机相关信息的示例的视图。[0117]在图4的示例中，与预定显示图像生成方法对应的多个视点是图3的B的视点81至90〇[0118]如图4所示，相机相关信息包括每个视点的外部参数RIT、内部参数A、isStereoFlag和立体相机ID，这些与视点的相机ID关联。[0119]相机ID是视点唯一的ID。在图4的示例中，相机ID由从0开始到视点81至90的序号表示。此外，在图4中，相机ID为i的外部参数RIT和内部参数A分别由RiITi和Ai表示。[0120]isStereoFlag是表示是否存在在大致水平方向上排列的不同视点的标志，并且在存在大致水平方向上排列的不同视点的情况下设置为1。在图4的示例中，由于不同的视点分别与相机ID为6至9的视点87至90中的每一个在基本水平方向上对齐，所以与6至9的相机ID中的每一个关联的isStereoFlag是1，如图4所示。[0121]立体相机ID是在大致水平方向上排列的不同视点的相机ID，并且是指定在大致水平方向上排列的两个视点的配对信息。在图4的示例中，由于相对于相机ID是6的视点87在大致水平方向上排列的不同视点89的相机ID是8,与相机ID是6的相机ID关联的立体相机ID是8。[0122]类似地，由于相对于相机ID是7的视点88在大致水平方向上排列的不同视点90的相机ID是9，与相机ID是7的相机ID关联的立体相机ID是9。另外，与相机ID是8的相机ID关联的立体相机ID是6,并且与相机ID是9的相机ID关联的立体相机ID是7。[0123]对图像拾取装置和编码装置的处理的描述）[0124]图5是示出图1的图像拾取装置11和编码装置12的编码处理的流程图。[0125]在图5的步骤Sll处，图像拾取装置11通过多相机拾取运动图像的二维图像数据，并通过距离测量仪器生成深度图像数据。在步骤S12处，图像拾取装置11使用二维图像数据和深度图像数据来生成三维数据，并将三维数据提供给编码装置12。[0126]在步骤S13处，编码装置12的图像拾取对象位置确定单元51图2确定与从图像拾取装置11提供的三维数据对应的三维对象的图像拾取对象的中心的三维位置，并且将表示三维位置的图像拾取对象位置信息提供给相机确定单元52。[0127]在步骤S14处，相机确定单元52基于从图像拾取对象位置确定单元51提供的图像拾取对象位置信息来确定与预定显示图像生成方法对应的多个视点的相机参数，并且将相机参数提供给二维数据生成单元53和遮挡确定单元54。此外，相机确定单元52根据相机参数等生成图4的相机相关信息并将相机相关信息作为元数据提供给图1的编码单元22。[0128]在步骤S15处，二维数据生成单元53基于从相机确定单元52提供的多个视点的相机参数，针对每个视点执行与三维数据对应的三维对象的透视投影，以确定与每个像素的二维坐标对应的三维坐标。[0129]在步骤S16处，二维数据生成单元53针对每个视点将来自三维数据内的每个像素的三维坐标的二维图像数据转换为像素的二维图像数据以生成二维图像数据。此外，二维数据生成单元53针对每个视点基于像素的三维坐标确定每个像素的深度，以生成深度图像数据。二维数据生成单元53将视点的二维图像数据和深度图像数据提供给编码单元22。[0130]在步骤S17处，遮挡确定单元54基于从相机确定单元52提供的相机参数，从由图像拾取装置11提供的三维数据中提取遮挡三维数据，并且将遮挡三维数据作为元数据提供给编码单兀22。[0131]在步骤S18处，编码单元22对从转换单元21提供的二维图像数据、深度图像数据和元数据进行编码，并将作为编码结果获得的编码流提供给发送单元23。[0132]在步骤S19处，发送单元23将从编码单元22提供的编码流发送至解码装置13。然后，处理结束。[0133]转换单元33的第一配置示例）[0134]图6是示出图1的转换单元33的第一配置示例的框图。[0135]图6的转换单元33是在图1的解码装置13的显示图像生成方法是预定视点显示图像生成方法的情况下的转换单元，并且包括选择单元111和显示控制单元112。[0136]转换单元33的选择单元111基于从图1的解码单元32提供的相机相关信息来识别期望的一个视点的相机ID。选择单元111从解码单元32提供的二维图像数据、深度图像数据和遮挡三维数据中选择与识别的相机ID对应的一个视点的二维图像数据。选择单元111将所选择的一个视点的二维图像数据提供给显示控制单元112。[0137]显示控制单元112将从选择单元111提供的一个视点的二维图像数据作为显示图像数据提供给显示装置14,使得显示图像二维地显示在显示装置14上。[0138]应该注意，虽然未示出，在解码装置13的显示图像生成方法是三维显示图像生成方法的情况下的转换单元33的配置与图6的配置相同，除了选择单元111基于相机相关信息选择在基本水平方向上排列的两个视点的二维图像数据之外。[0139]具体地，在这种情况下，选择单元111选择相机相关信息中isStereoFlag为1的相机ID的视点和与相机ID对应的立体相机ID的另一视点的二维图像数据。作为结果，将两个所选视点的二维图像数据作为显示图像数据提供给显示装置14。显示装置14基于显示图像数据之间的一个视点的二维图像数据来显示左眼的显示图像，并且基于另一视点的二维图像数据来显示右眼的显示图像，从而三维地显示显示图像。[0140]转换单元33的第二配置示例）[0M1]图7是示出图1的转换单元33的第二配置示例的框图。[0142]图7的转换单元33是在解码装置13的显示图像生成方法是内插视点显示图像生成方法情况下的转换单元33,并且包括选择单元131、内插单元132和显示控制单元133。[0143]转换单元33的选择单元131基于从图1的解码单元32提供的相机相关信息识别相机ID中的与isStereoFlag为1对应的一个相机ID以及与该一个相机ID对应的立体相机ID。选择单元131从由解码单元32提供的二维图像数据、深度图像数据和遮挡三维图像数据中选择与两个识别的相机ID对应的两个视点的二维图像数据和深度图像数据，并将所选数据提供给内插单元132。[0144]内插单元132基于从选择单元131提供的两个视点的二维图像数据和深度图像数据来内插在上述两个视点之间的位置处的视点的二维图像数据。这种内插技术被称为基于深度图像的渲染，并且例如在国际公开号W02014083752的小册子中被描述。内插单元132将内插的一个视点的二维图像数据提供给显示控制单元133。[0145]显示控制单元133将从内插单元132提供的一个视点的二维图像数据作为显示图像数据提供给显示装置14,使得显示图像二维地显示在显示装置14上。[0146]转换单元33的第三配置示例）[0147]图8是示出图1的转换单元33的第三配置示例的框图。[0148]图8的转换单元33是在解码装置13的显示图像生成方法是自由视点显示图像生成方法的情况下的转换单元33。图8的转换单元33包括三维数据生成单元151、图像拾取对象位置确定单元152、相机位置确定单元153、二维数据生成单元154和显示控制单元155。[0149]转换单元33的三维数据生成单元151使用从解码单元32提供的二维图像数据、深度图像数据和包括在相机相关信息中的相机参数类似于图像拾取装置11生成图像拾取对象的三维数据。三维数据生成单元151使用从解码单元32提供的遮挡三维数据来修改生成的三维数据。因此，可以生成图像拾取对象的整个区域的三维数据，所述整个区域包括不能仅根据二维图像数据和深度图像数据生成的遮挡区域。三维数据生成单元151将修改的三维数据提供给图像拾取对象位置确定单元152和二维数据生成单元154。[0150]图像拾取对象位置确定单元152确定与三维数据生成单元151提供的三维数据对应的三维对象内的图像拾取对象的中心的三维位置，并将表示三维位置的图像拾取对象位置信息提供给相机位置确定单元153。[0151]相机位置确定单元153基于从图像拾取对象位置确定单元152提供的图像拾取对象位置信息来确定自由视点的相机参数，并且将相机参数提供给二维数据生成单元154。[0152]二维数据生成单元154基于从三维数据生成单元151提供的三维数据和从相机位置确定单元153提供的自由视点的相机参数来生成二维图像数据作为根据自由视点显示图像生成方法的显示图像数据。[0153]具体地，二维数据生成单元154基于自由视点的相机参数执行与三维数据对应的三维对象的透视投影，以与图2的二维数据生成单元53类似地确定与每个像素的二维坐标对应的三维坐标。然后，二维数据生成单元154生成与三维数据内每个像素的二维坐标对应的三维坐标的二维图像数据作为像素的显示图像数据。[0154]此外，二维数据生成单元154基于与像素的二维坐标对应的三维坐标来确定每个像素的深度以生成深度图像数据。二维数据生成单元154将显示图像数据和深度图像数据提供给显示控制单元155。[0155]显示控制单元155将从二维数据生成单元154提供的显示图像数据和深度图像数据提供给显示装置14。显示装置14例如使用显示图像数据和深度图像数据作为点云来二维地显示显示图像。[0156]如上所述，图8的转换单元33根据多个视点的二维图像数据和深度图像数据生成三维数据，并且基于新确定的自由视点的相机参数根据生成的三维数据生成二维图像数据和深度图像数据。因此，转换单元33可以改变变焦比或改变从编码装置12发送至其的多个视点的二维图像数据和深度图像数据的视点。[0157]对解码装置的处理的描述）[0158]图9是示出在图1的转换单元33的配置是图8的配置的情况下的解码装置13的解码处理的流程图。该解码处理从例如在从编码装置12向解码装置13发送编码流时开始。[0159]在图9的步骤S31处，解码装置13的接收单元31接收从发送单元23发送的编码流，并将编码流提供给解码单元32。[0160]在步骤S32处，解码单元32对从接收单元31提供的编码流进行解码。解码单元32将作为解码结果获得的多个视点的二维图像数据和深度图像数据以及元数据提供给转换单元33。[0161]在步骤S33处，转换单元33的三维数据生成单元151图8使用从解码单元32提供的二维图像数据和深度图像数据以及包括在元数据中的相机参数来与图像拾取装置11类似地生成图像拾取对象的三维数据。[0162]在步骤S34处，三维数据生成单元151使用从解码单元32提供的元数据中包括的遮挡三维数据来修改在步骤S33处生成的三维数据。三维数据生成单元151将修改后的三维数据提供给图像拾取对象位置确定单元152。[0163]在步骤S35处，图像拾取对象位置确定单元152确定与从三维数据生成单元151提供的三维数据对应的三维对象的图像拾取对象的中心的三维位置，并且将表示三维位置的图像拾取对象位置信息提供给相机位置确定单元153。[0164]在步骤S36处，相机位置确定单元153基于从图像拾取对象位置确定单元152提供的图像拾取对象位置信息来确定自由视点的相机参数，并且将相机参数提供给二维数据生成单元154。[0165]在步骤S37处，二维数据生成单元154基于自由视点的三维数据和相机参数生成二维图像数据，作为根据自由视点显示图像生成方法的显示图像数据。[0166]在步骤S38处，二维数据生成单元154基于与像素的二维坐标对应的三维坐标来确定每个像素的深度以生成深度图像数据。二维数据生成单元154将显示图像数据和深度图像数据提供给显示控制单元155。[0167]在步骤S39处，显示控制单元155将从二维数据生成单元154提供的显示图像数据和深度图像数据提供给显示装置14。[0168]以这种方式，在传输系统10中，图像拾取装置11从多个视点的拾取二维图像数据生成三维数据，并且编码装置12从三维数据生成并编码与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据。因此，编码装置12可以对与预定显示图像生成方法对应的视点的二维图像数据和深度图像数据进行编码，使得可以在不依赖于成像时的视点的情况下通过解码装置13获取二维图像数据和深度图像数据。[0169]此外，解码装置13接收并解码从编码装置12发送至其的与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据的编码流。因此，解码装置13可以在不依赖于成像时的视点的情况下获取与预定显示图像生成方法对应的视点的二维图像数据和深度图像数据。[0170]此外，在预定显示图像生成方法的数量为复数的情况下，可以通过多个显示图像生成方法的解码装置来再现由编码装置12生成的编码流。例如，显示图像生成方法是预定视点显示图像生成方法的低功能的解码装置和显示图像生成方法是自由视点图像生成方法的高功能的另一解码装置均可以根据自己的装置的能力来执行编码流的再现。[0171]〈第二实施方式〉[0172]传输系统的第二实施方式的配置的示例）[0173]图10是示出应用本公开内容的传输系统的第二实施方式的配置的示例的框图。[0174]在图10中示出的部件中，与图1中的部件相同的部件用相同的附图标记表示。重叠的描述被适当地省略。[0175]图10的传输系统170的配置与图1的传输系统10的配置不同之处在于图像拾取装置11、编码装置12和解码装置13被图像拾取装置171、编码装置172和解码装置173替代。在传输系统170中，由图像拾取装置171获取的二维图像数据和深度图像数据被原样编码并发送。[0176]具体地，传输系统170的图像拾取装置171包括多相机181和图像处理单元182。构成图像拾取装置171的多相机181的多个相机各自拾取二维图像数据。多相机181将由相机拾取的二维图像数据提供给图像处理单元182。[0177]图像处理单元182将构成多相机181的多个相机中的一个相机设置为基准相机，并将其他相机设置为参考相机。图像处理单元182基于由多相机181的基准相机拾取的二维图像数据和由参考相机拾取的二维图像数据来检测每个参考相机的相对于基准相机的二维图像数据的同步偏差。此外，图像处理单元182将基准相机的同步偏差检测为0。图像处理单元182将包括表示相机的视点的检测到的同步偏差的信息的同步偏差信息和相机相关信息提供给编码装置172。[0178]此外，图像处理单元182对由相机拾取的二维图像数据执行立体匹配以生成相机的深度图像数据，并将深度图像数据提供给编码装置172。[0179]编码装置172将从图像拾取装置171提供的同步偏差信息和相机相关信息确定为元数据。编码装置172对元数据以及从图像拾取装置171提供的相机的二维图像数据和深度图像数据进行编码，以类似于图1的编码单元22生成编码流。编码装置172发送单元将生成的编码流发送至解码装置173。[0180]解码装置173的配置与图1的解码装置13的配置的不同之处在于解码单元32和转换单元33分别被解码单元191和转换单元192替代。[0181]解码装置173的解码单元191根据与编码装置172的编码方法对应的方法来解码从接收单元31提供的编码流。解码单元191基于来自作为解码结果获得的元数据内的同步偏差信息将基准相机和参考相机的二维图像数据和深度图像数据彼此进行同步，并且将同步的数据提供给转换单元192。此外，解码单元191将来自元数据内的相机相关信息提供给转换单元192。[0182]转换单元192的配置与图1的转换单元33的配置相同，除了三维数据未使用遮挡三维数据进行校正之外，因此省略对其的描述。[0183]图像拾取装置的配置的示例）[0184]图11是示出图10的图像拾取装置171的配置的示例的框图。[0185]图11的图像拾取装置171的多相机181包括NN是复数个相机211-1至211-N。[0186]相机211-1至211-N被布置为使得例如相机211-1至211-N的视点变成与预定显示图像生成方法对应的视点。相机211-1至211-N各自执行图像拾取并将作为图像拾取结果获得的运动图像的二维图像数据拾取图像数据提供给图像处理单元182。在下文描述中，在不需要特别区分相机211-1至211-N的情况下，它们统称为相机211。[0187]图像处理单元182包括校准单元221、同步偏差检测单元222和深度生成单元223。[0188]图像处理单元182的校准单元221针对每个相机211执行使用相机参数对从多相机181提供的二维图像数据的校准。校准单元221将校准之后的每个相机211的二维图像数据提供给同步偏差检测单元222。此外，校准单元221将相机相关信息提供给图10的编码装置172。[0189]同步偏差检测单元222将相机211-1至211-N中的一个确定为基准相机，并将211-1至211-N中的其余相机确定为参考相机。同步偏差检测单元222基于从校准单元221提供的基准相机的二维图像数据和参考相机的二维图像数据，以毫秒顺序检测每个参考相机的相对于基准相机的二维图像数据的同步偏差。[0190]具体地，同步偏差检测单元222检测来自基准相机的二维图像数据和参考相机的二维图像数据中的闪光。同步偏差检测单元222检测基准相机的二维图像数据与检测到闪光的每个参考相机的二维图像数据之间的图像拾取时间的差，作为参考相机的二维图像数据的同步偏差。[0191]可以通过与检测闪光的方法不同的方法使用二维图像数据来执行每个参考相机的二维图像数据的同步偏差。此外，在相机211与二维图像数据一起获取音频数据的情况下，可以通过检测参考相机的相对于基准相机的音频数据的同步偏差来检测参考相机的二维图像数据的同步偏差。[0192]同步偏差检测单元222将基准相机的二维图像数据的同步偏差检测为0。同步偏差检测单元222将检测到的同步偏差的同步偏差信息提供给编码装置172。此外，同步偏差检测单元222将从校准单元221提供的每个相机211的二维图像数据提供给深度生成单元223。[0193]深度生成单元223对从同步偏差检测单元222提供的每个相机211的二维图像数据执行立体匹配以生成相机211的深度图像数据。深度生成单元223将相机211的二维图像数据和深度图像数据提供给编码装置172。[0194]同步偏差信息的示例）[0195]图12是示出同步偏差信息的示例的视图。[0196]在图12的示例中，相机211的视点是图3的B的视点81至90。[0197]如图12所不，通过将每个相机211的1111111_1111；^8_；[11_1：；[01：、1：；[1116_8016,061七_1111111_units_in_tick和Delta_time_scale与相机211的视点的相机ID关联来配置同步偏差信息。[0198]num_units_in_tick是指不桢距离对应于由time_scale限定的time_unit的time_unit的数量的信息。time_scale是一秒内time_unit的数量。因此，桢速率可以由num_units_in_tick^Ptime_scale^：;^;〇[0199]在图12的示例中，相机ID为0、1、4和5的相机211的帧速率为60Hz59.94Hz。因此，例如，在相机ID是0、1、4和5的相机211中，num_units_in_tick是1001，time_scale是60000。同时，相机ID为2、3和6至9的相机211的帧速率是30赫兹29.97赫兹）。因此，例如，在相机ID是2、3和6至9的相机211中，而111_1111；^8_;[11_1:;^1:是2002并且1:;[1116_8016是600000[0200]〇6]^_1111111_1111；^8_；[11_1：；[01：是指不同步偏差对应于由06]^_1：；[1116_8016限定的time_unit的time_unit的数量的信息。Delta_time_scale是一秒内time_unit的数量。因此，同步偏差可以由Delta_num_units_in_tick和DeIta_time_scaIe表不。[0201]在图12的示例中，相机ID为0的相机211是基准相机。因此，对应于相机ID为0的Delta_num_units_in_tick是0。此外，在图12的示例中，相机ID为3、4、7和9的相机211的同步偏差为0。因此，对应于相机ID为3、4、7和9的Delta_num_units_in_tick也为0。[0202]而且，在图12的示例中，相机ID为1和5的相机211的同步偏差为130129.97秒。因此，例如，对应于相机ID为1和5的Delta_num_units_in_tick是2002并且〇6]^8_1:;[1116_scale是60000。另外，相机ID是2、6和8的相机211的同步偏差是115114.985秒。因此，例如，对应于相机ID为2、6和8的061丨_1111111_1111；[丨8_;[11_1:;[01:是4004，并且061丨_1:;[1116_8016是600000[0203]应该注意的是，同步偏差信息可以包括指示出现同步偏差的所有相机211的同步偏差是否相等的同步偏差共用标志。[0204]在这种情况下，当出现同步偏差的所有相机211的同步偏差相等时，同步偏差信息包括指示出现同步偏差的所有相机211的同步偏差相等的同步偏差共用标志、指示每个相机211中存在不存在同步偏差的同步偏差标志（同步偏差存在不存在信息和表示出现同步偏差的所有相机211共用的同步偏差的信息。[0205]另一方面，当出现同步偏差的所有相机211的同步偏差不相等时，同步偏差信息包括图12的同步偏差信息和指示出现同步偏差的所有相机211的同步偏差不相等的同步偏差共用标志。[0206]编码装置的配置的示例）[0207]图13是示出图10的编码装置172的配置的示例的框图。[0208]图13的编码装置172是在通过AVC方法或HEVC方法执行编码情况下的编码装置172,并且包括2N个编码单元241-1至241-2N和发送单元242。[0209]编码装置172的编码单元241-1至241-2N各自根据AVC方法或HEVC方法对从图像拾取装置171提供的相机211的二维图像数据或深度图像数据进行编码以各自生成编码流。[0210]编码单元241-1至241-2N将从图像拾取装置171提供的相机相关信息和同步偏差信息以及将相机相关信息和同步偏差信息与编码流关联的信息设置为元数据。编码单元241-1至241-2N将元数据放置到所生成的编码流的用户未注册SEI中。[0211]要注意的是，编码单元241-1至241-N可以仅将与编码流对应的元数据放置到编码流的用户未注册SEI中。在这种情况下，将相机相关信息和同步偏差信息与编码流关联的信息不包括在元数据中。编码单元241-1至241-2N将其中放置了元数据的编码流提供给发送单元242。[0212]发送单元242将从编码单元241-1至241-2N提供的编码流发送至图10的解码装置173。[0213]对图像拾取装置和编码装置的处理的描述）[0214]图14是示出图10的图像拾取装置171和编码装置172的编码处理的流程图。[0215]在图14的步骤S51处，图像拾取装置171的相机211图11执行图像拾取并将作为图像拾取结果获得的运动图像的二维图像数据提供给图像处理单元182。[0216]在步骤S52处，图像处理单元182的校准单元221针对每个相机211执行使用相机参数对从多相机181提供的二维图像数据的校准。校准单元221将校准之后的每个相机211的二维图像数据提供给同步偏差检测单元222。[0217]在步骤S53处，校准单元221将相机相关信息作为元数据提供给编码装置172。[0218]在步骤S54处，同步偏差检测单元222针对每个参考相机基于从校准单元221提供的基准相机和参考相机的二维图像数据，检测参考相机的相对于基准相机的二维图像数据的同步偏差。此外，同步偏差检测单元222将基准相机的二维图像数据的同步偏差检测为0。[0219]在步骤S55处，同步偏差检测单元222将检测到的同步偏差的同步偏差信息作为元数据提供给编码装置172。此外，同步偏差检测单元222将从校准单元221提供的相机211的二维图像数据提供给深度生成单元223。[0220]在步骤S56处，深度生成单元223对从同步偏差检测单元222提供的各个相机211的二维图像数据执行立体匹配，以生成每个相机211的深度图像数据。[0221]在步骤S57处，深度生成单元223将相机211的二维图像数据和深度图像数据提供给编码装置172。[0222]在步骤S58处，编码装置172对元数据以及从图像拾取装置171提供给其的二维图像数据和深度图像数据进行编码，以生成编码流。[0223]在步骤S59处，编码装置172将生成的编码流发送至解码装置173。然后，处理结束。[0224]解码单元的配置的示例）[0225]图15是示出图10的解码单元191的配置的示例的框图。[0226]在图15的示例中，编码装置172的配置是图13的配置，并且从编码装置172发送的编码流的编码方法是AVC方法或HEVC方法。图15的解码单元191包括2N个解码处理单元261-1至261-2N和输出单元262。[0227]解码单元191的解码处理单元261-1至261-2N各自根据与AVC方法或HEVC方法对应的方法对从接收单元31提供的相机211的二维图像数据和深度图像数据的编码流进行解码。解码处理单元261-1至261-2N将作为解码结果获得的相机211的二维图像数据或深度图像数据以及构成元数据的相机相关信息和同步偏差信息提供给输出单元262。[0228]输出单元262同步处理单元）针对每个参考相机基于从解码处理单元261-1至261-2N提供的同步偏差信息，将处于彼此同步关系的基准相机和参考相机的二维图像数据和深度图像数据提供给图10的转换单元192。[0229]例如，在包括在同步偏差信息中的参考相机的num_units_in_tick是1001并且06]^_1111111_1111；^8_；[11_1：；[01：是2002并且此外1：；[1116_8016和06]^_1：；[1116_8016是60000的情况下，输出单元262将延迟了两帧的的参考相机的二维图像数据和深度图像数据提供给转换单元192。此外，输出单元262将从解码处理单元261-1到261-2N提供的相机相关信息提供给转换单元192。[0230]通过上述，由于要提供给转换单元192的相机211的二维图像数据和深度图像数据彼此同步，所以改善了由转换单元192生成三维数据的生成精度。[0231]对解码装置的处理的描述）[0232]图16是示出在图10的转换单元192的配置与图8的配置相同但除了三维数据不使用遮挡三维数据进行校正的情况下的解码装置173的解码处理的流程图。该解码处理例如在将编码流从编码装置172发送至解码装置173时开始。[0233]在图16的步骤S71处，解码装置173的接收单元31接收从编码装置172发送的编码流，并将编码流提供给解码单元191。[0234]在步骤S72处，解码单元191通过与编码装置172的编码方法对应的方法来解码从接收单元31提供的编码流。[0235]在步骤S73处，解码单元191针对每个参考相机基于作为解码结果获得的元数据内的同步偏差信息，将处于彼此同步关系的基准相机和参考相机的二维图像数据和深度图像数据提供给转换单元192。此外，输出单元262将来自元数据内的相机相关信息提供给转换单元192。[0236]在步骤S74处，转换单元192使用从解码单元191提供的二维图像数据和深度图像数据以及包括在相机相关信息中的相机参数，与图像拾取装置11类似地生成图像拾取对象的三维数据。[0237]步骤S75至S79处的处理分别与图9的步骤S35至S39处的处理类似。因此省略其描述。[0238]如上所述，由于在传输系统170中，由相机211获取的二维图像数据和深度图像数据被原样编码和发送，所以相机211的二维图像数据和深度图像数据的同步在某些情况下可能不可用。[0239]然而，在传输系统170中，图像拾取装置171检测相机的二维图像数据的同步偏差，并且编码装置172将检测到的同步偏差的同步偏差信息与二维图像数据和深度图像数据一起发送。因此，解码装置173可以基于同步偏差信息使相机211的二维图像数据和深度图像数据彼此同步。作为结果，解码装置173可以使用彼此同步的N个相机211的二维图像数据和深度图像数据以高精度生成三维数据。[0240]〈第三实施方式〉[0241]传输系统的第三实施方式的配置的示例）[0242]图17是示出应用本公开内容的传输系统的第三实施方式的配置的示例的框图。[0243]在图17中示出的部件中，与图1中的部件相同的部件用相同的附图标记表示。重叠的描述被适当地省略。[0244]图17的传输系统280的配置与图1的传输系统10的配置的不同之处在于:新设置了图像拾取装置281、编码装置282和合成装置283，解码装置13被解码装置284替代，并且由编码装置12生成的二维图像数据和深度图像数据的视点是与预定显示图像生成方法对应的多个视点的一部分。[0245]在传输系统280中，由编码装置12生成与预定显示图像生成方法对应的多个视点中的一些视点（在下文中称为第一视点组）的编码流，而其他视点的编码流在下文中称为第二视点组）由编码装置282生成，并且两个编码流被合成合并）。[0246]具体地，传输系统280的图像拾取装置281被类似于图1的图像拾取装置11进行配置，并且其至少一部分拾取与图像拾取装置11的图像拾取对象相同的图像拾取对象的图像，并且将图像拾取对象的三维数据提供给编码装置282。[0247]编码装置282包括类似于转换单元21配置的转换单元291、类似于编码单元22配置的编码单元292和类似于发送单元23配置的发送单元293。编码装置282根据三维数据生成第二视点组的二维图像数据和深度图像数据，并且将生成的数据进行编码并发送至合成装置283。[0248]合成装置283接收从编码装置12发送的第一视点组的编码流（以下称为第一部分编码流和从编码装置282发送的第二视点组的编码流（以下称为第二部分编码流）。合成装置283检测第二部分编码流相对于第一部分编码流的同步偏差，并生成表示第二编码流的同步偏差的视点组同步偏差ί目息。[0249]视点组同步偏差信息包括例如表示第二视点组的桢速率的num_units_in_tick和time_scale以及表不同步偏差的Delta_um_units_in_tick^PDelta_time_scale。[0250]合成装置283将视点组同步偏差信息放置到第二部分编码流的元数据中。合成装置283对第一部分编码流和其中放置了视点组同步偏差信息的第二部分编码流进行合成，以生成与预定显示图像生成方法对应的多个视点的编码流，并将编码流发送至解码装置284〇[0251]解码装置284的配置与图1的解码装置13的配置的不同之处在于解码单元32被解码单元301替代。解码装置284的解码单元301与图10的解码单元191类似，除了同步偏差信息被视点组同步偏差信息替代并且来自元数据内的遮挡三维数据与相机相关信息一起提供给转换单元33之外，因此省略对解码单元301的描述。[0252]合成装置的配置的示例）[0253]图18是示出图17的合成装置283的配置的示例的框图。[0254]图18的合成装置283包括解码单元321、另一解码单元322、同步偏差检测单元323和元数据添加单元324。[0255]合成装置283的解码单元321接收从编码装置12发送的第一部分编码流。解码单元321根据与编码单元22的编码方法对应的方法在图18的示例中，MVCD解码接收到的第一部分编码流，以生成元数据和第一视点组的二维图像数据和深度图像数据。解码单元321将来自所生成的第一视点组内的一个视点的二维图像数据提供给同步偏差检测单元323。[0256]解码单元322接收从编码装置282发送给其的第二部分编码流。解码单元322根据与编码单元292的编码方法对应的方法在图18的示例中，MVCD解码接收到的第二部分编码流，以生成元数据和第二视点组的二维图像数据和深度图像数据。解码单元322将来自所生成的第二视点组内的一个视点的二维图像数据提供给同步偏差检测单元323。[0257]同步偏差检测单元323基于从解码单元321和解码单元322提供的二维图像数据来检测第二视点组的相对于第一视点组的二维图像数据的同步偏差。[0258]同步偏差的检测方法可以与第二实施方式中的同步偏差的检测方法相同或不同。[0259]此外，为了检测同步偏差，不仅可以使用二维图像数据，而且可以使用相机参数和深度图像数据。在这种情况下，例如，同步偏差检测单元323基于相机相关信息中包括的相机参数，将第一视点组内的一个视点和第二视点内的一个视点的每个时间点处的二维图像数据的特征点的二维位置转换成三维位置。同步偏差检测单元323将当两个视点的特征点的三维位置之间的差最小时的二维图像数据的时间点之间的差，检测为第二视点组的相对于第一视点组的二维图像数据的同步偏差。[0260]同步偏差检测单元323将表示检测到的同步偏差的视点组同步偏差信息提供给元数据添加单元324。[0261]元数据添加单元324将从同步偏差检测单元323提供的视点组同步偏差信息作为元数据放置到从编码装置282发送至其的第二部分编码流中。元数据添加单元324对从编码装置12发送的第一部分编码流和其中视点组同步偏差信息被替代为元数据的第二部分编码流进行合成。元数据添加单元324发送单元将作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流发送至解码装置284。[0262]对合成装置的处理的描述）[0263]由于图17的图像拾取装置11和编码装置12以及图像拾取装置281和编码装置282的编码处理与图5的编码处理类似，其描述被省略。[0264]图19是示出图18的合成装置283的合成处理的流程图。[0265]在图19的步骤S91处，合成装置283的解码单元321根据与编码单元22的编码方法对应的方法对从编码装置12发送的第一部分编码流进行解码。解码单元321将来自作为解码结果获得的第一视点组内的一个视点的二维图像数据提供给同步偏差检测单元323。[0266]在步骤S92处，解码单元322根据与编码单元292的编码方法对应的方法对从编码装置282发送的第二部分编码流进行解码。解码单元322将来自作为解码结果获得的第二视点组内的一个视点的二维图像数据提供给同步偏差检测单元323。[0267]在步骤S93处，同步偏差检测单元323基于从解码单元321和解码单元322提供的二维图像数据，检测第二视点组的相对于第一视点组的二维图像数据的同步偏差。同步偏差检测单元323将表示检测到的同步偏差的视点组同步偏差信息提供给元数据添加单元324。[0268]在步骤S94处，元数据添加单元324将从同步偏差检测单元323提供的视点组同步偏差信息作为元数据放置到从编码装置282发送的第二部分编码流中。[0269]在步骤S95处，元数据添加单元324对从编码装置12发送的第一部分编码流和包括视点组同步偏差信息的第二部分编码流进行合成。元数据添加单元324将作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流提供给解码装置284,然后处理结束。[0270]解码装置284的解码处理与图16的解码处理类似，不同之处在于：同步偏差信息被视点组同步偏差信息替代，并且还通过步骤S72处的处理生成遮挡三维数据，并且在步骤S74处的处理之后，使用类似于图9的步骤S34处的遮挡三维数据来修改三维数据。[0271]如上所述，在传输系统280中，对由编码装置12生成的第一部分编码流和由编码装置282生成的第二部分编码流进行合成，并发送至解码装置284。因此，作为合成结果获得的与预定显示图像生成方法对应的第一视点组和第二视点组的编码流之间的同步在某些情况下可能不可用。[0272]然而，在传输系统280中，合成装置283对第一部分编码流和第二部分编码流进行一次解码，并检测作为解码结果获得的第一视点组和第二视点组的二维图像数据之间的同步偏差。然后，合成装置283将表示检测到的同步偏差的视点组同步偏差信息与第一部分编码流和第二部分编码流一起发送。因此，解码装置284可以基于视点组同步偏差信息来将第一视点组和第二视点组的二维图像数据和深度图像数据彼此合成。作为结果，解码装置284可以使用处于彼此同步状态的第一视点组和第二视点组的二维图像数据和深度图像数据以高精度生成三维数据。[0273]〈第四实施方式〉[0274]传输系统的第四实施方式中的合成装置的配置的示例）[0275]应用本公开内容的传输系统的第四实施方式的配置与图17的传输系统280的配置相同，除了合成装置283被合成装置340替代并且解码装置284的转换单元33被转换单元380替代并且视点组同步偏差信息被坐标变换信息替代之外。因此，下面仅描述合成装置340和转换单元380。[0276]图20是示出合成装置340的配置的示例的框图。[0277]在图20中示出的部件中，与图18中的部件相同的部件由相同的附图标记表示。重叠的描述被适当地省略。[0278]图20的合成装置340的配置与图18的合成装置的配置的不同之处在于：同步偏差检测单元323和元数据添加单元324分别由坐标变换数据生成单元341和元数据添加单元342替代。合成装置340不检测不同视点的二维图像数据的同步偏差，而是生成用于将作为第一视点组的三维坐标系的第一三维坐标系变换成作为第二视点组的三维坐标系的第二三维坐标系的坐标变换数据。[0279]具体而言，合成装置340的坐标变换数据生成单元341基于通过解码单元322解码而生成的第一视点组的二维图像数据，确定第一视点组的每个视点的特征点的二维位置。[0280]此外，坐标变换数据生成单元341基于在通过解码单元321解码生成的第二视点组的相机相关信息中包括的相机参数、二维图像数据和深度图像数据，根据上文给出的表达式1确定在第二三维坐标系中的特征点的三维位置。[0281]坐标变换数据生成单元341针对第一视点组的每个视点，基于特征点的在第二三维坐标系中的二维位置和三维位置来生成坐标变换数据。坐标变换数据生成单元341将包括第一视点组的视点的坐标变换数据的坐标变换信息提供给元数据添加单元342。[0282]元数据添加单元342将从坐标变换数据生成单元341提供的坐标变换信息作为元数据放置到从编码装置12发送给其的第一部分编码流中。此外，元数据添加单元342对坐标变换信息作为元数据放置其中的第一部分编码流和从编码装置282向其发送的第二部分编码流进行合成。元数据添加单元342发送单元将作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流提供给解码装置284。[0283]对坐标变换数据的生成处理的描述）[0284]图21是示出图20的坐标变换数据生成单元341生成坐标变换数据的处理的视图。[0285]在图21的示例中，第一三维坐标系是包括彼此垂直交叉的轴XA至ZA作为坐标轴的坐标系，并且第二三维坐标系是包括彼此垂直交叉的轴XB至ZB作为坐标轴的坐标系并且不同于第一三维坐标系。[0286]在第一三维坐标系中的三维位置为P1的特征点的在由第一视点组中的一个视点的虚拟相机361拾取的图像上的二维位置Pa由以下表达式⑶表示。[0287][数学式3][0289]RcamA|tcamA是第一部分编码流的元数据内的第一三维坐标系中的虚拟相机361的相机参数。[0290]同时，在第一三维坐标系中的三维位置是?:并且在第二三维坐标系中的三维位置是Pi’的特征点的由虚拟相机361拾取的图像上的二维位置Pb由以下表达式4表示。[0291][数学式4][0293]RcamBItcamB是第二三维坐标系中的虚拟相机361的相机参数。[0294]通过变换表达式⑷，三维位置P1’由以下表达式⑸表示。[0295][数学式5][0297]由于二维位置Pa和二维位置Pb相同，所以通过将表达式3的右侧代入上述表达式5的二维位置PB，获得以下表达式6。[0298][数学式6][0300]表达式6是用于将第一三维坐标系中的三维位置Pi变换成第二三维坐标系中的三维位置Pi’的表达式。因此，坐标变换数据生成单元341将由与表达式6中的相机的外部参数相同的表示方法表示的R_11_确定为坐标变换数据。[0301]具体地，坐标变换数据生成单元341基于第二视点组的相机参数、二维图像数据和深度图像数据根据上面给出的表达式（1来确定在第二三维位置坐标系中的特征点的三维位置。此外，坐标变换数据生成单元341基于第一视点组的二维图像数据确定第一视点组的每个视点的特征点的二维位置。[0302]然后，坐标变换数据生成单元341针对第一视点组的每个视点将第二三维坐标系中的特征点的三维位置代入P!’，并根据二维位置被代入Pa中的表达式4确定第二三维坐标系中的虚拟相机361的外部参数RramBItcamB。[0303]上述过程称为在线校准。在线校准的细节例如在ZhengyouZhang的“AFlexibleNewTechniqueforCameraCalibration”，TechnicalReportMSR-TR-98-71，微软公司，1998年12月2日等中有描述。[0304]坐标变换数据生成单元341使用外部参数RcamBItcamB和外部参数RcamBItcamB，针对第一视点组的每个视点根据上文给出的表达式6确定坐标变换数据。[0305]坐标变换信息的示例）[0306]图22是示出坐标变换信息的示例的视图。[0307]在图22的示例中，第一视点组的视点的相机ID是0至3。[0308]如图22所示，通过将第一视点组的每个视点的相机ID与视点的isCorrectionFlag和坐标变换数据关联来配置坐标变换信息。[0309]isCorrectionFlag是指示作为对应视点的三维坐标系的第一三维坐标系是否与成为基准的第二三维坐标系不同的标志。在表示作为对应视点的三维坐标系的第一三维坐标系与成为基准的第二三维坐标系不同的情况下，isCorrectionFlag为1，而在表示第一个三维坐标系没有不同的情况下，isCorrectionFlag为0。[0310]在第四实施方式中，由于第一三维坐标系和第二三维坐标系彼此不同，因此所有的isCorrectionFlag都是1。在图22中，将相机ID为i的视点的坐标变换数据表示为R11⑴。[0311]要注意的是，坐标变换信息可以包括指示第一视点组的所有视点的坐标变换数据是否相同的坐标变换共用标志。在这种情况下，当第一视点组的所有视点的坐标变换数据相同时，坐标变换信息包括指示第一视点组的所有视点的坐标变换数据是相同的坐标变换共用标志坐标变换共用信息）和第一视点组的所有视点共用的坐标变换数据。例如，在第一视点组的所有视点的坐标变换数据相同的情况下，坐标变换共用标志为1，但在它们不同的情况下为O。[0312]对合成装置的处理的描述）[0313]图23是示出图20的合成装置340的合成处理的流程图。[0314]在图23的步骤SI11和Sl12处的处理类似于图19的步骤S91和S92处的处理，因此，对它们的描述被省略。[0315]在步骤S113处，合成装置340的坐标变换数据生成单元341基于第二视点组的相机参数、二维图像数据和深度图像数据以及第一视点组的二维图像数据来生成第一视点组的每个视点的坐标变换数据。坐标变换数据生成单元341将包括第一视点组的视点的坐标变换数据的坐标变换信息提供给元数据添加单元342。[0316]在步骤Sl14处，元数据添加单元342将从坐标变换数据生成单元341提供的坐标变换信息作为元数据放置到从编码装置12发送的第一部分编码流中。[0317]在步骤S115处，元数据添加单元342对从编码装置282发送的第二部分编码流和包括坐标变换信息的第一部分编码流进行合成。元数据添加单元342将作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流发送给解码装置284。然后，处理结束。[0318]转换单元的配置的示例）[0319]图24是示出在解码装置284的显示图像生成方法是自由视点显示图像生成方法的情况下的转换单元380的配置的示例的框图。[0320]在图24中示出的部件中，与图8中的部件相同的部件由相同的附图标记表示。重叠的描述适当地省略。[0321]图24的转换单元380的配置与图8的转换单元380的配置的不同之处在于三维数据生成单元151被三维数据生成单元381替代。[0322]三维数据生成单元381包括三维位置转换单元391、三维位置转换单元392、坐标变换单元393和数据生成单元394。[0323]三维数据生成单元381的三维位置转换单元391第一三维位置转换单元根据上文给出的表达式（1，基于从解码单元301提供的第一视点组的元数据内的相机参数、二维图像数据和深度图像数据将第一视点的二维图像数据的每个像素的二维位置转换成第一三维坐标系中的三维位置。三维位置转换单元391将第一三维坐标系中的第一视点组的二维图像数据的每个像素的三维位置和第一视点组的二维图像数据提供给坐标变换单元393〇[0324]三维位置转换单元392第二三维位置转换单元根据上面给出的表达式（1基于从解码单元301提供的第二视点组的元数据内的相机参数、二维图像数据和深度图像数据，将第二视点组的二维图像数据的每个像素的二维位置转换为第二三维坐标系中的三维位置。三维位置转换单元392将第二三维坐标系中的第二视点组的二维图像数据的每个像素的三维位置和第二视点组的二维图像数据提供给数据生成单元394。[0325]坐标变换单元393基于从解码单元301提供的元数据内的坐标变换信息，将从三维位置转换单元391提供的在第一三维坐标系中的第一视点组的二维图像数据的每个像素的三维位置变换成第二三维坐标系中的三维位置。坐标变换单元393将第二三维坐标系中的第一视点组的二维图像数据的每个像素的三维位置和第一视点组的二维图像数据提供给数据生成单元394。[0326]数据生成单元394基于第二三维坐标系中的第一视点组和第二视点组的二维图像数据的每个像素的三维位置，根据第一视点组和第二视点组的二维图像数据生成图像拾取对象的三维数据。[0327]数据生成单元394使用从解码单元301提供的元数据内的遮挡三维数据来修改所生成的三维数据，并将修改的三维数据提供给图像拾取对象位置确定单元152和二维数据生成单元154。[0328]对解码装置的处理的描述）[0329]图25是示出第四实施方式中的解码装置284的解码处理的流程图。该解码处理例如在从合成装置340向解码装置284发送编码流时开始。[0330]在图25的步骤S131处，解码装置284的接收单元31接收从合成装置283发送的编码流。[0331]在步骤S132处，解码单元301根据与编码单元22和编码单元292的编码方法对应的方法来解码接收到的编码流。解码单元301将作为解码结果获得的第一视点组和第二视点组的二维图像数据、深度图像数据和元数据提供给转换单元380图24。[0332]在步骤S133处，转换单元380的三维位置转换单元391基于第一视点组的元数据内的相机参数、二维图像数据和深度图像数据，确定在第一三维坐标系中第一视点组的二维图像数据的每个像素的三维位置。三维位置转换单元391将在第一三维坐标系中第一视点组的二维图像数据的每个像素的三维位置和二维图像数据提供给坐标变换单元393。[0333]在步骤S134处，三维位置转换单元392基于第二视点组的元数据内的相机参数、二维图像数据和深度图像数据，确定在第二三维坐标系中第二视点的二维图像数据的每个像素的三维位置。三维位置转换单元392将在第二三维坐标系中第二视点组的二维图像数据的每个像素的三维位置和二维图像数据提供给数据生成单元394。[0334]在步骤S135处，坐标变换单元393基于从解码单元301提供的元数据内的坐标变换信息将从三维位置转换单元391提供的在第一三维坐标系中的三维位置转换成在第二三维坐标系中的三维位置。坐标变换单元393将第二三维坐标系中的第一视点组的二维图像数据的每个像素的三维位置和二维图像数据提供给数据生成单元394。[0335]在步骤S136处，数据生成单元394基于第二三维坐标系中第一视点组和第二视点组的二维图像数据的每个像素的三维位置，根据第一视点组和第二视点组的二维图像数据生成图像拾取对象的三维数据。[0336]步骤S137至S142处的处理分别与图9的步骤S34至S39处的处理类似，因此省略其描述。[0337]要注意的是，合成装置283可以不将坐标变换信息放置到第一部分编码流中，而可以用第二三维坐标系中的每个视点的外部参数RcamBItcamB替代第一三维坐标系中的第一视点组的每个视点的外部参数tc^A放置到第一部分编码流中。在这种情况下，在三维数据生成单元381中未设置坐标变换单元393,而是三维位置转换单元391使用取代外部参数RcamAItcamA的外部参数R_bIt_B直接确定第二三维坐标系中的三维位置。[0338]在第一视点组的所有视点的坐标变换数据彼此不同的情况下，优选的是将外部参数Rc^mAIt。—替代为外部参数R。』It。』。在坐标变换信息被放置到第一部分编码流中的情况下，由于不需要修改原始的第一部分编码流，所以与其中外部参数被替代的替选情况相比，该处理更容易。[0339]此外，如果视点的二维图像数据的尺度沿深度方向的视点与图像拾取平面之间的距离相同，则第一视点组的视点的坐标变换数据相同。因此，在这种情况下，坐标变换数据生成单元341可以仅生成第一视点组的一个视点的坐标变换数据作为第一视点组的视点共用的坐标变换数据。[0340]如上所述，在第四实施方式中，对由编码装置12生成的第一部分编码流和由编码装置282生成的第二部分编码流进行合成并发送至解码装置284。因此，作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流的三维坐标系可能不相同。[0341]然而，在第四实施方式中，合成装置340将第一部分编码流和第二部分编码流解码一次，并基于解码结果生成坐标变换数据。然后，合成装置340将包括所生成的坐标变换数据的坐标变换信息与第一部分编码流和第二部分编码流一起发送。相应地，转换单元380可以基于坐标变换信息将第一三维坐标系中的第一视点组的二维图像数据的每个像素的三维位置转换为在第二三维坐标系中的三维位置。作为结果，转换单元380可以基于同一第一三维坐标系中的第一视点组和第二视点组的二维图像数据的每个像素的三维位置以高精度根据二维图像数据生成三维数据。[0342]在第二至第四实施方式中，在与二维图像数据和深度图像数据的预定显示图像生成方法对应的视点彼此不同的情况下，基于二维图像数据和深度图像数据来执行各个视点的同步偏差的检测或坐标变换数据的生成。[0343]〈第五实施方式〉[0344]传输系统的第五实施方式中的合成装置的配置的示例）[0345]应用本公开内容的传输系统的第五实施方式的配置与图17的传输系统280的配置相同，除了合成装置283被合成装置400替代并且解码装置284的转换单元33被转换单元420替代并且视点组同步偏差信息被颜色偏移校正信息替代之外。因此，在下文中，仅描述合成装置400和转换单元420。[0346]图26是示出合成装置400的配置的示例的框图。[0347]在图26中示出的部件中，与图18的部件相同的部件由相同的附图标记表示。重叠的描述被适当地省略。[0348]图26的合成装置400的配置与图18的合成装置283的不同之处在于：同步偏差检测单元323和元数据添加单元324分别被颜色偏移校正数据生成单元401和元数据添加单元402替代。合成装置400不检测每个视点的二维图像数据的同步偏差，而是生成用于校正每个视点的二维图像数据的颜色偏移的颜色偏移校正数据。[0349]具体而言，合成装置400的颜色偏移校正数据生成单元401将第一视点组和第二视点组中的视点中的一个视点确定为基本视点，并将其他视点确定为参考视点。颜色偏移校正数据生成单元401针对每个参考视点基于由解码单元321或解码单元322解码生成的基本视点和参考视点的二维图像数据生成用于校正参考视点相对于基本视点的二维图像数据的颜色偏移的颜色偏移校正数据。[0350]具体地，在针对来自参考视点的二维图像数据内的特征点的RGB值R，G，B执行从逆伽马校正时获得的RGB值R’，G’，B’）通过以下表达式⑺来表示。[0351]「数学式71[0353]γR，γG和γB分别是R、G和B的伽马值。[0354]同时，用于将RGB值R’，G’，B’）转换成当对参考视点的RGB值为基本视点的二维图像数据内的（R，G，B的特征点的RGB值Rc，Gc，Bc执行逆伽马校正时获得的RGB值R”，G”，B”）的表达式由以下表达式8表示。[0355][数学式8][0357]aii至ai3、a2i至a23和a3i至a33是系数。[0358]此外，由于RGB值RC，GC，BC是对RGB值R”，G”，B”）执行伽玛校正时获得的值，所以它们由以下表达式9表示。[0359][数学式9][0361]如上所述，颜色偏移校正数据生成单元401从参考视点的二维图像数据中提取特征点的RGB值R，G，B，并从基本视点的二维图像数据中提取特征点的RGB值RuGuB。）。然后，颜色偏移校正数据生成单元401基于提取的RGB值R，G，B和RGB值0?。，Gc，Bc生成在RGB值R，G，B要被转换成RGB值RC，GC，BC时所需的伽马值γR、γG、γB和系数11至13、21至a23和a3i至a33作为颜色偏移校正数据。[0362]此外，颜色偏移校正数据生成单元401生成RGB值R，G，B和RGB值Rc，Gc，Bc彼此相同的颜色偏移校正数据来作为用于基本视点的颜色偏移校正数据。颜色偏移校正数据生成单元401将包括所生成的每个视点的颜色偏移校正数据的颜色偏移校正信息提供给元数据添加单元402。[0363]元数据添加单元402将从颜色偏移校正数据生成单元401提供的颜色偏移校正信息内的第一视点组的颜色偏移校正信息作为元数据放置到从编码装置12发送至其的第一部分编码流中。此外，元数据添加单元402将从颜色偏移校正数据生成单元401提供给其的颜色偏移校正信息内的第二视点组的颜色偏移校正信息作为元数据放置到从编码装置282发送至其的第二部分编码流中。[0364]元数据添加单元402对每个中颜色偏移校正信息被放置为元数据的第一部分编码流和第二部分编码流进行合成。元数据添加单元402发送单元将作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流发送至解码装置284。[0365]颜色偏移校正信息的示例）[0366]图27是示出颜色偏移校正信息的示例的视图。[0367]在图27的示例中，与预定显示图像生成方法对应的多个视点的数量是9。[0368]如图27中所示，通过将与预定显示图像生成方法对应的所有视点的相机ID中的每一个与isCorrectionFlag和视点的颜色偏移校正数据关联来配置颜色偏移校正信息。[0369]isCorrectionFlag是指示在对应视点与基本视点之间是否出现颜色偏移的标志。在指示在对应视点与基本视点之间出现颜色偏移的标志的情况下，isCorrectionFlag为1，但是在指示未出现颜色偏移的情况下，isCorrectionFlag为0。[0370]在图27的示例中，相机ID为0的视点是基本视点，并且在相机ID为1、2、4和6至9的参考视点与基本视点之间未出现颜色偏移。因此，与相机ID为0至2、4和6至9对应的isCorrectionFlag是0,并且不对应于这些相机ID来描述颜色偏移校正数据。[0371]同时，在图27的示例中，在基本视点与相机ID为3和5的参考视点之间出现颜色偏移。因此，与相机ID为3和5对应的isCorrectionFlag是1，并且对应于这些相机ID来描述颜色偏移校正数据。在图27中，将相机ID为i的每个视点的颜色偏移校正数据描述为Pi。[0372]要注意的是，颜色偏移校正信息可以包括颜色偏移共用标志，该颜色偏移共用标志指示出现颜色偏移的所有视点的颜色偏移校正数据是否彼此相同。在这种情况下，当出现颜色偏移的所有视点的颜色偏移校正数据彼此相同时，颜色偏移校正信息包括指示出现颜色偏移的所有视点的颜色偏移校正数据彼此相同的颜色偏移共用标志颜色偏移共用信息和出现颜色偏移的所有视点共用的颜色偏移校正数据。例如，在出现颜色偏移的所有视点的颜色偏移校正数据彼此相同的情况下，颜色偏移共用标志为1，但在颜色偏移校正数据不同的情况下，颜色偏移共用标志为0。[0373]对合成装置的处理的描述）[0374]图28是示出图26的合成装置400的合成处理的流程图。[0375]在图28的步骤S161和S162处的处理分别与图19的步骤S91和S92处的处理类似，因此，对它们的描述被省略。[0376]在步骤S163处，合成装置400的颜色偏移校正数据生成单元401针对每个参考视点，基于通过解码单元321或解码单元322解码生成的基本视点和参考视点的二维图像数据，生成参考视点的颜色偏移校正数据。此外，颜色偏移校正数据生成单元401生成其中RGB值R，G，B和RGB值RC，GC，BC彼此相同的颜色偏移校正数据作为基本视点的颜色偏移校正数据。颜色偏移校正数据生成单元401将包括所生成的视点的颜色偏移校正数据的颜色偏移校正信息提供给元数据添加单元402。[0377]在步骤S164处，元数据添加单元402将来自颜色偏移校正数据生成单元401提供的颜色偏移校正信息内的第一视点组的颜色偏移校正信息作为元数据放置到从编码装置12发送的第一部分编码流中。[0378]在步骤S165处，元数据添加单元402将来自颜色偏移校正数据生成单元401提供的颜色偏移校正信息内的第二视点组的颜色偏移校正信息作为元数据放置到从编码装置282发送的第二部分编码流中。[0379]在步骤S166处，元数据添加单元402对每个中被放置了颜色偏移校正信息作为元数据的第一部分编码流和第二部分编码流进行合成。元数据添加单元402将与作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流发送至解码装置284。[0380]转换单元的配置的示例）[0381]图29是示出转换单元420的配置的示例的框图。[0382]在图29中示出的部件中，与图8的部件相同的部件由相同的附图标记表示。重叠的描述被适当地省略。[0383]图29中的转换单元420的配置与图8的转换单元33的配置的不同之处在于新设置了颜色校正单元421。[0384]转换单元420的颜色校正单元421根据上文给出的表达式⑺至9，基于作为解码单元301的解码结果获得的色彩偏移校正信息，执行第一视点组和第二视点组的二维图像数据的颜色校正。因此，在所有视点的二维图像数据中，颜色和RGB值之间的关系变得相同。颜色校正单元421将作为解码单元301的解码结果获得的第一视点组和第二视点组的深度图像数据和在颜色校正之后的第一视点组和第二视点组的二维图像数据提供给三维数据生成单元151。[0385]第五实施方式中的解码装置284的解码处理与图9的解码处理类似，除了在步骤S32和步骤S33之间执行由颜色校正单元421进行的颜色校正之外。[0386]如上所述，在第五实施方式中，对使用由不同相机拾取的二维图像数据生成的第一部分编码流和第二部分编码流进行合成并发送至解码装置284。因此，在一些情况下在作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流中出现颜色偏移。[0387]然而，在第五实施方式中，合成装置340对第一部分编码流和第二部分编码流进行一次解码，并且针对作为解码结果获得的各个视点的二维图像数据生成颜色偏移校正数据。然后，合成装置340将所生成的颜色偏移校正数据的颜色偏移校正信息与第一部分编码流和第二部分编码流一起发送。因此，转换单元420可以基于颜色偏移校正数据来校正第一视点组和第二视点组的每个视点的二维图像数据的颜色偏移。作为结果，通过使用颜色偏移被校正的第一视点组和第二视点的二维图像数据和深度图像数据生成三维数据，转换单元420可以提高三维数据内的二维图像数据的精度。[0388]此外，在第五实施方式中，由于合成装置400发送颜色偏移校正信息，因此仅需要将颜色偏移校正信息作为元数据放置到第一部分编码流和第二部分编码流中。因此，与其中第一部分编码流和第二部分编码流被解码然后在颜色偏移被校正之后重新编码的替选情况相比，可以减少合成装置400的处理量。[0389]要注意的是，在第五实施方式中，将包括用于针对每个视点或每个视点组校正二维图像数据的周边相对于中心部分的变暗的增益的周边变暗校正信息作为元数据放置到第一部分编码流和第二部分编码流中。替选地，每个视点或每个视点组的Exif可交换图像文件格式信息可以作为元数据放置。[0390]〈第六实施方式〉[0391]对应用本公开内容的计算机的描述）[0392]尽管上文所述的一系列处理可以通过硬件来执行，但也可以通过软件来执行。在通过软件执行一系列处理的情况下，构成软件的程序被安装到计算机中。此处，在计算机中，包括结合在专用硬件中的计算机、个人计算机，例如可以通过安装各种程序等来执行各种功能的通用用途个人计算机。[0393]图30是示出通过程序执行上述一系列处理的计算机的硬件配置的示例的框图。[0394]在计算机600中，CPU中央处理单元601、ROM只读存储器602和RAM随机存取存储器603通过总线604彼此连接。[0395]总线604还连接有输入输出接口605。输入输出接口605连接有输入单元606、输出单元607、存储单元608、通信单元609和驱动器610。[0396]输入单元606包括例如键盘、鼠标、麦克风等。输出单元607包括例如显示器、扬声器等。存储单元608包括硬盘、非易失性存储器等。通信单元609包括网络接口等。驱动器610驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质611。[0397]在以上述方式配置的计算机600中，CPU601通过输入输出接口605和总线604将存储在例如存储单元608中的程序加载到RAM603中，并执行程序以执行上述一系列处理。[0398]由计算机600CPU601执行的程序可以被记录到或提供为例如作为打包介质的可移除介质611。此外，该程序可以通过有线或无线传输介质例如局域网、因特网或数字卫星广播来提供。[0399]在计算机600中，可以通过输入输出接口605将可移除介质611装载到驱动器610中来将程序安装到存储单元608中。此外，可以通过通信单元609通过无线或有线传输介质来接收程序并安装到存储介质608中。替选地，可以将程序预先安装到ROM602或存储单元608中。[0400]应该注意，由计算机600执行的程序可以是按照根据本说明书中描述的顺序的时间序列执行处理的程序，或者可以是并行执行处理的程序或者在必要的时刻例如当程序被调用时等执行处理的程序。[0401]此外，在本说明书中，术语系统表示多个组成元件设备、模块部件等）的集合，并且无论所有组成元件是否被容纳在同一壳体中都没有关系。因此，容纳在分开的壳体中并且通过网络彼此连接的多个装置是系统，并且包括容纳在单个壳体中的多个模块的一个装置也是系统。[0402]应该注意的是，本说明书中描述的效果是示例性的并且不是限制性的，并且可以涉及其他效果。[0403]此外，本公开内容的实施方式不限于上文描述的实施方式，而是可以在不背离本公开内容的主题的情况下以各种方式改变。[0404]本公开内容还可以采用以下配置。[0405]1一种图像处理装置，包括：[0406]颜色偏移校正数据生成单元，其生成用于校正第一视点的二维图像数据与第二视点的二维图像数据之间的颜色偏移的颜色偏移校正数据；以及[0407]发送单元，其发送:颜色偏移校正信息，所述颜色偏移校正信息包括由所述颜色偏移校正数据生成单元生成的所述颜色偏移校正数据;第一编码数据，所述第一编码数据是所述第一视点的二维图像数据与指示相对于第三视点的每个像素在图像拾取对象的深度方向上的位置的深度图像数据的编码数据；以及第二编码数据，所述第二编码数据是所述第二视点的二维图像数据与第四视点的深度图像数据的编码数据。[0408]⑵根据⑴所述的图像处理装置，其中，[0409]所述第二视点的数量为复数；以及[0410]所述颜色偏移校正数据生成单元针对每个所述第二视点生成所述颜色偏移校正数据。[0411]3根据⑵所述的图像处理装置，其中，[0412]所述颜色偏移校正信息包括指示出现颜色偏移的所有第二视点的颜色偏移校正数据是否相同的颜色偏移共用信息。[0413]⑷根据⑵所述的图像处理装置，其中，[0414]在出现颜色偏移的所有第二视点的颜色偏移校正数据相同的情况下，所述发送单元发送以下颜色偏移校正信息:所述颜色偏移校正信息包括指示出现颜色偏移的所有第二视点的颜色偏移校正数据相同的颜色偏移共用信息和所有第二视点所共用的颜色偏移校正数据。[0415]⑸根据⑴至⑷中任一项所述的图像处理装置，其中，[0416]所述第一视点的二维图像数据和所述第二视点的二维图像数据的图像拾取对象的至少一部分是相同的。[0417]⑹根据⑴至⑸中任一项所述的图像处理装置，还包括：[0418]解码单元，其对所述第一编码数据和所述第二编码数据进行解码;其中，[0419]所述颜色偏移校正数据生成单元基于作为所述解码单元的解码结果获得的所述第一视点的二维图像数据和所述第二视点的二维图像数据来生成所述颜色偏移校正数据。[0420]⑺一种由图像处理装置进行的图像处理方法，包括：[0421]颜色偏移校正数据生成步骤，生成用于校正第一视点的二维图像数据与第二视点的二维图像数据之间的颜色偏移的颜色偏移校正数据；以及[0422]发送步骤，发送:颜色偏移校正信息，所述颜色偏移校正信息包括通过所述颜色偏移校正数据生成步骤处的处理生成的所述颜色偏移校正数据;第一编码数据，所述第一编码数据是所述第一视点的二维图像数据与指示相对于第三视点每个像素在图像拾取对象的深度方向上的位置的深度图像数据的编码数据；以及第二编码数据，所述第二编码数据是所述第二视点的二维图像数据与第四视点的深度图像数据的编码数据。[0423]⑻一种图像处理装置，包括：[0424]解码单元，其对第一编码数据和第二编码数据进行解码，所述第一编码数据是第一视点的二维图像数据与指示相对于第二视点的每个像素在图像拾取对象的深度方向上的位置的深度图像数据的编码数据，所述第二编码数据是第三视点的二维图像数据与第四视点的深度图像数据的编码数据；以及[0425]颜色校正单元，其基于包括所述第一视点的二维图像数据与所述第三视点的二维图像数据的颜色偏移校正数据的颜色偏移校正信息，执行作为所述解码单元的解码结果获得的所述第三视点的二维图像数据的颜色校正。[0426]⑼根据⑻所述的图像处理装置，还包括：[0427]三维数据生成单元，其基于所述第一视点的二维图像数据、所述第二视点的深度图像数据、由所述颜色校正单元执行了颜色校正的所述第三视点的二维图像数据、以及所述第四视点的深度图像数据，生成所述图像拾取对象的三维数据。[0428]10根据⑻或⑼所述的图像处理装置，其中，[0429]所述第三视点的数量为复数；以及[0430]所述颜色校正单元基于包括针对每个所述第三视点的颜色偏移校正数据的颜色偏移校正信息来执行颜色校正。[0431]11根据10所述的图像处理装置，其中，[0432]所述颜色偏移校正信息包括指示出现颜色偏移的所有第三视点的颜色偏移校正数据是否相同的颜色偏移共用信息。[0433]12根据（10所述的图像处理装置，其中，[0434]所述颜色偏移校正信息包括指示出现颜色偏移的所有第三视点的颜色偏移校正数据相同的颜色偏移共用信息和所有第三视点所共用的颜色偏移校正数据。[0435]13根据⑻至12中任一项所述的图像处理装置，其中，[0436]所述第一视点的二维图像数据和所述第三视点的二维图像数据的图像拾取对象的至少一部分是相同的。[0437]14一种由图像处理装置进行的图像处理方法，包括：[0438]解码步骤，对第一编码数据和第二编码数据进行解码，所述第一编码数据是第一视点的二维图像数据与指示相对于第二视点每个像素在图像拾取对象的深度方向上的位置的深度图像数据的编码数据，所述第二编码数据是第三视点的二维图像数据与第四视点的深度图像数据的编码数据；以及[0439]颜色校正步骤，基于包括所述第一视点的二维图像数据与所述第三视点的二维图像数据的颜色偏移校正数据的颜色偏移校正信息，执行作为所述解码步骤处的处理的解码结果获得的所述第三视点的二维图像数据的颜色校正。[0440][附图标记列表][0441]11图像拾取装置、12编码装置、13解码装置、22编码单元、23发送单元、31接收单元、32解码单元、53二维数据生成单元、151三维数据生成单元、154二维数据生成单元、171图像拾取装置、172编码装置、173解码装置、192转换单元、211-1至211-N相机、222同步偏差检测单元、261-1至261-2N解码处理单元、262输出单元、282编码装置、283合成装置、284解码装置、292编码单元、301解码单元、321，322解码单元、323同步偏差检测单元、324元数据添加单元、340合成装置、341坐标变换数据生成单元、342元数据添加单元、391，392三维位置转换单元、393坐标变换单元、394数据生成单元、400合成装置、401颜色偏移校正数据生成单元、402元数据添加单元、421颜色校正单元。

权利要求：1.一种图像处理装置，包括：颜色偏移校正数据生成单元，其生成用于校正第一视点的二维图像数据与第二视点的二维图像数据之间的颜色偏移的颜色偏移校正数据；以及发送单元，其发送:颜色偏移校正信息，所述颜色偏移校正信息包括由所述颜色偏移校正数据生成单元生成的所述颜色偏移校正数据;第一编码数据，所述第一编码数据是所述第一视点的二维图像数据与指示相对于第三视点的每个像素在图像拾取对象的深度方向上的位置的深度图像数据的编码数据；以及第二编码数据，所述第二编码数据是所述第二视点的二维图像数据与第四视点的深度图像数据的编码数据。2.根据权利要求1所述的图像处理装置，其中所述第二视点的数量为复数；以及所述颜色偏移校正数据生成单元针对每个所述第二视点生成所述颜色偏移校正数据。3.根据权利要求2所述的图像处理装置，其中所述颜色偏移校正信息包括指示出现颜色偏移的所有第二视点的颜色偏移校正数据是否相同的颜色偏移共用信息。4.根据权利要求2所述的图像处理装置，其中在出现颜色偏移的所有第二视点的颜色偏移校正数据相同的情况下，所述发送单元发送以下颜色偏移校正信息:所述颜色偏移校正信息包括指示出现颜色偏移的所有第二视点的颜色偏移校正数据相同的颜色偏移共用信息和所有第二视点所共用的颜色偏移校正数据。5.根据权利要求1所述的图像处理装置，其中所述第一视点的二维图像数据和所述第二视点的二维图像数据的图像拾取对象的至少一部分是相同的。6.根据权利要求1所述的图像处理装置，还包括：解码单元，其对所述第一编码数据和所述第二编码数据进行解码;其中，所述颜色偏移校正数据生成单元基于作为所述解码单元的解码结果获得的所述第一视点的二维图像数据和所述第二视点的二维图像数据，生成所述颜色偏移校正数据。7.—种由图像处理装置进行的图像处理方法，包括：颜色偏移校正数据生成步骤，生成用于校正第一视点的二维图像数据与第二视点的二维图像数据之间的颜色偏移的颜色偏移校正数据；以及发送步骤，发送:颜色偏移校正信息，所述颜色偏移校正信息包括通过所述颜色偏移校正数据生成步骤的处理生成的所述颜色偏移校正数据;第一编码数据，所述第一编码数据是所述第一视点的二维图像数据与指示相对于第三视点的每个像素在图像拾取对象的深度方向上的位置的深度图像数据的编码数据；以及第二编码数据，所述第二编码数据是所述第二视点的二维图像数据与第四视点的深度图像数据的编码数据。8.—种图像处理装置，包括：解码单元，其对第一编码数据和第二编码数据进行解码，所述第一编码数据是第一视点的二维图像数据与指示相对于第二视点的每个像素在图像拾取对象的深度方向上的位置的深度图像数据的编码数据，所述第二编码数据是第三视点的二维图像数据与第四视点的深度图像数据的编码数据；以及颜色校正单元，其基于包括所述第一视点的二维图像数据与所述第三视点的二维图像数据的颜色偏移校正数据的颜色偏移校正信息，执行作为所述解码单元的解码结果获得的所述第三视点的二维图像数据的颜色校正。9.根据权利要求8所述的图像处理装置，还包括：三维数据生成单元，其基于所述第一视点的二维图像数据、所述第二视点的深度图像数据、由所述颜色校正单元执行了颜色校正的所述第三视点的二维图像数据、以及所述第四视点的深度图像数据，生成所述图像拾取对象的三维数据。10.根据权利要求8所述的图像处理装置，其中所述第三视点的数量为复数；以及所述颜色校正单元基于包括针对每个所述第三视点的颜色偏移校正数据的颜色偏移校正信息，执行颜色校正。11.根据权利要求10所述的图像处理装置，其中所述颜色偏移校正信息包括指示出现颜色偏移的所有第三视点的颜色偏移校正数据是否相同的颜色偏移共用信息。12.根据权利要求10所述的图像处理装置，其中所述颜色偏移校正信息包括指示出现颜色偏移的所有第三视点的颜色偏移校正数据相同的颜色偏移共用信息和所有第三视点所共用的颜色偏移校正数据。13.根据权利要求8所述的图像处理装置，其中所述第一视点的二维图像数据和所述第三视点的二维图像数据的图像拾取对象的至少一部分是相同的。14.一种由图像处理装置进行的图像处理方法，包括：解码步骤，对第一编码数据和第二编码数据进行解码，所述第一编码数据是第一视点的二维图像数据与指示相对于第二视点的每个像素在图像拾取对象的深度方向上的位置的深度图像数据的编码数据，所述第二编码数据是第三视点的二维图像数据与第四视点的深度图像数据的编码数据；以及颜色校正步骤，基于包括所述第一视点的二维图像数据与所述第三视点的二维图像数据的颜色偏移校正数据的颜色偏移校正信息，执行作为所述解码步骤的处理的解码结果获得的所述第三视点的二维图像数据的颜色校正。

百度查询： 索尼公司 图像处理装置和图像处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD