申请/专利权人：索尼公司

申请日：2013-04-03

公开（公告）日：2021-04-09

公开（公告）号：CN108445705B

主分类号：G03B37/00(20210101)

分类号：G03B37/00(20210101);H04N5/232(20060101);H04N9/31(20060101);G06T3/40(20060101)

优先权：["20120606 JP 2012-129101"]

专利状态码：有效-授权

法律状态：2021.04.09#授权;2018.09.18#实质审查的生效;2018.08.24#公开

摘要：图像处理装置、图像处理方法，当确定要显示的全景图像数据集合是全周全景图像时，图像处理设备通过执行用于显示的投影处理而生成显示图像数据。换句话说，替代简单地剪切并显示全景图像，本发明能够通过将在全景合成期间投影到曲面的全景图像数据集合投影到与投影中心轴相交的平面从而创建显示图像，显示现实感的图像。

主权项：1.一种图像处理装置，包括：电路，被配置为：基于捕获模式生成包括全周全景图像和非全周全景图像中至少一个的全景图像；生成与所生成的全景图像有关的元数据，所述元数据提供所述全景图像是全周全景图像的指示；基于所生成的全景图像和元数据生成全景图像文件；以及基于元数据控制全景图像文件的显示处理，所述电路还被配置为：在所述元数据指示所述全景图像是全周全景图像时，通过执行显示投影处理控制以显示投影处理后的图像，或者在所述元数据指示所述全景图像是非全周全景图像时，通过对所生成的全景图像执行除了显示投影处理以外的处理控制以显示处理后的图像。

全文数据：图像处理装置、图像处理方法和程序[0001]本分案申请是申请日为2013年04月03日、申请号为201380028436.5、发明名称为“图像处理装置、图像处理方法和程序”的分案申请。技术领域[0002]本公开涉及图像处理装置、图像处理方法和用于实现这些的程序，并且具体涉及适于全景图像数据的显示的图像处理。背景技术[0003]引用列表[0004]专利文献1:JP2010-161520A[0005]如专利文献1中所示，已知从多个图像生成一个全景panorama图像的图像处理。[0006]例如，用户在水平扫描相机的同时获得多个捕获的图像帧图像数据），并且通过组合它们，可以获得所谓的全景图像。[0007]注意，“扫描sweep”指由于为了获得用于全景图像生成的多个帧图像而在成像时对成像装置的旋转运动导致的成像方向运动的操作。例如，在水平方向上移动成像方向的情况下，扫描方向将指向水平方向。发明内容[0008]技术问题[0009]在为全景图像执行再现和显示的情况下，通常，执行所谓的单视图显示或执行滚动显示。[0010]通过将所有全景图像数据压缩为一个静态图像来显示单视图显示。在此情况下，虽然可以观看整个全景图像，但是由于压缩，将难以成为有魅力的图像。[0011]通过顺序剪切全景图像数据的部分而在滚动的同时显示滚动显示。通过滚动显示，可以在对每个部分更大的屏幕上观看全景图像。[0012]然而，例如，通过简单地顺序剪切投影到圆柱面等上的全景图像数据来显示滚动显不，并且将不一定准确反映从用户视点的场景，如直线部分显著弯曲，例如水平面或建筑物。[0013]另一方面，存在再现技术，其中通过将投影到圆柱面等上的全景图像再投影到平面屏幕，将其设置为显示图像而获得高沉浸感和临场感。这样的再现和显示技术将在说明书中称为“投影显示”。[0014]例如，QuickTimeVR。对于虚拟环境导航的基于图像的方法（苹果公司）等是众所周知的。[0015]虽然可以认为当使用这样的投影显示时观看全景图像的显示的用户的满足度可以提高，但是在替代滚动显示简单执行投影显示的以下点存在困难。[0016]虽然为了执行投影显示在创作中可能需要全景图像的视角，但是用户通常很少确切地知道在数字照相机的全景模式下投影的全景图像的视角。例如，在全景图像中存在各种类型的图像，如具有360°视角的全周fullcircumference图像，具有大约120°视角的图像或具有大约180°视角的图像。此外，除了360°视角，由于诸如对准误差、扫描半径或失真像差的影响，用于从全景图像数据获得视角的这种计算将变得不精确，并且将不能获得精确的视角。[0017]这样，仅通过全景图像数据将不能得知视角，并且将不能执行投影显示的创作。例如，为了确保投影显不的视角是己知的，用户可能需要大致估计全景成像时的视角，并且在创作时手动输入视角。这将是对于普通用户困难的操作。此外，当输入视角与实际视角显著不同时，将导致在投影显示图像中出现失真。[0018]由此，从实际使用角度或从显示质量的角度，投影显示将不一定总是最佳的显示系统。[0019]本公开旨在实现一种图像处理以便能够例如通过广泛地假设从专业使用或商用到对于一般消费者的设备，手动并精确地执行全景图像的显示，尤其是高质量的投影显示。[0020]解决问题的技术方案[0021]根据本公开的一种图像处理装置，包括:显示图像生成部分，配置为在要成为显示目标的全景图像数据被判断为全周全景图像的情况下，通过执行显示投影处理来生成显示图像数据。[0022]根据本公开的一种图像处理方法，包括:在要成为显示目标的全景图像数据被判断为全周全景图像的情况下，通过执行显示投影处理来生成显示图像数据。[0023]根据本公开的一种程序使得计算处理装置执行图像处理方法的处理。[0024]在这样的本公开中，在被判断为全周全景图像的情况下，当执行全景图像数据的再现和显不时，可以执行进行显不投影处理的显不处理投影显不）。[0025]将存在全周全景图像可以被判断为具有360。（或近似360°的视角的情况。即，当执行投影显示时可以确定视角。因此，可以执行用于作为360°的视角的投影显示的处理，而不对用户施加负担，并且可以获得用于高质量投影显示的显示图像数据。[0026]注意，例如，在显示目标的全景图像数据不是全周全景图像的情况下，可以考虑通过另一显示系统执行显示或不执行显示的选择。[0027]发明的有利效果[0028]根据本公开，在全景图像数据是全周全景图像的情况下，通过执行显示投影处理生成显示图像数据。因此，可以执行用于投影显示为具有360°视角的全景图像的处理，而不对用户施加诸如视角输入的操作负担。结果，变得可以具有无失真的高质量投影显示。附图说明[0029]图1是在本公开实施例中执行的全景成像的说明图。[0030]图2是在实施例中执行的全景图像组合的说明图。[0031]图3是实施例的全景图像的说明图。[0032]图4是实施例的组合投影处理和显示投影处理的说明图。[0033]图5是实施例的滚动显示和投影显示的说明图。[0034]图6是实施例的36〇°全景图像的投影显示的说明图。[0035]图7是实施例的单视图显不和列表显不的说明图。[0036]图8是实施例的图像处理装置的框图。[0037]图9是实施例的图像处理装置安装设备的配置示例的框图。[0038]图10是实施例的图像处理装置安装设备的配置示例的框图。[0039]图11是实施例的第一配置示例的说明图。[0040]图12是实施例的第一配置示例中的处理的流程图。[0041]图13是实施例的第二配置示例的说明图。[0042]图14是实施例的第二配置示例中的处理的流程图。[0043]图15是实施例的第三配置示例的说明图。[0044]图16是实施例的第三配置示例中的处理的流程图。[0045]图17是实施例的第四配置示例的说明图。[0046]图18是实施例的第四配置示例中的处理的流程图。[0047]图19是实施例的第五配置示例的成像装置的框图。[0048]图20是实施例的成像装置中安装的全景组合部分和关联部分的功能配置的框图。[0049]图21是在视角不是360°并且不执行对准的情况下的全景图像的说明图。[OOSO]图22是实施例的执行对准的全景图像的说明图。[0051]图23是实施例的全景图像的对准的说明图。[0052]图24是实施例的全景成像时的处理的流程图。[0053]图25是实施例的显示模式转变的说明图。[OOM]图26是实施例的成像装置中安装的显示图像生成部分的功能配置的框图。[0055]图27是实施例的显示处理的流程图。[0G56]图28是实施例的计算机装置的框图。具体实施方式[0057]以下，将以下面的顺序描述实施例。[0058]注意，实施例中具有显示图像生成部分2〇的设备将成为权利要求中的图像处理装置。[0059][0060][0062][0063][0064][0065][0066]7-1:成像装置的配置）[0067]7-2:全景组合和关联处理）[0068]7-3:全景图像显示）[0069][0070][0169]以下，将描述作为图S所示的关联部分11和显示图像生成部分2〇的具体配置示例。第一配置示例是关联部分11使用元数据执行关联处理的示例。[0170]图11A示出图像处理装置1中的全景组合部分10和关联部分11。在此第一配置示例中，关联部分11具有元数据生成部分11a和数据集成部分lib。[0171]全景组合部分10生成全景图像数据PD并输出全景处理信息Ip。[0172]全景处理信息Ip提供到元数据生成部分11a。元数据生成部分lla生成反映全景处理信息Ip的元数据MT。存在全景模式类型信息、360°视角判断信息、两端对准信息、组合投影面彳目息、水平和垂直视角信息等，作为上述全景处理信息Ip的内容。[0173]在所生成的全景图像数据PD被判断为全周全景图像的情况下，这些当中的全景模式类型信息、360°视角判断信息或两端对准信息可以成为示出此全景图像数据pD是全周全景图像的信息。[0174]数据集成部分lib通过将全景组合部分1〇所生成的全景图像数据ro与元数据生成部分lla所生成的元数据MT集成，生成全景图像文件PDr。例如，全景图像文件Kr成为诸如图11B所示的结构。即，其是包括头部、全景图像数据TO和元数据MT的数据文件结构。[0175]在图9和图10所示的装置DVC1到DVC3、DVC4和DVC6的每个中，将这样的全景图像文件ror记录到记录介质或发送并输出。[0176]图11C示出图像处理装置2中的显示图像生成部分20。在此第一配置示例中，显示图像生成部分20具有数据分离部分20a、元数据解释部分20b和图像生成处理部分20c。[0177]从记录介质再现或接收的全景图像文件TOr输入到数据分离部分20a。数据分离部分20a从此全景图像文件ror分离元数据MT和全景图像数据FD。[0178]元数据MT由元数据解释部分20b解释并作为全景处理信息Ip全景模式类型信息、360°视角判断信息、两端对准信息、组合投影面信息以及水平和垂直视角信息提供到图像生成处理部分20c。[0179]图像生成处理部分20c基于全景图像数据PD生成和输出显示图像数据PDdsp。此时，根据全景处理信息ip的内容确定是否执行显示图像数据rodsp生成用于投影显示。即，在显示目标的全景图像数据PD被判断为全周全景图像的情况下，执行用于投影显示的处理，并且在其不是全周全景图像的情况下，例如执行用于滚动显示或单视图显示的处理。[0180]然后，所生成的显示图像数据PDdsp提供到未图示的显示部分或具有显示部分的设备，并执彳丁显不。[0181]在图9和图10所示的装置DVC1到DVC3、DVC5和DVC7的每个中，此显示图像数据PDdsp提供到显示部分21并执行全景图像显示。[0182]图12中示出上述图像处理装置1和图像处理装置2的处理示例。[0183]图1以示出作为图像处理装置丨的全景组合部分1〇和关联部分n的处理。[0184]在步骤F1，全景组合部分10捕获输入图像组FMS。[0185]在步骤F2,通过使全景组合部分10执行全景组合处理生成全景图像数据PD。全景组合部分10将在此全景组合处理过程中获得的全景处理信息Ip提供到关联部分丨丨元数据生成部分11a。[0186]在步骤F3,关联部分11元数据生成部分1la基于全景处理信息Ip生成元数据MT。[0187]在步骤F4，关联部分11数据集成部分ilb将全景图像数据ro与元数据MT集成，并且生成例如如图11B所示的全景图像文件PDr。[0188]在步骤F5,通过未图不的记录和再现部分将全景图像文件pDr记录到记录介质，或通过未图示的通信部分发送并输出到外部设备、网络等。[0189]在图12B中，示出了图像处理装置2的显示图像生成部分20的处理。[0190]在步骤F51，显示图像生成部分2〇数据分离部分2〇a捕获由未图示的记录介质再现的或由未图示的通信部分接收的全景图像文件PDr。[0191]在步骤F52,显示图像生成部分20数据分离部分20a，元数据解释部分20b从全景图像文件ror分离全景图像数据PD和元数据MT，提取元数据MT，并通过解释它而获得全景处理"[目息Ip。[0192]在步骤F53,显示图像生成部分20图像生成处理部分20c通过判断此时的显示目标的全景图像数据K是否是具有360°视角的全周全景图像而使处理分支。[0193]可以对于各种类型考虑全景图像数据PD是否是全周全景图像的判断。[0194]通过参考全景处理信息Ip中的360°视角判断信息，可以判断全景图像数据PD是否具有恰好360°视角。因此，在其具有恰好360°视角的情况下，可以判断为全周全景图像。[0195]此外，通过参考全景处理信息Ip中的两端对准信息，可以判断全景图像数据是否具有360°视角，并执行两端对准处理。因此，在通过将具有36〇°视角并执行两端对准设置为条件，可以判断为全周全景图像。[0196]此外，通过参考全景处理信息Ip中的全景模式类型信息，可以判断全景图像数据PD是否在360°全景成像模式下捕获，S卩，其是否具有大约360°视角。因此，如果判断其在36〇°全景成像模式下捕获，则可以判断为全周全景图像。[0197]注意，不一定认为360°全景成像模式下捕获的全景图像数据PD就恰好具有360°视角。这是因为，在360°全景成像模式下，虽然从通过在成像时的360°扫描获得的帧图像数据FM生成全景图像数据PD，但是用户执行扫描，并且将不一定是恰好360°视角。将存在用户在达到3e〇°之前停止扫描的情况。因此，360°全景成像模式下捕获的全景图像数据ro成为估计具有大约360°视角的图像。[0198]在步骤F53,使用上述判断技术的任一个，并且在判断为全周全景图像的情况下，显示图像生成部分20图像生成处理部分20c进行到步骤F54,通过执行显示投影处理生成显示图像数据PDdsp，并且在步骤F55,执行输出此显示图像数据fDdsp的处理。这些步骤F54和F55的处理继续，直到在步骤F56通过用户操作或自动处理到达显示结束。这样，在显示部分中，例如执行查看全周的显示或任意方向的显示作为投影显示。[0199]这里，在用于执行投影显示的显示投影处理中，可能需要全景图像的视角的信息。在本示例的情况下，成为步骤FM的处理目标的全景图像数据PD被判断为如上所述的全周全景图像，因此，图像生成处理部分20c可通过将全景图像数据PD设置为360°的视角而执行显示投影处理。这样，可以执行存在很少图像失真的高质量投影显示。[0200]此外，在显示投影处理中，在全景组合时对其执行投影到投影面圆柱面、球面、多边形面等的全景图像数据PD被再投影到虚拟平面屏幕VS。因此，可能变得需要全景图像数据PD的投影面的信息。在本示例中，通过参考全景处理信息Ip中的组合投影面信息，图像生成处理部分20c可以精确执行到平面屏幕VS的再投影处理。[0201]此外，在投影显示中，通过改变虚拟平面屏幕VS的水平和垂直视角，可以执行与滚动显示一样查看水平和垂直方向上的环境的显示。例如，通过在水平方向上具有360°视角，可以在水平方向上执行不受限的滚动，其将限制于垂直方向。在此方向，通过参考全景处理信息Ip中的水平和垂直视角信息，图像生成处理部分20c可以限制垂直方向的滚动能力范围。[0202]注意，水平和垂直视角信息可以是简单用于限制显示范围的信息，而不用于自身到用于显示的平面屏幕VS的投影处理。因此，可以示出视角的精确的并且高的值。在生成全景图像数据PD时，可能不需要为获得高度精确的水平和垂直视角来执行困难的计算。[0203]在步骤FM，在判断不是全周全景图像的情况下，在步骤F57,显示图像生成部分20图像生成处理部分2〇c执行另一系统的显示图像数据生成处理。例如，生成显示图像数据PDdsp作为滚动显示或单视图显示。然后，在步骤F58，执行输出显示图像数据PDdsp的处理。这些步骤F57和F58的处理继续，直到在步骤FM判断到达显示结束。这样，在显示部分中，执行投影显示以外的滚动显示或单视图显示。[0204]在其不是全周全景图像的情况下，将不能在不确切知道视角的情况下以高质量执行投影显示。因此，执行滚动显示或单视图显示。[0205]在如上所述的第一配置示例中，在图像处理装置1中，关联部分11通过将包括示出其是全周全景图像的信息的元数据MT与全景图像数据PD关联而生成全景图像文件PDr。[0206]示出全景图像生成时的帧图像数据的投影面的类型的组合投影面信息、全景图像数据PD的360°视角判断信息、两端对准信息、全景模式信息和水平和垂直视角信息包括在元数据MT中。[0207]另一方面，在图像处理装置2中，显示图像生成部分20通过在全景图像数据PD被判断为全周全景图像时执行显示投影处理而生成显示图像数据，并且使得执行投影显示。全周全景图像的判断使用被关联为元数据MT的信息。[0208]通过这样的配置，可以对于可执行精确投影显示的全周全景图像自动执行投影显示，并可对用户提供具有沉浸感的显示。另一方面，在不能精确指定不是全周全景图像的视，时，通过另一显示系统执行显示，可以执行显示操作的切换，从而不执行低质量投影显7Jn〇[0209]此外，全景模式类型信息、36〇°视角判断信息或两端对准信息等被包括作为元数据MT，并且通过使其与全景图像数据PD关联，可以容易并精确执行其是否是全周全景图像的判断。即，显示系统的选择变得容易和精确。[0210]此外，通过使得组合投影面信息包括在元数据MT中，可以精确执行显示投影处理。[0211]〈4.第二配置示例专用程序[0212]将描述实施例的第二配置示例。在第二配置示例中，图像处理装置1的关联部分11将用于全周全景图像的显示的显示处理程序专用程序与全景图像数据ro集成，作为示出其是全周全景图像的信息。[0213]此外，图像处理装置2的显示图像生成部分20通过使显示处理程序与全景图像数据ro关联而判断其是全周全景图像，并且通过基于此显示处理程序执行显示投影处理而生成显示图像数据。[0214]图13A示出图像处理装置1中的全景组合部分10和关联部分11。在此第二配置示例中，关联部分11具有显示处理程序生成部分lid和数据集成部分lie。[0215]全景组合部分10生成全景图像数据PD并输出全景处理信息Ip。[0216]全景处理信息Ip提供到显示处理程序生成部分lid。显示处理程序生成部分lid使得基于全景处理信息Ip生成显示处理程序PG。通过全景处理信息Ip中的全景模式类型信息、360°视角判断信息和两端对准信息的任一判断全景图像数据PD是否是全周全景图像，在全周全景图像的情况下，显示处理程序生成部分lid使得生成显示处理程序PG。[0217]例如，因为其以FlashAdobe、QuickTimeVRApple或HTML5描述为显示处理程序PG，所以可以由范围广泛的显示设备进行再现和显示。[0218]数据集成部分lie通过将由全景组合部分10生成的全景图像数据PD与由显示处理程序生成部分lid生成的显示处理程序PG集成而生成全景图像文件PDr。例如，全景图像文件PDr成为如图13B所示的结构。即，其是包括头部、全景图像文件PDr和显示处理程序PG的数据文件结构。[0219]在图9和图10所示的装置DVC1到DVC3、DVC4和DVC6的每个中，这样的全景图像文件PDr记录到记录介质或发送并输出。注意，虽然图示为全景图像文件fDr，全景图像数据PD可以设置为通常的全景保持形式，并且可以添加显示处理程序PG，其可以设置为将全景图像数据PD嵌入到显示处理系统自身中的形式。[0220]图13C示出图像处理装置2中的显示图像生成部分20。在此第二配置示例中，显示图像生成部分20具有数据分离部分20f和图像生成处理部分20c。[0221]从记录介质再现或接收的全景图像文件PDr输入到数据分离部分20f。数据分离部分20f从此全景图像文件ror分离全景图像数据ro和显示处理程序PG，并将其提供到图像生成处理部分20c〇[0222]注意，在全景图像数据PD不是全周全景图像的情况下，显示处理程序PG不包括在全景图像文件PDr中，因此，数据分离部分2〇f仅将全景图像数据PD提供到图像生成处理部分20c。[0223]图像生成处理部分20c基于全景图像数据pD生成并输出显示图像数据PDdsp。此时，如果存在显示处理程序PG，则通过基于显示处理程序PG执行处理而执行用于投影显示的显示图像数据PDdsp生成。在全景图像数据ro不是全周全景图像并且不执行显示处理程序PG的情况下，执行用于例如滚动显示或单视图显示的另一显示的处理。[0224]然后，将所生成的显示图像数据PDdsp提供到未图示的显示部分或具有显示部分的设备，并执行显示。[0225]在图9和图10所示的装置DVC1到DVC3、DVC5和DVC7的每个中，将此显示图像数据PDdsp提供到显示部分21并执行全景图像显示。[0226]图14中示出上述图像处理装置1和图像处理装置2的处理示例。[0227]图14A示出作为图像处理装置1的全景组合部分丨〇和关联部分丨丨的处理。[0228]在步骤F11，全景组合部分10捕获输入图像组FMS。[0229]在步骤F12,通过使全景组合部分10执行全景组合处理生成全景图像数据pD。全景组合部分10将在此全景组合处理过程中获得的全景处理信息Ip提供到关联部分11显示处理程序生成部分lid。[0230]在步骤F13,关联部分11显示处理程序生成部分lld确认全景处理信息Ip，并且执行所生成的全景图像数据PD是否是全周全景图像的判断。[0231]与第一配置示例中所述类似，可通过参考全景处理信息Ip中的360°视角判断信息的系统、参考两端对准信息的系统、参考全景模式类型信息的系统等来考虑是否是全周全景图像的判断。[0232]在其是全周全景图像的情况下，从步骤F14进行到F15,并且关联部分11显示处理程序生成部分lid使得生成显示处理程序PG。[0233]在步骤F16,在生成显示处理程序PG的情况下，关联部分11数据集成部分lib将全景图像数据PD与显示处理程序PG集成，并生成例如如图13B的全景图像文件fDr。在没有生成显示处理程序PG的情况下，即，在其不是全周全景图像的情况下，生成包括全景图像数据的全景图像文件PDr。[0234]在步骤F17，通过未图不的记录和再现部分将全景图像文件PDr记录到记录介质，或通过未图示的通信部分发送并输出到外部设备、网络等。[0235]在图14B中，示出了图像处理装置2的显示图像生成部分20的处理。[0236]在步骤F60,显不图像生成部分2〇数据分离部分2〇f捕获在未图示的记录再现部分中再现的或在未图示的通信部分中接收的全景图像文件PDr。[0237]在步骤F61，显示图像生成部分20数据分离部分20f执行全景图像文件fDr的分离处理，并且确认是否包括显示处理程序PG。[0238]在步骤F62,显示图像生成部分20根据是否存在显示处理程序PG，使处理分支。[0239]在存在显示处理程序PG的情况下，在步骤F63,捕获显示处理程序PG，并将其设置为用作用于通过图像生成处理部分20c的显示图像生成的程序的状态。[0240]然后，显示图像生成部分20图像生成处理部分20c进行到步骤F64,通过根据显示处理程序PG执行显示投影处理而生成显示图像数据PDdsp，并且在步骤F65,执行输出此显示图像数据rodsp的处理。这些步骤F64和F65的处理继续，直到在步骤F66通过用户操作或自动处理到达显示结束。这样，在显示部分中，例如，执行查看全周的显示、任意方向的显示等，作为投影显示。[0241]注意，在显示处理程序PG中可以描述全景图像数据PD的投影面的信息，其中全景图像数据PD具有360°视角，如用于额外滚动限制的水平和垂直视角信息。[0242]在步骤F62判断不存在显示处理程序PG的情况下，显示图像生成部分20图像生成处理部分2〇c在步骤F67基于现有显示处理程序执行显示图像数据生成处理。例如，当在图像生成处理部分20c中存储显示处理程序作为滚动显示或单视图显示时，使用它们生成显示图像数据PDdsp作为滚动显示或单视图显示。然后，在步骤F6S，执行输出显示图像数据PDdsp的处理。步骤F67和FG8的处理继续，直到在步骤FG9判断到达显示结束。这样，在显示部分中，执行投影显示以外的滚动显示或单视图显示。即，在其不是全周全景图像的情况下执行滚动显示或单视图显示。[0243]在如上所述的第二配置示例中，在图像处理装置1中，关联部分1丨通过将用于执行与全周全景图像对应的投影显示的显示处理程序PG与全景图像数据PD关联而生成全景图像文件Hr。[0244]另一方面，在图像处理装置2中，如果存在显示处理程序PG，则显示图像生成部分20通过基于此显示处理程序PG执行显示投影处理，生成用于投影显示的显示图像数据PDdsp〇[0245]通过这样的配置，对于可以执行适当投影显示的全周全景图像自动执行投影显示，并且可以为用户提供具有沉浸感的显示。另一方面，通过另一显示系统执行显示，在不能精确指定不是全周全景图像的视角时，可以执行显示操作的切换，从而不执行低质量投影显不。[0246][0247]将描述实施例的第三配置示例。在第三配置示例中，图像处理装置1的关联部分11执行将包括不出其是全周全景图像的信息的数据文件与包括全景图像数据F*D的数据文件相关联的处理。[0248]此外，图像处理装置2的显示图像生成部分20从包括全景图像数据PD的数据文件确认所关联的数据文件，并通过获取信息判断其是否是全周全景图像。然后，在其是全周全景图像的情况下，通过执行显示投影处理生成显示图像数据。[0249]图15A示出图像处理装置1中的全景组合部分10和关联部分11。在此第三配置示例中，关联部分11具有元数据生成部分11a和关联信息添加部分11c。[0250]全景组合部分10生成全景图像数据PD并输出全景处理信息Ip。全景处理信息Ip全景模式类型信息、360°视角判断信息、两端对准信息、组合投影信息、以及水平和垂直视角信息等提供给元数据生成部分11a。[0251]元数据生成部分11a生成反映全景处理信息Ip的元数据MT。[0252]如图15B所示，关联信息添加部分11c生成包括全景图像数据PD的全景图像文件PDrl并生成包括元数据MT的数据文件Hr2。在此情况下，将文件链接信息LK1和LK2分别添加到全景图像文件PDrl和数据文件PDr2并手动关联。文件链接信息LK1是指定数据文件PDr2的信息，并且文件链接信息LK2是指定全景图像文件PDrl的信息。注意，指定其他的文件链接信息可以仅添加到全景图像文件PDrl和数据文件PDr2的一个。[0253]在图9和图10所示的装置DVC1到DVC3、DVC4和DVC6的每个中，将这样的全景图像文件PDrl和数据文件PDr2记录到记录介质或发送并输出。记录了每个文件的记录介质可以是不同的记录介质。此外，每个文件可以发送到不同的设备、网络服务器等。[0254]图15C示出图像处理装置2中的显示图像生成部分20。在此第三配置示例中，显示图像生成部分20具有关联信息提取部分20d、响应数据获取部分20e、元数据解释部分20b和图像生成处理部分20c。[0255]从记录介质再现或接收的全景图像文件rorl输入到关联信息提取部分20d。关联信息提取部分2〇d从此全景图像文件PDrl提取文件链接信息LK1，并将其提供到响应数据获取部分20e，并将全景图像数据pD提供到图像生成处理部分2〇c。[0256]响应数据获取部分20e通过使用文件链接信息LK1执行访问ACLK，并获取关联的数据文件PDr2。例如，通过访问预定记录介质读取数据文件PDr2。替代地，通过访问预定外部设备、网络服务器等接收数据文件PDr2。然后，如果响应数据获取部分20e获取数据文件PDr2,则提取元数据MT，并提供到元数据解释部分20b。即，获得与此时的显示目标的全景图像数据PD相关联的元数据MT。[0257]通过元数据解释部分20b解释元数据MT，并将其作为全景处理信息Ip全景模式类型信息、360°视角判断信息、两端对准信息、组合投影面信息、水平和垂直视角信息提供到图像生成处理部分20c。[0258]图像生成处理部分20c基于全景图像数据PD生成并输出显示图像数据PDdsp。此时，根据全景处理信息Ip的内容判断是否执行用于投影显示的显示图像数据PDdsp生成。即，在判断显示目标的全景图像数据PD是全周全景图像的情况下，执行用于投影显示的处理，并且在其不是全周全景图像的情况下，执行用于另一显示例如，滚动显示或单视图显示）的处理。[0259]然后，所生成的显不图像数据PDdsp提供到未图示的显示部分或具有显示部分的设备，并执行显示。[0260]在图9和图10中所示的装置DVC1到DVC3、DVC5和DVC7的每个中，此显示图像数据PDdsp提供到显示部分21并执行全景图像显示。[0261]图16中示出上述图像处理装置1和图像处理装置2的处理示例。[0262]图16A示出作为图像处理装置1的全景组合部分1〇和关联部分11的处理。[0263]在步骤F21，全景组合部分10捕获输入图像组FMS。[0264]在步骤F22,通过使全景组合部分10执行全景组合处理生成全景图像数据!D。全景组合部分10将在此全景组合处理中获得的全景处理信息Ip提供到关联部分11元数据生成部分11a。[0265]在步骤F23,关联部分11兀数据生成部分11a基于全景处理信息Ip生成元数据MT。[0266]在步骤fm，关联部分11关联信息添加部分lie生成包括全景图像数据和文件链接信息LK1的全景图像文件PDrl，或生成包括元数据MT和文件链接信息LK2的数据文件PDr2〇[0267]在步骤F25,全景图像文件PDrl和数据文件PDr2通过未图示的记录再现部分记录到记录介质，或通过未示出的通信部分发送并输出到外部设备、网络等。[0268]图16B示出图像处理装置2的显示图像生成部分20的处理。[0269]在步骤F71，显示图像生成部分20关联信息提取部分20d捕获通过未图示的记录介质捕获的或通过未图示的通信部分接收的全景图像文件PDrl。[0270]在步骤F72,显示图像生成部分20关联信息提取部分20d，响应数据获取部分2〇e，元数据解释部分20b通过使用从全景图像文件PDrl提取的文件链接信息LK1执行访问，并获取数据文件PDr2。然后，从数据文件PDr2提取元数据MT，并通过解释它而获得全景处理信息Ip。[0271]在步骤F73,显示图像生成部分20图像生成处理部分20c通过此时的显示目标的全景图像数据PD是否是具有360°视角的全周全景图像而使处理分支。[0272]如第一配置示例中所述，全景图像数据PD是否是全周全景图像的判断可通过全景处理信息Ip中的全景模式类型信息、360°视角判断信息和两端对准信息的任一个。[0273]在步骤F73,在判断其是全周全景图像的情况下，显示图像生成部分20图像生成处理部分20c进行到步骤F74,通过执行显示投影处理而生成显示图像数据PDdsp，并且在步骤F75,执行输出此显示图像数据PDdsp的处理。这些步骤F74和F75的处理继续，直到在步骤F76通过用户操作或自动处理到达显示结束。这样，在显示部分中，例如执行查看全周的显示、任意方向的显示等作为投影显示。[0274]注意，在此情况下，因为全景图像数据PD是全周全景图像，所以显示投影处理中使用的视角可以设置为360°。[0275]此外，通过参考全景处理信息Ip中的组合投影面信息，图像生成处理部分2〇c可以精确执行到平面屏幕VS的再投影处理。[0276]在步骤F73判断其不是全周全景图像的情况下，显示图像生成部分20图像生成处理部分20c在步骤F77执行另一系统的显示图像数据生成处理。例如，生成显示图像数据PDdsp作为滚动显示或单视图显示。然后，在步骤F78,执行输出显示图像数据PDdsp的处理。这些步骤F77和F78的处理继续，直到在步骤F79判断其到达显示结束。这样，在显示部分中，执行滚动显示或单视图显示而不是投影显示。即，在全景图像数据PD不是全周全景图像并且不确切知道视角的情况下，执行滚动显示或单视图显示。[0277]在如上所述的第三配置示例中，在图像处理装置1中，关联部分11生成包括示出其是全周全景图像的信息的元数据MT的数据文件PDr2、以及包括全景图像数据PD的全景图像文件PDrl，并通过文件链接信息LK1和LK2关联它们。[0278]另一方面，图像处理装置2中的显示图像生成部分20通过使用文件链接信息获取与全景图像数据PD关联的元数据MT，并从元数据MT判断全景图像数据PD是否是全周全景图像。然后，在判断全景图像数据PD是全周全景图像时，通过执行显示投影处理生成显示图像数据，并执行投影显示。[0279]通过这样的配置，可以对于可执行适当投影显示的全周全景图像自动执行投影显示，并可对用户提供具有沉浸感的显示。另一方面，通过另一显示系统执行显示，在不能精^指定不是全周全景图像的视角时，可以执行显示操作的切换，从而不执行低质量投影显不〇[0280]竺意，在图15和图16中，通过使用元数据MT的示例进行描述，还可以考虑通过使用弟一配置不例中所述的显不处理程序PG。[0281]例如，将不是元数据MT的显示处理程序PG包括在图15B所示的数据文件PDr2中。其是这样的示例：如果显示处理程序PG包括在相关联的数据文件ror2中，则显示图像生成部分2〇通过，用此显示处理程序PG执行显示图像数据PDdsp的生成处理用于投影显示。[0282]示出其是全周全景图像的信息被包括作为与上述全景图像数据PD不同的文件，并且可以对于各种类型考虑将它们关联的模式。作为相关技术丨，例如，作为参考视频编辑数据中的视频材料的信息，已知唯一材料标识符UMID例如，参见JP2004-312233A。例如，图15B的数据文件PDr2可以通过诸如UMID的模式，将元数据MT与作为不同文件的全景图像文件PDrl中的全景图像数据PD相关联。[0283][0284]将描述实施例的第四配置示例。在第四实施例中，图像处理装置1的关联部分^将全景图像数据自身设置为特定格式的数据，作为示出其是全周全景图像的信息。[0285]此外，图像处理装置2的显示图像生成部分20通过将全景图像数据设置为特定格式的数据判断其是全周全景图像，并通过执行显示投影处理而生成显示图像数据。[0286]图17A示出图像处理装置1中的全景组合部分1〇和关联部分11。在此第四配置示例中，关联部分11具有格式处理部分Ilf。[0287]全景组合部分10生成全景图像数据PD并输出全景处理信息Ip。[0288]格式处理部分Ilf通过全景处理信息Ip中的全景模式类型信息、360°视角判断信息和两端对准信息的任一个，判断全景图像数据fD是否是全周全景图像。然后，在全周全景图像的情况下，生成包括专用格式的全景图像数据PD的全景图像文件PDr。在其不是全周全景图像的情况下，生成包括通用通常格式的全景图像数据PD的全景图像文件PDr。[0289]注意，例如，通常格式的全景图像数据PD是经常使用的图像数据形式，诸如联合图像专家组JPEG格式等。另一方面，将专用格式设置为专用于全周全景图像的新数据格式。[0290]图17B示出图像处理装置2中的显示图像生成部分20。在此第四配置示例中，显示图像生成部分20具有格式判断部分20g和图像生成处理部分20c。[0291]从记录介质再现或接收的全景图像文件PDr输入到格式判断部分20g。格式判断部分20g判断全景图像文件PDr中包括的全景图像数据PD是专用格式还是通用格式。然后，将所提取的全景图像数据PD和格式判断信息FM提供到图像生成处理部分20c。[0292]图像生成处理部分20c基于全景图像数据生成并输出显示图像数据PDdsp。此时，通过格式判断信息FM判断其是否是全周全景图像，并且如果其是全周全景图像，则执行用于投影显示的显示图像数据PDdsp的生成。在全景图像数据PD不是全周全景图像的情况下，执行用于另一显示例如，滚动显示或单视图显示）的处理。[0293]然后，将所生成的显不图像数据PDdsp提供到未图示的显示部分或具有显示部分的设备，并且执行显示。[0294]图18中示出上述图像处理装置1和图像处理装置2的处理示例。[0295]图18A示出作为图像处理装置1的全景组合部分1〇和关联部分1丨的处理。[0296]在步骤F41，全景组合部分10捕获输入图像组FMS。[0297]在步骤F42,通过使全景组合部分1〇执行全景组合处理生成全景图像数据ro。全景组合部分10将在全景组合处理过程中获得的全景处理信息Ip与全景图像数据fD提供到关联部分11格式处理部分Ilf。[0298]在步骤F43,关联部分11格式处理部分llf确认全景处理信息Ip，并执行所生成的全景图像数据PD是否是全周全景图像的判断。与第一配置示例中所述类似，可通过参考全景处理信息Ip中的360°视角判断信息的系统、参考两端对准信息的系统、参考全景模式类型信息的系统等考虑其是否是全周全景图像的判断。[02"]在其是全周全景图像的情况下，从步骤F44进行到F45,并且关联部分11格式处理部分llf通过将全景图像数据PD转换为专用格式而生成全景图像文件PDr。[0300]在其不是全周全景图像的情况下，从步骤F44进行到F46,并且关联部分11格式处理部分Ilf生成包括通常格式的全景图像数据的全景图像文件PDr。[0301]在步骤F47，通过未图不的记录和再现部分将全景图像文件pDr记录到记录介质，或通过未图示的通信部分发送并输出到外部设备、网络等。[0302]图18B示出图像处理装置2的显示图像生成部分20的处理。[0303]在步骤FS1，显示图像生成部分20格式判断部分20g捕获通过未图示的记录再现部分再现的或通过未图不的通信部分接收的全景图像文件F*Dr。[0304]在步骤F82,显示图像生成部分20格式判断部分20g判断全景图像文件fDr中包括的全景图像数据PD的格式。[0305]然后，在步骤F83,显示图像生成部分20根据格式判断结果使处理分支。[0306]在其判断为专用格式的情况下，显示图像生成部分20图像生成处理部分20c进行到步骤FS4,通过执行显示投影生成显示图像数据TOdsp，并且在步骤F85输出此显示图像数据PDdsp。这些步骤F84和F85的处理继续，直到在步骤F86通过用户操作或自动处理到达显示结束。这样，在显示部分中，例如执行查看全周的显示、任意方向的显示等作为投影显不〇[0307]注意，在显示投影处理中的投影计算所使用的全景图像数据PD的视角可设置为360。。[0308]此外，可以考虑将全景图像数据PD的投影面的信息、以及用于滚动限制的水平和垂直视角信息等嵌入专用格式的数据形式内。[0309]在步骤F83,在判断其不是专用格式的情况下，显示图像生成部分20图像生成处理部分20c在步骤F87生成作为另一系统的显示图像数据PDdsp，例如滚动显示或单视图显示。然后，在步骤F88,执行输出显示图像数据PDdsp的处理。步骤F87和F88的处理继续，直到在步骤F89判断到达显示结束。在此情况下，在显示部分中，执行投影显示以外的滚动显示或单视图显示。[0310]在如上所述的第四配置示例中，在图像处理装置1中，关联部分11在全周全景图像的情况下制成专用格式。[0311]另一方面，在图像处理装置2中，通过在全景图像数据PD是专用格式时判断其是全周全景图像，显示图像生成部分20通过执行显示投影处理，生成显示图像数据PDdsp用于投影显不。[0312]通过这样的配置，可以对于可执行适当投影显示的全周全景图像自动执行投影显示，并可对用户提供具有沉浸感的显示。另一方面，通过另一显示方法执行显示，在不能精确指定不是全周全景图像的视角时，可以执行显示操作的切换，从而不执行低质量投影显不。[0313][0314]7-1.成像装置的配置）[0315]接下来，作为实施例的第五配置示例，将描述成像装置50作为包括本公开的图像处理装置1和2的设备的具体示例。[0316]图19示出成像装置50的配置示例。[0317]成像装置50包括透镜单元100、成像元件1〇1、图像处理部分1〇2、控制部分103、显示部分104、存储器部分105、记录设备106、操作部分107、传感器部分108和通信部分109。[0318]透镜单元100收集拍摄对象的光学图像。透镜单元100具有根据来自控制部分103的指令调整焦距、拍摄对象距离、光圈等的功能，以便获得适当图像。此外，其还具有用于光学抑制图像的模糊的相机抖动校正功能。[°319]成像元件101将通过透镜单元100收集的光学图像光学转换，并转换为电信号。具体地，其通过电荷耦合器件CCD图像传感器、互补金属氧化物半导体CMOS图像传感器等实现。[0320]图像处理部分102从自成像元件101采样电信号的采样电路、将模拟信号转换为数字信号的AD转换电路、对数字信号施加预定图像处理的图像处理电路等构成。这里，将此图像处理部分102示出为执行通过用成像元件101成像而获取帧图像数据的处理并执行组合全景图像的处理。[0321]此图像处理部分102不仅包括专用硬件电路，还包括中央处理单元CPU或数字信号处理器DSP，并且可执行软件处理以容纳灵活的图像处理。[0322]控制部分103从CPU和控制程序构成，并执行成像装置50的每个部分的控制。控制部分自身实际存储在存储器部分105中，并由CPU执行。[0323]上述配置示例的每个中公开的全景组合部分10和关联部分11的处理以及另外的显示图像生成部分20的处理由控制部分103和图像处理部分102执行。因此，本公开的图像处理装置1和2由控制部分103和图像处理部分102实现。[0324]显示部分104从以下部分构成:DA转换电路，使得通过图像处理部分102处理并存储在存储器部分105中的图像数据为模拟的;视频编码器，将使得模拟的图像信号编码为适于稍后阶段的显示设备的形式的视频信号；以及显示设备，显示对应于输入视频信号的图像。[0325]例如通过液晶显示器LCD、有机电致发光EL面板等实现显示设备，并且其还具有作为取景器的功能。[0326]存储器部分105从诸如动态随机存取存储器DRAM的半导体存储器构成，并且临时记录图像处理部分102处理的图像数据、控制部分103中的各种类型的数据和控制程序等。[0327]记录设备106由诸如半导体存储器如闪存FlashMemory、磁盘、光盘或磁光盘的记录介质、以及用于这些记录介质的记录和再现电路机制构成。[0328]在通过成像装置50成像时，通过图像处理部分102以联合图像专家组JPEG形式执行编码，并且将存储在存储器部分105中的JPEG图像数据记录到记录介质。[0329]在再现时，保持在记录介质中的JPEG图像数据读取到存储器部分105,并且通过图像处理部分102执行解码处理。解码的图像数据可以由显示部分104显示，或通过通信部分109发送并输出到外部设备。[0330]操作部分107包括诸如硬件按键的输入设备，如快门按钮、上、下、左和右箭头键、确定键和取消键、操作拨盘、触摸面板和缩放杆，检测拍摄者用户）的输入操作并将其发送到控制部分103。控制部分103根据用户的输入操作确定成像装置50的操作，并执行控制使得每个部分执行必须的操作。[0331]传感器部分108通过陀螺仪传感器、加速度传感器、地磁传感器、全球定位系统GPS传感器等构成，并执行各种类型的信息的检测。除了添加为用于所捕获的图像数据的元数据，此信息还用于各种类型的图像处理和控制处理。[0332]通信部分109执行与外部设备的通信或网络通信。具体地，对于通信部分109可考虑各种类型的示例，如USB通信部分、LAN通信部分、诸如因特网的公共网络通信部分、或与特定设备的专用通信部分。此外，传输线的形式可以是通过电波或红外线的无线传输线，或通过电缆连接的电缆传输线。信号模式可以假设为数字电信号通信、模拟电信号通信、光通等。[0333]图像处理部分1〇2、控制部分103、显示部分104、存储器部分105、记录设备106、操作部分107、传感器部分10S和通信部分109经由总线110互相连接，并且交换图像数据、控制信号等。[0334]7-2.全景组合和关联处理）[0335]接下来，将详细描述本实施例的成像装置50的全景组合处理和关联处理。[0336]图20示出作为功能配置的在用于全景组合处理和关联处理的图像处理部分102和控制部分103中执行的处理，并示出通过这些功能配置部分执行的处理。[0337]注意，这里，使用上述第一配置示例中所述的元数据的示例将描述为关联处理。[0338]如图2〇中的虚线所示，全景组合部分10和关联部分11被包括为功能配置。即，图像处理装置1通过具有由至少图像处理部分102、控制部分103等包括作为关联部分11的功能而形成于成像装置50内部。[0339]此外，将描述通过作为全景组合部分10的功能执行的处理功能。在图20中，通过每个块示出执行为全景组合部分10的处理（算法流）。即，在全景组合部分10中，执行预处理200、图像登记处理201、移动拍摄体检测处理2〇2、检测识别处理203、360。成像判断处理204、360°优化处理205、组合投影处理206、接缝确定处理207和缝合stitch处理208。[0340]将描述每个处理。[0341]如图1所示，成为预处理200的目标的输入图像组FMS是当拍摄者通过成像装置50执行全景成像时顺序获得的帧图像数据FM#0、FM#1、FM#2…。[0342]在全景组合部分10中，首先，对于通过拍摄者的全景成像操作捕获的图像每个帧图像数据执行用于全景组合的预处理200。注意，这里，对于帧图像数据FM执行与通常成像时相同的图像处理。[0343]通过基于透镜单元1〇〇的特性的像差影响输入图像。具体地，透镜的失真像差将不利地影响图像登记处理201，并且将降低对准的精度。此外，因为在所组合的全景图像的接缝附近也生成伪信号，所以在此预处理200中执行失真像差的校正。通过失真像差的校正，将有改进移动拍摄体检测处理202和检测识别处理203的精度的效果。[0344]接下来，在全景组合部分1〇中，对于已经执行预处理200的帧图像数据执行图像登记处理201、移动拍摄体检测处理202和检测识别处理203。[0345]在全景组合时，可能需要将多个帧图像数据转换为简单坐标系统中的坐标，并且此简单坐标系统将称为全景坐标系统。[0346]图像登记处理201是输入两个接连的帧图像数据的处理，并执行全景坐标系统中的对准。虽然对于两个帧图像数据通过图像登记处理201获得的信息是两个图像坐标之间的相对关系，但是通过选择多个图像坐标系统之一例如，初始帧图像数据的坐标系统并将其固定到全景坐标系统，所有巾贞图像数据的坐标系统可以转换为全景坐标系统[0347]图像登记处理201中执行的特定处理将大致分为如下两种。[0348]1.检测图像内的局部移动。[0349]2.从上述获得的局部移动信息获得完整的图像全局移动。[0350]在上述处理1中，通常使用：[0351]*块匹配[0352]*特征点提取和特征点匹配，诸如他1'1^、取33111、3正1'、51]1^或?八31'等，并且获得图像的特征点的局部矢量。[0353]在上述处理2中，使用如下健壮估计技术作为上述处理1中获得的局部矢量组，并获得表示2个坐标系统之间的关系的最佳仿射变换矩阵或投影变换矩阵单应性：[0354]*最小二乘法[0355]*M估计器[0356]*最小平方中值LMedS法[0357]*随机采样一致RANSAC。[0358]在本公开中，此信息将称为图像登记信息。[0359]此外，在全景合成处理中，成像场景中存在移动拍摄体的移动拍摄体的一部分将根据多个帧图像数据组合的特性而划分，并将导致诸如变模糊或图像质量的下降的图像的损坏。因此，优选地，在检测到移动拍摄体时通过避免移动拍摄体而确定全景的接缝。[0360]移动拍摄体检测处理2〇2是输入2个或更多接连的帧图像数据并执行移动拍摄体的检测的处理。在特定处理的示例是在实际执行对准的2个帧图像数据的像素值存在差别处于阈值或以上的情况下，通过图像登记处理201获得的图像登记信息，这些像素将被判断为移动拍摄体。[0361]替代地，可通过使用在图像登记处理201的健壮估计时被判断为轮廓（outiiers的特征点信息来执行判断。[0362]在检测识别处理203中，检测捕获的帧图像数据内的诸如人脸或身体或动物的位置信息。即使很可能动物或人是不移动的拍摄体，在关于此拍摄体确定全景的接缝的情况下，与其他对象相比视觉上也经常出现不兼容的感觉，因此优选地通过避免这些对象来确定接缝。即，在此检测识别处理203中获得的信息用于补充移动拍摄体检测处理202的信肩、。[0363]基于在移动拍摄体检测处理202和检测识别处理203中获得的信息，在稍后将描述的接缝确定处理207中确定接缝结点）。[0364]360°成像判断处理204和360°优化处理205执行专用于360°全周成像的处理。[0365]这里，为了理解这些处理，将描述360°成像时的各种问题。[0366]图21A、图21B和图22是每个情况下的全景图像的示例。注意，在这些图中，为了确认全景图像的左端和右端的连续性，将全景图像的左端区域的一部分示出为复制（图像RCP到全景图像的右端的每个上边界线BD的右侧）。排除图像RCP的图像部分（g卩，通过输出全景图像的范围RP示出的部分是最终的一个全景图像。[0367]在其是360°全周全景的情况下，期望在此边界线BD的两侧自然连接具有连续性的无间隙的图像。[0368]在组合多个静态图像的全景图像中，难以确切知道通常的全景视角。通常，成像装置的透镜的焦距f:像素转换值）、全景图像的扫描方向的像素数1和全景视角⑻具有以下关系。[0369]l=f0[0370]然而，因为有诸如以下的实际影响，与实际场景的视角可能有显著差别：[0371]*当扫描时的回旋半径[0372]*失真像差的校正误差[0373]*登记处理的误差。[0374]在登记处理仅限于平行移动并且对算法执行简化诸如省略投影处理的情况下，对于成像装置的处理性能，这些误差将变得更加突出。[0375]图21A是从上面的等式确定适当的360。全景图像号并执行合成处理的全景图像的示例。通过对于误差显著超过360°而组合，并且全景图像的左端和右端边界线BD部分没有连续性。[0376]这样，虽然难以确切确定通常的全景视角，但是，在其是360°全周图像的情况下，可以通过考虑获得全景的左端和右端的连续性的约束条件而确定视角。[0377]将参照图23。图23是通过360°全景成像而获得的图像组（帧图像数据FM#0到FM#n-l的不意图。[0378]具体地，当假设扫描方向是从左到右、并且在全景左侧使用的第一帧图像数据Fm#〇设置为〇°位置时，对于完全与此相同的位于360°之前的位置的图像的帧图像数据FM#0A、以及在全景图像的右端使用的最终帧图像数据FM#n-1，建立下面的条件。[0379]*FM#0A和FM#n-l具有重叠区域。[0380]*FM#n-1是比FM#0A在左侧更靠近FM#0A的图像。[0381]通过检索帧图像数据FM#n-1作为满足上面条件的最终图像，可以固定360。位置。[0382]在此示例的成像装置50中，通过360°成像判断处理204执行此处理。[0383]在3e〇°成像判断处理204中，在可以确定满足上述两个条件的最终帧图像数据FM#n-1的情况下，判断组合处理内的全景图像数据是通过36〇°成像的全周全景图像。另一方面，在不能确定满足上述两个条件的最终帧图像数据FM#n-1的情况下，判断组合处理内的全景图像数据不是全周全景图像。[0384]此判断结果成为作为上述全景处理信息Ip之一的360°视角判断信息。在360。成像判断处理2〇4中，执行将360°视角判断信息输出到关联部分11的处理。[0385]注意，在360°全景成像模式下执行全景成像的情况下可以执行此360。成像判断处理204。在360°全景成像模式以外的情况下（例如，ISO。全景成像模式等），可能不需要执行此360°成像判断处理2〇4。注意，在此情况下，作为36〇°视角判断信息，可以设置为示出其是非全周全景图像的信息。[0386]此外，在此：360°成像判断处理204的处理中，可以通过生成水平和垂直视角信息和全景模式类型信息来输出到关联部分11。[0387]图21B是组合3e〇°成像判断处理2〇4中确定的最终图像卿，直到符合上述两个条件的帧图像数据FM#n-1的结果的示例。[0388]因为在360°成像判断处理204中确定36〇°位置，所以其将成为作为全景图像的360°图像。然而，此示例将没有与图21A的示例类似的全景的左端和右端的连续性。虽然在此示例中水平方向的位置是适当的，但是垂直方向的位置将偏移。[0389]因为其执行相邻图像之间的每个图像的对准，所以其将通过具有在登记处理中累积的误差而生成。[0390]即，在图23中，对于登记处理的累积误差，存在对于示出为帧图像数据FM#0A的位置计算为了成为具有连续性的全周全景而成为在360°之前的第一图像的位置示出为帧图像数据FM#0B的现象。[0391]为了处理此现象，在下面的360°优化处理205中，在360°成像判断处理204中判断为360°全周成像的情况下，通过使用从图像登记处理201输入的图像登记信息和通过360°成像判断处理204确定的最终的图像信息优化图像登记信息，并且适当地校正为360°全周全景。[0392]此处理是两端对准之前所述的处理。即，调整图像登记信息，使得在作为全景图像的0°和360°位置的全景图像的两端，在水平方向和垂直方向没有图像间隙。[0393]当在图23中所描述时，所有帧图像数据FM#0到FM#n-1的位置变得优化和校正，从而帧图像数据FM#0A的位置匹配帧图像数据FM#0B的位置。[0394]具体地，存在简单地将所累积的误差分布到所有图像登记信息的技术、执行优化而无损、只要可以使用最小二乘法等而生成原始登记信息的技术。[0395]例如，简单分布的技术如下所述。如图23所示，在帧图像数据FM#0A的位置和帧图像数据FM#0B的位置存在水平方向的误差AX和垂直方向的误差AY。构成全景图像的n帧图像数据FM#0到FM#n-1的x坐标位置和y坐标位置各自分别位移AXn和AYn。这样，在每个帧图像数据FM中将一点点吸收误差，并且作为与第一帧图像数据FM#0相同的图像的虚拟帧图像数据FM#0A的位置将匹配示出为帧图像数据FM#0B的位置。[0396]虽然帧图像数据FM#0到FM#n-1的每个将比初始坐标有稍微偏移，但是整个图像质量将几乎没有任何劣化。[0397]图22是通过使用通过使在360°优化处理205中执行的如上所述的两端对准而校正的图像登记信息来执行全景组合的结果的示例。通过360°成像判断处理204和360。优化处理205,可以确认将自然连接图像作为输出全景图像的范围RP，在全景两端将没有垂直和水平间隙。[0398]通过如上所述的360°优化处理205,是否执行两端对准的信息成为作为全景处理信息Ip之一的两端对准信息。[0399]在360°优化处理205中，还执行将两端对准信息输出到关联部分n的处理。[0400]接下来，在组合投影处理2〇6中，基于图像登记处理201所获得的图像登记信息或36〇°优化处理205中校正的图像登记信息），对于所有帧图像数据，对诸如圆柱面或球面的单个干面或单个曲面执彳丁投影处理。此外，冋时，对于移动拍摄体彳目息和检测确认信息，对同一平面或曲面执行投影处理。可以从成像时的视角等自动选择投影面，或可以根据用户操作设置投影面。[0401]通过考虑像素处理的优化，可以执行帧图像数据的组合投影处理206作为缝合处理2〇8之前的处理或作为缝合处理208的一部分。此外，例如，可以简单地执行为图像登记处理201之前的预处理200的一部分。此外，通过额外简化，可以处理为圆柱投影处理的近似而不执行此处理。[0402]注意，在此组合投影处理206中投影面的信息的类型称为作为全景处理信息Ip之一的组合投影面信息。[0403]在组合投影处理206中，还执行将组合投影面信息输出到关联部分11的处理。[0404]接缝确定处理207是将来自组合投影处理206的图像数据、来自图像登记处理201的图像登记信息、来自移动拍摄体检测处理202的移动拍摄体信息、和来自检测识别处理203的检测确认信息设置为输入、并确定作为全景图像具有很少失误的适当接缝SM图2和图3所述的接缝SM0到SMn-2的处理。[0405]在接缝确定处理207中，首先，对于来自输入信息的相邻帧图像数据之间的重叠区域定义代价函数。例如，可对函数值设置总值，其对于重叠区域的每个像素，关联与来自移动拍摄体检测处理2〇2的移动拍摄体信息和来自检测识别处理203的检测确认信息适当重叠的每一个。[0406]在此情况下，因为其具有随着此时存在的诸如移动拍摄体的对象的增加而增加的代价函数值的含义，所以可以缝接具有低代价函数值的点的集合，以便将全景图像中的失误抑制到最小值。[0407]在存在n个图像帧图像数据用于全景图像组合的情况下，这些重叠区域的数将成为n-1，并且代价函数将定义为n-l。因此，为了将最佳接缝选择为整个全景图像，获得最小化这些n-1个代价函数的组合。这通常称为组合优化问题，并且以下的解决方案是已知的。[0408]*用于获得确切解决方案的方法[0409]-分支和边界方法[0410]-制表法memoization[0411]-动态编程技术动态编程）[0412]-图剪切[0413]*获得近似解决方案的方法[0414]-局部搜索法登山法）[0415]-退火annealing法模拟退火）[0416]-禁忌搜索[0417]-一般算法一般算法）[0418]可通过上述方法的任一获得所有接缝SM1到SMn-2。[0419]在缝合处理208中，通过使用如上所述确定的所有接缝SM1到SMn-2和帧图像数据FM#0到FM#n-1的每个，组合最终的全景图像。[0420]对于接缝周围的区域执行用于降低结点的不自然度的混合处理，对于除此以外的区域仅执行采样像素的复制，即，对于全景坐标系统的再采样，并且连接整个图像。[0421]通过考虑相机抖动量和微调垂直方向的不需要的部分的最终扫描，可以获得具有宽视角的全景图像全景图像数据PD，如具有设置为长侧方向的扫描的全景图像。[0422]上面是全景组合部分10的处理。[0423]在本实施例的情况下，对于全景组合部分1〇生成的全景图像数据PD另外执行关联部分11的处理。[0424]在此示例的成像装置5〇中的图2〇的功能配置示例中，采用图i1A的之前的功能配置作为第一配置示例。关联部分11执行元数据生成处理301和数据集成处理302。[0425]各种类型的全景处理信息Ip从全景组合部分10提供到关联部分11。即，在360。成像判断处理204中获得的36〇°视角确定信息、在360°优化处理205中获得的两端对准信息和在组合投影处理2〇6中获得的组合投影面信息提供到关联部分11。[0426]注意，还可以另外提供全景模式类型信息和水平和垂直视角信息。[0427]作为元数据生成处理301，关联部分11生成反映全景处理信息Ip的元数据MT。[0428]注意，因为在稍后将描述的显示图像生成部分20的处理中执行其是否是全周全景图像的判断，并且从用于执行显示投影处理的角度，元数据MT可能不需要包括360。视角确定信息、两端对准信息、组合投影面信息、全景模式类型信息和水平和垂直视角信息的全部。[0429]虽然已经在第一配置示例到第四配置示例中描述，通过显示图像生成部分20对于其是否是全周全景图像的判断可以参考360°视角确定信息、两端对准信息和全景模式类型信息的任一个。然而，可能需要组合投影面信息用于适当执行显示投影处理。[0430]因此，以下至少之一可以包括为全景组合部分10所生成的全景处理信息Ip，并通过兀数据生成部分11a进入元数据中：[0431]«60°视角信息和组合投影面信息[0432]*两端对准信息和组合投影面信息[0433]*全景模式类型信息和组合投影面信息[0434]在数据集成处理302中，关联部分11通过将全景组合部分1〇所生成的全景图像数据TO与元数据生成处理301所生成的元数据MT集成，而生成全景图像文件TOr。[O435]例如，全景图像文件Kr成为具有如图11B所公开的图像数据和元数据的结构。更具体地，可以考虑将诸如可交换图像文件格式EHF的元数据嵌入图像数据中的示例。注意，可以设置为全景图像数据PD和元数据MT相独立的文件。[0436]在本示例的成像装置5〇中，作为图像处理部分1〇2和控制部分103中的上述全景组合部分10和关联部分11执行处理，并且其结果是将全景图像文件Hr记录到记录设备1〇6。[0437]注意，全景图像文件PDr可以从通信部分109外部发送。[0438]图24中示出了包括上述全景组合部分1〇和关联部分n的处理的从全景成像直到记录的一系列处理的示例。[0439]步骤F100的图像捕获在全景成像模式下捕获一个静态图像，并且意味着作为成像装置1内的一个帧图像数据的捕获处理。即，通过成像元件部分10i获得的成像信号是通过控制部分103的控制由图像处理部分1〇2所处理的成像信号，并且成为一个帧图像数据。[0440]此帧图像数据可以由图像处理部分1〇2原样提供到全景组合处理（图2〇的全景组合部分10的处理），或可以在嵌入存储器部分105中一次之后作为一个巾贞图像数据由图像处理部分102提供到全景组合处理。[0441]根据基于F100的帧图像数据的输入，通过由图像处理部分丨〇2和控制部分1〇3实现的图20的全景组合部分1〇执行从步骤F101起的处理。[0442]在步骤F101，全景组合部分1〇执行预处理2〇〇。[0443]在步骤Fl〇2,全景组合部分10执行图像登记处理201。[0444]在步骤Fl〇3,全景组合部分1〇执行移动拍摄体检测处理202。[0445]在步骤F104,全景组合部分10执行检测识别处理2〇3。[0446]注意，在存储器部分105中临时存储这些处理的每个中获得的图像的像素信息、图像登记信息、移动拍摄体信息、检测确认信息等，作为对应于各个处理目标的帧图像数据的信息。[0447]直到在步骤F105的成像结束，对每个帧图像数据执行上述处理。[044S]如果对于所有捕获的帧图像数据FM结束上述处理，则在步骤F106，全景组合部分10执行360°成像判断处理204。[0449]在步骤Fl〇7,全景组合部分1〇执行360°优化处理205。[0450]然后，在步骤F108,全景组合部分10通过使用在360°优化处理205中调整的图像登记信息等，执行组合投影处理206。[0451]在步骤Fl〇9,全景组合部分1〇通过执行接缝确定处理207,确定接缝別〇到別11-2。[0452]在步骤F110,全景组合部分10执行缝合处理2〇8。即，通过接缝SM0到SMn-2的每个连接每个帧图像数据。当连接时还执行混合处理。以下，生成图3A中所示的一个全景图像数据PD。[0453]接下来，关联部分11执行元数据生成处理301。即，生成反映从全景组合部分1〇提供的全景处理信息Ip的元数据MT。[0454]然后，在步骤FI12，关联部分11通过执行数据集成处理302生成全景图像文件PDr。[O455]控制部分103执行控制，使得在如全景组合部分1〇和关联部分u的处理中生成的全景图像文件PDr记录到记录设备106。[0456]在上述处理中，记录包括全景图像数据TO和元数据MT的全景图像文件PDr，并且此后的再现和显示等变得可能。[0457]7-3:全景图像显示）[0458]接下来，将描述在成像装置50中选择和显示如上所述的全景图像文件PDr的情况下的操作。[0459]首先，图25中将描述成像装置50的显示部分104所执行的显示操作模式。[0460]在成像装置50中，能够执行上述四种显示模式单视图显示、列表显示、滚动显示和投影显示的显示操作。图25示出四种显示模式的状态转换。[0461]为了简化描述，仅多个全景图像文件PDr将记录到记录设备106。[0462]首先，当用户通过使用操作部分107的按键等指定再现和显示时，控制部分1〇3将成像装置50设置为再现和显示状态。此时，其从初始状态转换为单视图显示模式。这里，例如，如图7所示显示全景图像文件PDr的最近图像。在此单视图显示模式中，例如，可以通过使得用户按压操作部分1〇7的右箭头键和左箭头键切换全景图像文件PDr的其他^像。[0463]此外，在单视图显不中，当按压上箭头键时，执行到如图7B所示的列表显示的状态转换和图像的列表显示。m[O464]通过使用户使用此列表显亦屏#上的上、下、左和右箭头键并按压确定键而选择要成为目标的图像，状态转换再次到单视图显示，并且显示全景图像文件PDr的所选择的图像。[0465]在按压确定键的情况下，例如，在单视图显示中，执行放大显示。注意，这里，放大显示将是滚动显示或投影显示。_[0466]控制部分103参考全景图像文件PDr的显示图像的元数据，并且在全景图像文件PDr是全周全景图像的情况下，其转换至投影显示模式的状态，并执行投影显示。在此情况下，根据在组合时记录为元数据的投影面信息执行投影处理，并开始投影显示。[0467]在此投影显示模式下，用户可以通过使用上、下、左和右箭头键指定查看方向的改变或通过使用缩放杆来放大缩小。此外，在此情况下，通过使水平和垂直视角信息记录在用于查看方向和缩放值的元数据中，通过作为全景图像的水平视角或垂直视角执行限制，因此将不参考图像之外的那些。[0468]在固定时间没有按键操作的情况下，可以通过菜单设置执行自动查看改变。[0469]在此投影显示模式下，当用户按压取消键时，转换到单视图显示模式，并再次执行单视图显示。[0470]在单视图显示下按压确定键并且全景图像文件PDr的显示图像不是全周全景图像的情况下，转换到滚动显示模式，并执行滚动显示。[0471]在滚动显示模式下，当在全景的长侧方向自动开始滚动时，用户还可以通过使用上、下、左和右箭头键指定在任意方向滚动，或通过使用缩放杆放大或缩小。[0472]在滚动显示模式下，当用户按压取消键时转换到单视图显示状态，并再次执行单视图显亦。[0473]在具有如上所述的显示模式转换的本实施例的成像装置50中，如果其是全周全景图像，则执行投影显示，并且如果其不是全周全景图像，则执行正执行的如滚动显示的显示操作的自动切换。[0474]如果其是全周全景图像，则为用户自动提供高质量投影显示。另一方面，在其不是全周全景图像的情况下，当执行投影显示时可能出现图像失真等，并且不能确保高质量显示。因此，在滚动显示下执行全景图像的显示。即，根据全景图像选择适当显示模式。[0475]图26和图27中将描述用于执行这样的显示的配置和处理。[0476]图26示出用于显示图像数据rodsp的生成处理的控制部分103中包括的显示图像生成部分20执行的处理。[0477]注意，基于使用上述第一配置示例中所述的元数据的示例的示例将设置为显示图像生成部分20的处理。[0478]如所示，控制部分103中通过软件执行的显示图像生成部分2〇执行数据分离处理401、元数据解释处理402和图像生成处理403。[0479]作为数据分离处理4〇1，显示图像生成部分20对于从记录设备106读取的显示目标的全景图像文件TOr分离元数据MT和全景图像数据pD。[0480]所分离的元数据MT由元数据解释处理4〇2解释，并作为全景处理信息IP全景模式类型信息、36〇°视角确定信息、两端对准信息、组合投影面信息、水平和垂直视角信息提供到图像生成处理403。[^481]在图像生成处理4〇3中，根据显示模式信息M姓成显示图像数据pDdsp并输出到显示部分104。L0482」作为盼像生成处理403，执行显示系统选择处理4〇3a、单视图显示处理4〇3b、列表显示处理403c、滚动显示处理403d和投影显示处理403e。[O483]一g显^系统选择处理403£1中，执行基于与基于用户操作等的上述显示模式转换对应的显^模式信息Md选择执行哪种显示的处理。此外，当在单视图显示模式的状态移动到滚动显不模式或投影显亦模式时，通过参考元数据解释处理4〇2中解释的全景处理信息ip，选择滚动显示模式和投影显示模式。[0484]在单视图显示处理403b中，生成显示图像数据rodsp作为用于所提供的全景图像数据PD的单视图显示。[0485]在单视图显示处理4〇3b中，例如，从自记录设备1〇6读取的每个全景图像文件ror的缩略图像等生成列表图像，并执行将其设置为显示图像数据fDdsp的处理作为列表显示。[0486]在滚动显示处理403d中，生成显示图像数据pDdsp作为用于所提供的全景图像数据PD的滚动显示。[0487]在投影显示处理4〇3e中，对所提供的全景图像数据ro执行显示投影处理，并生成显示图像数据PDdsp作为投影显示。[0488]在这些处理的任何中生成的显示图像数据PDdsp提供到显示部分104并执行屏幕显不〇[0489]图27示出对应于图25的显示模式转换的控制部分103显示图像生成部分20的处理示例。[0490]当根据用户操作等进行再现和显示时，在步骤F201，显示图像生成部分20执行单视图显示模式的处理。例如，显示图像生成部分20从记录设备106读取最近的全景图像文件PDr，通过执行单视图显示处理403b生成显示图像数据PDdsp，并将其提供至显示部分104。[0491]在单视图显示模式期间，在步骤F2〇2、F2〇3和F2〇6显示图像生成部分20监控模式转换的触发或显示结束显示系统选择处理403a。[0492]如果显示图像生成部分2〇检测到结束触发，则再现和显示操作从步骤F202结束。[0493]当检测到列表显示模式的操作时，显示图像生成部分20从步骤F203进行到F204，并且执行列表显示处理403c。例如，通过从记录设备106读取每个全景图像文件PDr的缩略图像生成列表图像，并将其作为显示图像数据PDdsp提供到显示部分104。[0494]在步骤F205,显示图像生成部分20监控列表显示结束的触发（显示系统选择处理403a。在列表显示结束的情况下，通过返回步骤F201执行单视图显示处理403b。例如，对于列表中选择的全景图像生成显示图像数据PDdsp作为单视图显示，并将其提供到显示部分104〇[0495]当在单视图显示状态下指定放大显示滚动显示或投影显示）时，显示图像生成部分20从步骤F2〇6进行到F207,并且首先确认全景处理信息Ip。即，判断单视图显示中存在的图像是否是全周全景图像。在此情况下，显示图像生成部分20可以通过全景处理信息Ip中的全景模式类型信息、360°视角确定信息和两端对准信息的任何判断全景图像数据PD是否是全周全景图像。[0496]在其是全周全景图像的情况下，显示图像生成部分20从步骤F208进行到F211，通过执行投影显示处理403e生成显示图像数据rodsp，并将其提供到显示部分104。[0497]在步骤F212，显示图像生成部分20监控投影显示模式的结束，如果其结束，则返回步骤F201的单视图显示处理403b。[O498]在其不是全周全景图像的情况下，显示图像生成部分20从步骤F208进行到F209，通过执行滚动显示处理403d生成显示图像数据rodsp，并将其提供到显示部分104。[0499]在步骤F212,显示图像生成部分20监控投影显示模式的结束，并且如果结束，则返回步骤F201的单视图显示处理403b。[0500]通过上述处理在图25所示的模式转换中执行各种类型的显示。[°501]S卩，在成像装置50中，在要成为显示目标的全景图像数据PD被判断为全周全景图像的情况下，控制部分103显示图像生成部分20通过执行显示投影处理生成显示图像数据PDdsp，并使得执行投影显示。[0502]在判断其不是全周全景图像的情况下，在从组合时的投影面仅顺序剪切全景图像数据PD的滚动显示处理中生成显示图像数据PDdsp，而不执行显示投影处理，并且执行滚动显不。[0503]注意，作为此处理的修改示例，在判断其不是全周全景图像的情况下，可以执行单视图显示处理，作为不执行显示投影处理的显示处理。例如，其是即使在单视图显示处理中进行放大显示的规格也不对全周全景图像以外的执行放大显示的示例。[0504]此外，在作为此实施例的第五配置示例的成像装置50中，虽然已经设置其中与上述第一配置示例一致地安装图像处理装置1和2的示例，但是可以自然地假设与上述第二到第四配置示例一致地包括图像处理装置1和2的示例。[0505]〈8.第六配置示例对于计算机装置和程序的应用示例[0506]将描述对于计算机装置和程序的应用示例作为第六配置示例。如上描述为图像处理装置1和2的处理可以通过硬件执行或可通过软件执行。[0507]实施例的程序是例如使得诸如中央处理单元CPU或数字信号处理器DSP的计算处理装置执行上述实施例中所示的处理的程序。[0508]g卩，实现图像处理装置1的程序是在通过使用由在成像方向上位移的成像操作获得的多个帧图像数据生成的全景图像数据被判断为全周全景图像的情况下、使得计算处理装置执行处理的程序，所述处理将全景图像数据与示出其是全周全景图像的信息相关联。[0509]具体地，此程序可以是使得计算处理装置执行图1以、图14A、图WA、图18A或图24A所示的处理的程序。[0510]此外，实现图像处理装置2的程序是在要成为显示目标的全景图像数据被判断为全周全景图像的情况下、使得计算处理装置执行处理的程序，所述处理通过执行显示投影处理而生成显示图像数据。[0511]具体地，此程序可以是使得计算处理装置执行图1邪、图14B、图16B、图1邪或图27所示的处理的程序。[0512]通过这些程序，上述图像处理装置1和2可通过使用计算处理装置实现。[0513]诸如这些的程序可以预先记录到具有CHJ等的微计算机内的HDD、R0M中，作为嵌入诸如计算机装置的设备内的记录介质。[0514]替代地，它们可以临时或永久存储记录在可移除记录介质中，诸如软盘、紧凑盘只读存储器CD-ROM、磁光R0盘、数字多功能盘DVD、蓝光盘（蓝光注册商标盘）、磁盘、半导体存储器或存储卡。这样的可移除记录介质可以提供为所谓的封装软件。[0515]此外，除了从可移除记录介质安装到个人计算机等中外，可以经由诸如局域网LAN或因特网的网络从下载网站下载这样的程序。[0516]此外，如果诸如这些的程序，它们将适于大范围提供实施例的图像处理装置1和2。例如，通过下载程序到个人计算机、便携式信息处理装置、移动电话单元、游戏设备、视频设备、个人数字助理PDA等，此便携式信息处理装置等可以设置为图像处理装置1和2。例如，在如图28所示的计算机装置中，可以执行与实施例的图像处理装置1和2相同的处理。[0517]在图28中，计算机装置70的CPU71根据ROM72中存储的程序或从存储部分78加载到RAM73的程序执行各种类型的处理。此外，在CPU71执行各种类型的处理时，需要的数据等还任意存储在RAM73中。[0518]CPU71、R0M72和RAM73经由总线74互相连接。此外，输入输出接口75也连接到此总线74。[0519]通过键盘、鼠标等构成的输入部分76、通过由阴极射线管CRT、IXD、有机EL面板等构成的显示器、以及扬声器等所构成的输出部分77、由硬盘等构成的存储部分78以及由调制解调器等构成的通信部分79连接到输入输出接口75。通信部分79经由包括因特网的网络执行通信处理。[0520]此外，驱动器8〇在需要时连接到输入输出接口75,任意包括诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质81，并且从这些读取的计算机程序在需要时安装到存储部分78中。[0521]在通过软件执行上述图像处理装置1和2的处理的情况下，从网络或记录介质安装构成此软件的程序。[0522]例如，如图28所示，此记录介质由与装置主体分开的可移除介质81构成，其被分布用于传递程序到用户。例如，可移除盘81由记录程序的磁盘包括软盘）、光盘包括蓝光盘、CD-ROM或DVD、磁光盘包括迷你盘MD或半导体存储器构成。[0523]替代地，记录介质由记录程序的ROM72、存储部分78中包括的硬盘等构成，所述记录介质记录程序并且以预先嵌入装置主体中的状态传递给用户。[0524]当通过通信部分79的接收操作、通过驱动器80可移除介质81或记录部分78等的再现操作输入用于全景图像生成的n帧的帧图像数据FM#0到FM#n-1时，诸如此的计算机装置7〇基于CPUH的程序，实现图像处理装置1的功能，并执行如上所述的关联部分丨丨的处理。[0525]这样，从n个输入帧的帧图像数据FM#0到FM#n-1生成一个全景图像数据。[0526]此外，图像处理装置2的功能基于通过CPU71的程序、对于全景图像的显示而实现，并且执行作为上述显示图像生成部分20的处理。[0527]〈9•修改示例〉[0528]虽然到目前为止已经描述了实施例，但是对于本公开的图像处理装置可以考虑各种类型的修改示例。[0529]可以以组合方式采用第一配置示例到第四配置示例。[0530]例如，可以考虑通过将第一配置示例和第二配置示例组合将专用程序与元数据添加作为关联处理，通过将第一配置示例和第四配置示例等组合，执行生成具有元数据的专用格式的处理作为关联处理。[0531]虽然将包括关联部分11和显示图像生成部分20的功能的示例设置为苐五配置不例的成像装置50,但是还可以考虑例如仅包括关联部分11和显示图像生成部分2〇之一的功能的示例。[0532]虽然不存在用于全景图像数据PD的投影显示的目标其不是实施例中的全^全景图像），但可以通过特定操作执行投影显示。然而，在此情况下，因为不能建立精确三维模型，所以可能有诸如在投影显示图像中出现失真的负面影响，因此有允许其作为特殊模式的构思。[0533]除了内置入上述成像装置50或计算机装置70外，本公开的图像处理装置还用于置入具有成像功能的移动电话单元、游戏机或视频机器，或没有成像功能但有输入帧图像数据的功能的移动电话单元、游戏机、视频设备或信息处理装置。[0534]此外，本技术可以如下配置。[0535]1、一种图像处理装置，包括：[0536]显示图像生成部分，配置为在要成为显示目标的全景图像数据被判断为全周全景图像的情况下，通过执行显示投影处理来生成显示图像数据。[0537]2、如⑴所述的图像处理装置，[0538]其中，在全景图像数据具有360°视角的情况下，所述显示图像生成部分判断全景图像数据是全周全景图像。[0539]3、如⑴或⑵所述的图像处理装置，[0540]其中，在全景图像数据具有360°视角并且执行图像两端的对准处理的情况下，所述显示图像生成部分判断全景图像数据是全周全景图像。[0541]⑷、如1所述的图像处理装置，[0542]其中，在通过360°全景成像模式操作获得全景图像数据的情况下，所述显示图像生成部分判断全景图像数据是全周全景图像，在所述360°全景成像模式操作中，通过使用在成像方向上位移近似360°的同时的成像操作而获得的多个帧图像数据来生成全景图像数据。[0543]⑸、如⑴到⑷的任一所述的图像处理装置，[0544]其中，在要成为显示目标的全景图像数据被判断为不是全周全景图像的情况下，所述显示图像生成部分在不执行显示投影处理的另一处理中生成显示图像数据。[0545]⑹、如⑸所述的图像处理装置，[0546]其中，所述另一处理是通过在组合时从投影面顺序剪切全景图像数据而生成用于滚动显示的显示图像数据的处理。[0547]7、如⑸或⑹所述的图像处理装置，[0548]其中，所述另一处理是生成包括所有全景图像数据的显示图像数据的处理。[0549]⑻、如⑴到⑺的任一所述的图像处理装置，[0550]其中，所述显示图像生成部分基于与全景图像数据关联的元数据，判断全景图像数据是否是全周全景图像。[0551]⑼、如⑴到⑺的任一所述的图像处理装置，[0552]其中，所述显示图像生成部分通过使显示处理程序与全景图像数据相关联，判断全景图像数据是全周全景图像，并且基于所述显示处理程序通过执行显示投影处理生成显示图像数据。[0553]1〇、如⑴到⑺的任一所述的图像处理装置，[0554]其中，所述显示图像生成部分通过使全景图像数据设置为特定格式的数据，判断全景图像数据是全周全景图像，并且通过执行显示投影处理生成显示图像数据。[0555]11、如⑴到（1〇的任一所述的图像处理装置，[0556]其中，所述显示图像生成部分在用于显示目标的全景图像数据的全景图像生成时获取示出图像数据的投影面的类型的信息，并且根据投影面的类型执行显示投影处理。[0557]12、如⑴到（11的任一所述的图像处理装置，[0558]其中，所述显示投影处理是将在全景图像生成时投影到投影面的全景图像数据投影到平面上的处理。[0559]13、如⑴到（12的任一所述的图像处理装置，[0560]其中，所述显示图像生成部分顺序输出已经在显示投影处理中顺序剪切全景图像数据的一部分的显示图像数据。

权利要求：1.一种图像处理设备，包括：电路，被配置为：基于捕获模式生成包括全周全景图像和非全周全景图像中至少一个的全景图像；生成与所生成的全景图像有关的元数据；基于所生成的全景图像和元数据生成全景图像文件；以及基于元数据控制全景图像文件的显示处理。2.根据权利要求1所述的图像处理装置，其中，所述元数据包括基于所述捕获模式的全景模式类型信息。3.根据权利要求2所述的图像处理装置，其中，所述全景模式类型信息指示全景图像的类型是全周全景图像还是非全周全景图像。4.根据权利要求1所述的图像处理装置，所述电路还被配置为：通过对所生成的全景图像执行显示投影处理，控制以显示投影处理后的图像;或者通过对所生成的全景图像执行除了显示投影处理以外的处理，控制以显示处理后的图像。5.根据权利要求4所述的图像处理装置，其中，所述显示投影处理以外的处理是滚动处理。6.根据权利要求1所述的图像处理装置，所述电路还被配置为：控制以根据关于其中在一个图像中显示所生成的全景图像的全部的所生成的全景图像的单视图的用户输入来显示所述全景图像文件的显示处理。7.根据权利要求6所述的图像处理设备，其中，根据用户其他输入将所述单视图切换到显示全景图像文件的缩略图像的列表视图。8.—种图像处理方法，包括：基于捕获模式生成包括全周全景图像和非全周全景图像中至少一个的全景图像；生成与所生成的全景图像有关的元数据；基于所生成的全景图像和元数据生成全景图像文件；以及基于元数据控制全景图像文件的显示处理。9.一种存储程序的可移除记录介质，当所述程序被计算处理装置执行时实现以下|骤：基于捕获模式生成包括全周全景图像和非全周全景图像中至少一个的全景图像；生成与所生成的全景图像有关的元数据；基于所生成的全景图像和元数据生成全景图像文件；以及基于元数据控制全景图像文件的显示处理。

百度查询： 索尼公司 图像处理装置、图像处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD