申请/专利权人：弗劳恩霍夫应用研究促进协会

申请日：2017-05-31

公开（公告）日：2019-04-02

公开（公告）号：CN109564691A

主分类号：G06T7/55(2017.01)I

分类号：G06T7/55(2017.01)I

优先权：["2016.06.01 EP 16172527.0"]

专利状态码：有效-授权

法律状态：2023.09.01#授权;2019.04.26#实质审查的生效;2019.04.02#公开

摘要：根据实施例，用于基于至少两个不同视场的照片执行3D估计的装置包括假说提供器、相似度量度计算器、和3D信息确定器。假说提供器用于基于将3D信息估计与第一视场的照片的每个位置相关联的预估计，局部确定至少两个不同视场中的第一视场的当前照片的位置的3D信息假说。相似度量度计算器用于对第一视场的当前照片的每个位置，通过测量相应位置处的第一视场的当前照片的区域和位于相对于相应位置移位相应3D信息假说的位置处的至少两个不同视场中的第二视场的对应区域之间的相似度，计算相应位置的3D信息假说中的每个的相似度量度。3D信息确定器用于对第一视场的每个位置，选择最高相似度量度的3D信息假说。

主权项：1.一种用于基于至少两个不同视场12、12'的照片26执行3D估计的装置2，所述装置2包括：假说提供器4，用于对第一视场12的当前照片26的位置24、24a、24b中的每个位置，基于所述第一视场12的当前照片26的预估计的深度视差图28、28'确定3D信息假说10、10'；相似度量度计算器6，用于对所述第一视场12的当前照片26的每个位置24，计算相应位置处的所述第一视场12的当前照片的区域36、36'和位于相对于所述相应位置移位相应3D信息假说的位置24'处的所述至少两个不同视场中的第二视场12'的对应区域24'之间的，相应位置的3D信息假说10、10'的每个的相似度18、18'；以及3D信息确定器8，用于对所述第一视场12的每个位置，选择最高相似度18、18'的3D信息假说18，以获得更新的深度视差图。

全文数据：用于基于局部确定的3D信息假说执行3D估计的装置和方法技术领域本申请涉及用于使用局部确定的3D信息假说、基于至少两个不同视场的照片来执行3D估计的装置和方法。实施例涉及通过由局部统计驱动的信息传播的优化。背景技术下面，关注被用于视频通信场景或已知在实时生产环境中稳健且可靠地工作或具有与呈现的工作的概念关系的算法。对于每个算法，提出其特性、功能和应用领域的简要评论。直到今天，许多算法合并在立体处理的早期已经开发的方法的基本功能。特别地，用于局部立体假说的评估的不同图像块[1]或空间平面[2]的比较仍是实时领域中许多方法的部分。在可以与此类别相关的大量的报告的算法中，存在已经被应用于眼睛接触保护视频通信的领域的一些算法。在此，根据眼睛接触位置，计算的3D信息被用于新视场的合成。在最近的方法[3][4][5]中，作者使用已经被详细报告的新类型的平面扫描技术[6][7]。相似地，可以包括多个视场的另一平面扫描变体[8]已经被应用在医学远程呈现场景中[9]。在校正的立体配置情况下，已经在许多方法中追求水平视差的估计。基于基本块匹配思想，提出用于最佳视差值的定义和计算的不同方法。对于此任务，已经报告了动态编程的应用，以实现在计算复杂度和更大图像区域的合并之间的平衡，而非单纯的局部匹配，例如建立在Cox等的早期工作[13]上的[10]、[11]和[12]。其他作者提出在硬件方案中实施的分层块匹配的应用[14]或甚至关于基于自适应窗的匹配方法[15]的结果后处理方面的视差图的全局优化。虽然列出的视差估计算法是多样的，这些的全部被设计为评估固定的视差范围。关于此特征，[16][17][18]的作者提出不受限于视差值的预定义集的混合递归匹配HRM算法[19][20][21]。取而代之地，经由图像的曲折式遍历来传播信息。由基于光流原理计算的视差更新生成新的视差。然而，曲折式图像遍历无法并行。基于HRM的初始工作，已经存在朝向多核平台上的并行化的一些努力。虽然结果的逐行混合递归匹配L-HRM算法[22][23]被用于娱乐、广播和后处理的领域中，例如立体到多视场转换[24]，其中L-HRM导致逐行视差信息传播。在其他实时应用领域中，例如自动驾驶、机器人和航空摄影中，半全局匹配SGM方法[25]已经被广泛地研究并实施了约十年。基于SGM的初始工作，已经存在关于导致一致半全局匹配CSGM算法的无纹理区域处理[26][27]方面的改进。其他作者提出关注司机辅助系统的迭代半全局匹配iSGM算法[28]。在此，经由通过迭代成本路径评估的视差搜索空间的减小来实现算法优化。同时，已经提供[29]并进一步改进[30]在图形硬件上的并行实施，以使SGM用于实时领域应用。由于图像硬件在具有嵌入式架构的应用领域中并非总是可用的，已经存在用于在FPGA上实施SGM的附加开发[31][32][33][34]。另一算法是补片匹配立体PatchMatchStereo[35]。基于用于基于补片的图像编辑算法[36]，基本思想已经扩展到立体处理。初始补片参数是随机绘制的。用于HRM的空间信息传播的曲折式的图像遍历也是补片匹配立体的迭代步骤的部分。此外，HRM和补片匹配立体还共享在前已经讨论的时间前驱传播的相同原理。最后，补片匹配立体引入随机化平面细化步骤。补片匹配立体将固定的随机化用于平面细化并将不断减小规则用于变量的细化范围。已经提出用于补片匹配立体的各种增强[37][38][39][40]。在[37]中，已经提出在每次补片匹配迭代之后应用的Huber正则变分平滑。在此，经由Huber-ROF模型的原始对偶公式，对制定的能量项的松弛版本执行优化。虽然，立体结果相比于初始补片匹配算法可被显著改进，但运行时间已经提升到分钟范围。[38]的作者将边缘感知滤波器包括在随机化搜索中并将超像素表示用于匹配过程。对于Middlebury测试数据集[41]，改进的算法的运行时间被报告为在秒的范围内。已经在[39]中提出关注经由置信度传播的全局数据项的优化的扩展。在讨论的补片匹配扩展中，对0.3兆像素，超过1000秒处理时间，是计算上非常昂贵的变体[40]。在[40]中已经提出基于Potts模型的另一变分方法。除立体处理之外，此特定扩展使能联合对象分割和3D分析，同时提供中等像素尺寸上几百秒的运行时间。在汽车领域，已经开发用于处理道路表面的专用算法[42][43]。在此，使用关于固定类型的立体场景的先验知识，以指导算法，同时执行3D分析。作者提出改进匹配处理的输入图像的预处理[42]或生成可以用作视差选择的提示的平均道路表面的均值视差图[43]。然而，由于当前像素的3D信息的计算与为相同迭代的先前像素确定的3D信息有关，或者他们执行在计算效率方面可改进的用于计算3D信息的其他可替代的方法，描述的方法全部不能完全并行地执行。由于先前像素的3D信息应当在确定当前像素的信息之前已知，并行化仅可能达到一定程度。因此，需要改进的方法。发明内容本发明的目的在于提供用于处理两个不同视场的照片以确定照片的3D信息的改进概念。根据实施例，用于基于至少两个不同视场的照片执行3D估计的装置包括假说提供器，相似度量度计算器和3D信息确定器。假说提供器被配置用于基于将3D信息估计与第一视场的照片的每个位置相关联的预估计，局部确定至少两个不同视场中的第一视场的当前照片的位置的3D信息假说。相似度量度计算器被配置用于，对第一视场的当前照片的每个位置，通过测量相应位置处第一视场的当前照片的区域和位于相对于相应位置移位相应3D信息假说的位置处的至少两个不同视场中的第二视场的对应区域之间的相似度，计算相应位置的3D信息假说的每个的相似度量度。3D信息确定器被配置为对第一视场的每个位置，选择最高相似度量度的3D信息假说。本申请基于这样的发现：对一个像素仅使用例如视频帧的序列中的先前照片、或者当前照片的先前迭代的3D信息估计例如深度视差图，局部执行3D照片信息的估计是可行的，其中，每个迭代改进在先前迭代中确定的3D信息的质量。由于在当前迭代中，从少量例如≤6可能的3D信息估计的假说中选择一个像素的3D信息估计，相比于测试假说的大的集合的方法，计算效率进一步改进。因此，可能在图形处理单元GPU中并行化3D信息确定，其中，例如10000个核可以执行并行计算，以便10000个像素的深度视差信息可以被并行或同时计算。此外，可以避免基于相邻像素使用从先前照片至当前照片的当前位置的数值或确定性更新。相反，基于随机确定的假说建立假说列表。根据实施例，可以通过随机更新可在对当前照片的先前迭代中或对先前帧或图像的先前迭代中确定的当前位置的3D信息估计，执行当前位置的假说更新，以确定当前照片的当前位置的更新的3D信息假说。可以通过基于更新值的统计分布计算随机值，来确定随机化更新值。可以基于更新值的预定分布，估计更新值的统计分布，意味着从一帧到另一帧的深度和或视差值的更新值的概率密度函数通常形成正态分布。因此，可以从与当前照片无关的视频帧的不同序列中一次确定具有用于估计的值和方差的适合值的正态分布。这可以特别地适用于前几帧，例如，视频的第一序列中的帧，其中，没有视频的至少不够充足的深度视差更新值是可用的。然而，更准确的可以是基于当前视频的知识的更新值的确定。因此，更新值的统计分布可以基于先前确定的更新值。因此，在照片的先前序列中或从照片的多个先前序列确定的更新值的样本例如一帧至另一帧的深度视差更新值可以用于形成离散的概率密度函数。基于此概率密度函数，可以确定用于更新当前位置的深度视差值的随机更新值。换句话说，概率密度函数可以从照片的每个位置的更新值确定并因此在一个照片或帧或甚至照片或帧的序列的3D估计期间是恒定的。然而，可以在执行照片或照片的序列的处理之后，替换或更新概率密度函数。可以使用加权的更新来执行更新概率密度函数，以便通过使用对于从先前迭代到当前迭代的增加的距离而降低的权重甚至降低至零加权更新值，来降低先前迭代的贡献。这些描述的统计，例如更新值的预定分布例如正态分布或基于照片的当前序列或当前视频的先前确定的更新值确定的概率密度函数，可以被称为假说更新的适合统计。根据附加或可替换的实施例，假说的列表包括先前迭代或先前帧的相邻像素的至少一个随机选择的假说。这可以进一步减小装置执行的算法的计算复杂度，而不影响收敛速度，并因此不减小3D信息估计的性能。实施例示出，装置可以使用对应性分析算法执行迭代补片扫描IPS算法。根据其他实施例，装置被配置为执行IPS算法的并行、迭代式且逐像素邻域neighborhood传播。附加地，IPS可以应用时间前驱传播和其中执行异常值和或阻塞检测的左右一致性检查的原理。根据实施例，假说提供器被配置为使用预估计的相应当前位置的一个或多个相邻位置，确定第一视场的当前照片的当前位置的3D信息假说中的至少一个3D信息假说。为确定适合的邻居，可以定义确定性空间邻域。基于此静态邻域，可以通过选择可用邻居的多个3D信息估计或确定可用邻居的可用3D信息估计的量度，例如相对邻居的3D信息估计的均值，来确定假说。此外，可以考虑基于可用邻居的3D信息假说的任何其他计算。附加地或可替代地，可以使用随机化空间邻域。相比于确定性空间邻域，随机化空间邻域改进收敛特性并减小被称为镜面噪声的伪像。此外，使用随机化空间邻域不增加，而可能甚至减小待对照片执行的迭代次数，以取得预测或估计的3D信息的相同准确性。随机化空间邻域基于当前像素的邻居的统计分布。此分布可以基于例如指示3D信息估计是提供好的还是坏的3D信息的估计的相似度量度。因此，基于其与实际确定的结果的相似度的邻居的分布增大此3D信息估计仅在一些迭代中被传播至其他相邻像素的概率。由于照片的纹理通常包括均匀部分，这是有利的，其中如果当前像素和当前像素的直接邻域位于均匀区域内，当前像素的直接邻域中的好的3D估计也是当前像素的好的3D估计。根据其他实施例，装置被配置为基于相似度量度执行先前照片的相同像素或相同照片的先前迭代的假说更新。相似度量度可以反映当前3D信息估计中的误差或残差，可以通过将3D信息估计应用至第一视场的像素或像素周围的区域并因此扫描当前像素或像素周围的区域、并比较结果与对应第二视场的照片，来确定相似度量度。基于相似度量度，可以确定另一偏移和或透视失真。因此，3D信息估计可以由对应于确定的偏移或透视失真的值来更新。由于对相似度的这样的补片的测试不应当基于当前迭代的邻居的3D信息以允许像素的并行处理，使用的3D信息估计可以从先前迭代或先前照片的相邻像素获得。附图说明有利的实施方式是所附从属权利要求的主题。其中，下面关于附图描述本申请的优选实施例，其中，图1a示出用于执行3D估计的装置的示意性框图；图1b示出用于使用一致性测试执行3D估计的装置的示例性框图；图2a、2b示出装置中执行的算法的示意性块表示；图2c示出用于建立当前照片的当前位置的假说的列表的示意性假说传播方案；图3示出在立体左和三焦距右照相机配置的情况下的一致性检查的示意性流程图；图4示出在图3的最上方框中执行的指示用于在立体或三焦距照相机配置的情况下的假说的选择、更新和评估的算法结构操作的示意性的、更加详细的流程图；图5示出示意性指示评估的假说表示的概述的表；图6示出用于不同假说参数化的数值优化的更新值的分布的示意性条形图；图7示出指示图11中列出的全部算法配置的第三迭代的中间结果的比较的深度视差图的示意性表示，其中在底部示出多尺度扫描的结果，且其中左侧的图像是基于N4计算的，且右侧基于N4R；图8示意性示出不同的邻域，其中从左至右示出确定性4邻域、确定性8邻域、具有底层新奇分布的随机化邻域、以及具有底层均匀分布的随机化邻域，其中在每个栅格的中心中的标记的像素指示邻域中心并因此指示对其确定3D信息假说的当前像素；图9示出作为立体输入和迭代1、3、6和10之后的中间结果的示例的Oliver1数据集的两个视场的示意性表示，其中在左侧示出立体视场的堆叠的输入图像，并其中在上行示出使用确定性4邻域的迭代，并在下行示出使用随机化邻域并具有随机样本数量rs＝4的迭代；图10示出指示关于假说更新接受的Oliver1数据集的统计的示意性线性图，在图10上部示出种子生成，并在图10的下部示出传播路径长度，其中，使用确定性4邻域进行处理；图11示出指示对四个不同算法配置的收敛特性的比较的示意性线图；以及图12示出基于至少两个不同视场的照片执行3D估计的方法的示意性流程图。具体实施方式下面，将进一步详细地描述本发明的实施例。在相应附图中示出的具有相同或相似的功能的元件将具有与其相关的相同的附图标记。与关于先验约束补片扫描的先前工作[44]相反，提出的算法的主要思想在于在扫描过程的期间生成先验信息，而非外部先验注射。在此，目标在于由集成方法取代混合递归匹配HRM先验，以消除CPU和GPU之间的工作负载分配的缺点。从非常实用的方面，关于用于视频通信的HRM先验，由于CPU和GPU之间的工作负载分配，此过程的缺点是由首先在CPU上处理多视场输入、将结果存储至主存储器且然后将所有数据上传至GPU引起的固有延迟开销。在HRM先验的情况下，关于输入图像的校正、视差至深度值的转换和结果深度图像的去校正方面，存在附加的计算开销。下面，通过可以被并行迭代地评估的空间和时间相互依赖性的集成来扩展GPU上的扫描过程。虽然提出的方法由HRM的空间和时间邻域处理启发，算法结构显著地不同。与由设计使并行化不切合实际的曲折式图像遍历和HRM的递归结构相反，将迭代空间和帧时间邻域嵌入在可以在图形硬件上并行地有效地处理的一系列迭代方案中。与HRM先验和穷举扫描的组合相反，益处是：·以GPU为中心的算法完全地从CPU移除计算负荷。·避免图像校正、视差至深度转换和深度图去校正的计算开销。·空间和时间邻域的包括导致相比于穷举扫描的更低的计算复杂度。·单片算法不仅消除由在主存储器和图形存储器之间传递结果导致的延迟开销，还允许中间结果的有效重复使用，而无需CPU和GPU之间的附加数据交换。图1示出用于基于至少两个不同视场的照片执行3D估计的装置2的示意性框图。装置2包括假说提供器4、相似度量度计算器6和3D信息确定器8。假说提供器被配置为基于预估计14，局部确定至少两个不同视场中的第一视场12的当前照片的位置的3D信息假说10，预估计14将3D信息估计与第一视场12的当前照片的每个位置相关联。根据实施例，当前照片的位置可以是当前照片的像素、当前照片的像素的组或照片的任意其他部分细分。因此，假说提供器局部地确定3D信息假说。局部可能指的是不使用来自当前照片在当前迭代中的周围或相邻像素的信息，单独地对当前位置或像素确定3D信息假说。换句话说，为确定3D信息假说，仅使用来自先前照片的信息或来自先前迭代的相同照片的信息。再换句话说，假说提供器4被配置为对第一视场12的当前照片26的不同位置独立地执行3D信息假说10的确定，即基于预估计的深度视差图28即并置到相应位置的部分并独立于对第一视场12的当前照片26的位置的任意周围位置选择的最高相似度的3D信息假说18，对第一视场12的当前照片26的位置中的每个位置进行3D信息假说10的确定。相似度量度计算器6被配置为对第一视场12的当前照片的每个位置，通过测量位于相应位置处的第一视场12的当前照片的区域和位于相对于相应位置移位相应3D信息假说的位置处的至少两个不同视场中的第二视场的对应区域之间的相似度，来计算相应位置的3D信息假说10中的每个的相似度或相似度量度16。换句话说，可能的3D信息估计的集合、3D信息假说应用在位于相应位置处的第一视场的当前照片的区域。区域可以是当前像素即一个像素或当前位置或高于当前位置的像素的数量的多个像素的补片。通过将3D假说应用至区域，区域被变换至第二视场的当前照片的相应位置。然而，由于变换的区域不能完全匹配或拟合第二视场的照片的位置，可能发生区域之间的残差或差异。残差是变换的区域和第二视场的实际区域之间的差异，例如，第一视场的图片被变换的区域。差异或残差可以以变换的区域的中心距第二视场的照片的对应区域的确定的理想的或最佳的中心的绝对的或相对的偏移测量。另一残差可以是变换的区域关于照片或第二视场中的对应区域的最佳确定朝向的朝向。此变换和残差计算可以对每个3D信息假说执行。此外，3D信息确定器被配置为，对第一视场的每个位置选择最高相似度量度的3D信息假说18，例如不同的可能变换之中的最佳拟合变换的补片，使用3D信息假说中的一个3D信息假说计算一个变换。因此，选择的信息假说18变成当前像素或位置的3D信息假说。根据实施例，假说提供器被配置为使用预估计的相应当前位置的一个或多个相邻位置，确定第一视场的当前照片的当前位置的3D信息假说中的至少一个3D信息假说。在实施例中，预估计14是在对先前照片的每个位置具有3D信息估计的照片的序列中的当前照片的先前照片。因此，3D信息假说10可以由假说提供器使用当前位置的相邻像素或位置的3D信息估计来确定。关于图8示出其中相邻像素或位置可以是其的部分的不同邻域。根据其他实施例，装置2可以执行用于基于当前照片执行3D信息估计的其他迭代，其中其他迭代的第一视场的当前照片的当前照片的每个位置的3D信息估计是先前迭代的当前照片的位置的选择的3D信息假说18。换句话说，对每个像素，与最高相似度量度的3D信息假说相关的第一视场12的照片是其他后续的迭代的预估计14。其他迭代可以指的是第一视场的照片的其他处理，以改进当前照片的位置中的至少部分的所得到的3D信息假说。对于其他迭代，假说提供器可以被配置为基于伴随有先前迭代或先前照片的最高相似度量度的3D信息假说值的第一视场的照片，局部确定其他迭代中至少两个不同视场中的第一视场的当前照片的位置的3D信息假说。再换句话说，装置2在其他迭代中，使用已经在先前迭代中更新的经更新的深度视差图的信息，此信息现在是预估计的深度视差图。换句话说，根据实施例，假说提供器可以使用从其他迭代之前的迭代中选择当前照片的当前位置的3D信息估计14并从其他迭代之前的迭代中随机选择与当前照片的当前位置相邻的一个或多个位置的一个或多个3D信息估计，确定其他迭代的当前照片的当前位置的3D信息假说。在此情况下，其他迭代可以被称为当前迭代，原因是迭代正在从先前照片引导至当前照片，其中通常其他迭代可能正在从当前照片引导至下一照片。此外，假说提供器可以使用随机更新值，更新来自其他迭代之前的迭代的当前照片的当前位置的选择的3D信息估计。根据实施例，假说提供器4被配置为从当前位置的相邻位置的集合中随机选择3D信息估计，其中相邻位置的集合基于3D信息估计的统计量度确定。此外，假说提供器4可以被配置为使用统计量度随机选择第一视场的当前照片的位置中的当前位置的3D信息假说10、10’，并使用不同于统计量度的其他统计量度确定不同于当前位置的第一视场的当前照片的位置中的其他位置的3D信息假说。例如，统计量度可以是作为统计量度或其他统计量度的具有底层正态分布或底层均匀分布的随机化空间邻域。换句话说，装置使用与当前位置相邻的位置处的更新的深度视差图的值，用于确定3D信息假说。根据其他实施例，除了确定性假说更新以外或作为确定性假说更新的替换，可以执行当前位置的3D信息估计的统计更新。因此，假说提供器被配置为使用由关于适合统计的随机更新值更新预估计28、28’的第一视场的照片的当前位置的3D信息估计，确定第一视场的当前照片的当前位置的3D信息假说中的至少一个3D信息假说10，其中假说提供器可以被配置为基于更新值的统计分布确定随机更新值。假说提供器还可以基于与位置相关的先前确定的更新值，确定更新值的统计分布。换句话说，更新值的统计分布其可以被称为适合统计可以是例如基于一个或多个先前照片的每个位置的更新或基于通常普通估计例如正态分布的深度视差值的先前更新的概率密度函数。因此，随机变量38参考图2c可以是基于概率密度函数随机确定的一个更新值。使用确定性更新，从一个迭代至另一迭代，当3D信息假说被应用至位置或区域时，3D信息假说可以基于例如补片中心和或补片的朝向的偏离而被更新，以便区域被变换至第二视场的照片的域。然而，变换的区域至实际对应的区域的不相似度可以用于计算残差信息。关于图5描述用于确定残差信息的实际公式。图1b示出根据其他实施例的装置2。关于图1a，图1b示出与图1a的已知信号路径是镜面相反的其他信号路径。增加的信号路径表示可以与第一视场12的照片的处理类似地执行的第二视场12'的照片的处理。更准确的说，假说提供器4还被配置为基于预估计14或其他预估计14'，局部确定至少两个不同视场中的第二视场12'的当前照片的位置的其他3D信息假说10'，预估计14或其他预估计14'将3D信息估计与第二视场12'的当前照片的每个位置相关联。特别地，如果当前迭代是当前照片的第一迭代，预估计可以是从第一视场的先前照片和第二视场的先前照片得到的结果的或确定的3D图像。先前照片可以包括表示或作为每个位置的最高相似度量度的所得到的3D信息假说的一般视差深度图。因此，此先前照片可以是一般预估计，例如用于第一视场和第二视场两者的当前照片的第一迭代。然而，在已经对当前照片执行迭代的情况下，第一视场12的照片和第二视场12'的照片可以包括不同于相应其他视场的3D信息假说的3D信息假说，原因是3D信息假说已经被更新或革新renew。因此，预估计14可以基于从先前迭代确定的最高相似度量度的确定的3D信息假说得到3D信息假说。类似地，预估计14'可以是具有与在先前迭代中确定的最高相似度量度的3D信息假说相似或相等的3D信息估计的结果照片。相似度量度计算器6还可以被配置为，对第二视场12'的当前照片的每个位置，通过测量位于相应位置处的第二视场12'的当前照片的区域和位于相对于相应位置移位相应其他3D信息假说16'的位置处的至少两个不同视场中的第一视场12的对应区域之间的相似度，计算相应位置的其他3D信息假说10'中的每个的相似度量度16'或相似度。换句话说，通过将3D信息假说10'应用至第二视场12'的照片的区域或补片，并确定第二视场的补片的变换的区域和第一视场的照片的对应区域之间的差异，测试确定的其他假说10'。此外，3D信息确定器8可以被配置为，对第一视场的每个位置，选择最高相似度或最高相似度量度18'的其他3D信息假说。因此，关于图1b，存在分别从第一视场12的照片和第二视场12'的照片得到的最高相似度量度18、18'的两个3D信息假说。在执行3D信息分析之前，然而，由于异常值，例如未在第二视场中显示的第一视场的区域反之亦然，仅具有最高相似度量度18或18'的一个3D信息假说可能是足够的。异常值可以由于相应照相机的角度偏移导致。此外，例如由于第一视场的相应照片和第二视场的照片的不同视角，背景中的对象仅在第一视场或第二视场中被前景中的对象隐藏。因此，由于对这些区域，无立体视场可获得，不能对于这些异常值和或阻塞区域得到3D信息假说。因此，为也对于异常值和或阻塞区域获得可靠的3D信息，有利的是独立地对于第一视场12的照片和第二视场12'的照片计算最高相似度量度的3D信息假说。因此，一致性测试器20可以被配置为相互测试第一视场12的照片的选择的3D信息假说18和第二视场12'的照片的选择的其他3D信息假说18'是否满足一致性准则，因此指示正的测试结果。使用此一致性检查，可以确定异常值和或阻塞区域的可靠信息，以便可以至少基于至少两个视场中的一个的照片为那些区域确定可靠的3D信息估计。换句话说，可以比较最高相似度量度18的结果3D信息假说和最高相似度量度18'的其他3D信息假说例如分别关于第一视场的照片和第二视场的照片得到的深度视差图，以确定不一致区域或其中存在关于确定的3D信息假说的较高不确定性的区域。基于此结果，可以得到一致性图。基于此一致性图，可以确定其中假说最有可能被丢弃或拒绝并可能因此导致错误的种子的相邻像素或位置。种子被认为是粗略的估计或可以从当前位置的相邻位置确定的起点。例如，可以基于第一视场和第二视场的照片之间的差异，在多个迭代中更新种子。例如，如果已知这样的种子或假说是错的，如在一致性图中所指示的，此假说的选取或选择被惩罚或甚至完全被丢弃。根据实施例，迭代过程导致最终更新的深度视差图，即3D信息的“好的”或收敛的表示的深度视差图。作为迭代的结果的深度视差图的此版本，然后可以被用于首个预估计的深度视差图，以开始在下面的迭代中的迭代过程。根据实施例，一致性测试器被配置为对每个位置具有选择的3D信息假说的第一视场的照片和其中每个位置具有选择的其他3D信息假说的第二视场的照片的相应区域的朝向执行相互测试例如，立体一致性检查。附加地或可替换地，一致性测试器可以被配置为，对每个位置具有选择的3D信息假说的第一视场的照片且其中每个位置具有选择的其他3D信息假说的第二视场的照片的相应区域的中心位置执行立体一致性检查。一致性测试器还可以被配置为，对照片26的每个位置获得包括一致性量度的一致性掩盖mask，其中高的一致性量度指示位于第一视场的照片和第二视场的照片的相应位置处的第一视场12的照片的选择的3D信息假说和第二视场12'的照片的选择的3D信息假说的偏差低于预定义阈值，且其中低的一致性量度指示偏差等于或高于预定义阈值。换句话说，假说提供器可以被配置为基于一致性掩盖，确定3D信息假说，其中假说提供器使用具有较高一致性量度的位置处的3D信息估计来确定3D信息假说，且其中假说提供器基于低的一致性量度来丢失或惩罚3D信息。根据其他实施例，预估计或其他预估计是来自具有基于来自当前照片的先前迭代的每个照片的选择的3D信息假说确定的当前照片的每个位置的3D信息假说的先前迭代的当前照片的表示。在实施例中，预估计或其他预估计指的是，具有先前照片的每个位置的3D信息估计的照片的序列中的当前照片的先前照片。其他实施例示出被配置为使用第一统计量度确定当前照片的位置中的第一位置的假说并使用不同于第一统计量度的第二统计量度确定当前照片的位置中的第二位置的假说的假说提供器。因此，假说提供器可以被配置为随机选择邻居，确定例如两个不同相邻像素的均值或中间平均。根据其他实施例，假说提供器被配置为使用基于预估计的3D信息估计的统计分布的随机化邻域，确定假说中的至少一个假说。这样的随机化邻域例如，具有底层均匀分布的随机化邻域或具有底层正态分布的随机化邻域可以反映，例如照片的纹理，而不用执行分离或单独的3D照片分析方法。因此，仅基于例如使用对于每个位置的最后确定的相似度量度加权的相似3D信息假说的分布，可以导致其中可以发现对从相邻位置至当前位置的信息传播的好的估计的边信息。假说提供器还可以被配置为在一个迭代中确定最多10个、最多5个或最多3个不同的信息假说。换句话说，在一个迭代中，不同的3D信息假说中的每个可以被应用至第一视场的当前照片，以将第一视场的当前照片的区域变换至第二视场的照片，并确定变换的补片和第二视场的照片之间的差异或误差。当提到当前照片的位置时，通常指的是当前照片的像素。然而，当前照片的位置可以是像素的集合，例如方形的四个像素或方形的九个像素的组合。对于三聚焦布置，关于图1a和图1b描述的相同处理可以应用至关于第一视场或第二视场中的一个的第三视场。具体地，假说提供器4可以被配置为基于将第三3D信息估计与第一视场的照片的每个位置相关联的第三预估计，局部确定至少两个不同视场中的第三视场的当前照片的位置的第三3D信息假说。照片可以是先前迭代的第一视场的当前照片，先前得到的3D照片或第一视场的先前照片。相似度量度计算器6可以用于对第三视场的当前照片的每个位置，通过测量位于相应位置处的第三视场的当前照片的区域和位于相对于相应位置移位相应3D信息假说的位置处的至少两个不同视场中的第二视场的对应区域之间的相似度，计算相应位置的第三3D信息假说的每个的相似度量度。3D信息确定器可以对第三视场的每个位置，选择最高相似度量度的第三3D信息假说中的3D信息假说。图2a示出用于执行3D估计的底层算法的示意性表示。在此，假说提供器可以被配置为基于将3D信息估计30、30a、30b与第一视场的照片的每个位置24、24a、24b相关联的预估计，局部确定至少两个不同视场12、12'中的第一视场12的当前照片26的位置24的3D信息假说22。位置可以是当前视场的照片的像素或像素的组。至少两个不同视场12、12'可以由从两个不同视角记录相同场景的两个不同照相机例如立体照相机的图像中得到。因此，在相同时间点处的两个视场表示仅从不同视角记录的场景的相同照片。因此，当前照片26包括第一视场12的当前照片和第二视场12'的当前照片。相同的结论也对可以分别是第一视场的先前照片和第二视场的先前照片的预估计28和预估计28'适用。作为附加或可替换的实施例，预估计28可以是来自用于执行3D估计的进行的或中间迭代的第一视场12的当前照片的经计算的表示。因此，变量t指示应用至当前照片的当前处理，其中，t-1指示预估计的先前且已经执行的处理，预估计可以是先前迭代的当前照片或先前照片，例如一系列照片例如视频中的先前帧。因此，在预估计是处理当前照片的先前迭代的情况下，预估计28可以包括第一视场的当前照片的每个位置的中间3D信息假说，其可以由第一视场的当前照片的其他迭代优化或改进。在对多个位置例如对第一视场12的当前照片26的每个位置确定3D信息假说之后，对第一视场的当前照片的每个位置其中3D信息假说是可用的，对相应位置的3D信息假说中的每个，计算相似度量度16。因此，3D信息假说中的第一假说可以导致相似度量度16a，且相应位置的3D信息假说中的第二假说导致相似度量度16b。在相应位置24处的第一视场12的当前照片的区域或补片36和位于相对于相应位置移位相应3D信息假说的位置24’处的至少两个不同视场中的第二视场12’的对应区域或补片36’之间测量相似度。移位可以由传递函数数学地描述。基于计算的相似度量度16a、16b，3D信息确定器可以对第一视场12的每个位置24，选择最高相似度量度的3D信息假说16。通常，当前照片的每个位置的3D信息估计使用附图标记30指代，其中照片的一个位置的3D信息假说的列表使用30a、30b表示。相同的结构对于位置成立。参考照片中的所有位置，使用附图标记24，其中通过附加字母来寻址单个位置，以便单个位置被称为24a、24b。因此，24a和24b可以指的是当前照片中的像素或离散点，其中30a、30b可以指的是对应的3D信息假说。图2b示出相同的算法过程，然而在此，3D假说是对照片I得到的，且相似度量度是关于照片E得到的。照片I是对照片F和照片T的集合的短的标记。在双聚焦的情况下，仅对第一视场E的照片和第二视场F的照片执行计算。然而，在三聚焦的情况下，对第二视场F应用的相同处理被应用至第三视场T的照片。执行两次3D信息假说确定一次是视场E的照片关于视场I的照片，一次是视场I的照片关于视场E的照片，使能一致性测试器20对选择的最高相似度量度18、18'的3D信息假说执行一致性检查。一方面，由于最高相似度量度的两个3D信息假说应当相等基于两个不同的视场对照片计算单个深度视场图。一致性测试器20可以被配置为将停止准则提供至装置，指示第一视场和第二视场的照片的3D信息假说相等或至少相似并因此被认为相等。因此，不再对当前照片执行其他迭代，并因此节约计算能力。这将是使用停止准则的动态方法，而非静态方法其中例如无论3D信息假说的实际质量，对每帧或每个照片执行固定次数的迭代。此外，一致性测试器可以揭露第一视场的照片或第二视场的照片中的区域，由于区域的阻塞或由于区域在视场中的一个的视角的外围，该区域不由相应的另一视场覆盖。基于此一致性信息，可以在一个或多个其他时间段内更新相应区域的确定的假说。相同的算法可以应用至三聚焦情况，意味着一个照片包括三个不同的视场，例如E、F、T，同时立体处理被应用至第一视场和第二视场并独立地应用至第二视场和第三视场。因此，可以确定包括每个像素的3D信息假说的两个不同的照片，或者换句话说，对于当前照片计算两个不同的深度视差图。使用此信息，不必要具有记录第一视场和第二视场的两个照相机的朝向或移位以从两个计算的深度视差图得到3D照片的其他先验知识。图2c示出根据图4中列出的框4的可能假说选择第一照片和第二照片和假说更新第三照片算法的概述。在图2c的第一照片中，示出当前位置的3D信息估计从先前照片或当前照片的先前迭代指向当前照片的当前迭代。第二照片示出从预估计中随机选择相邻3D信息估计，以便来自相邻位置的信息被分发或传播至周围位置。此外，第三照片示出假说更新。基于概率密度函数40，随机更新值被计算并被添加至3D信息估计参考图2c的第一照片以对其更新，以得到一个其他3D信息假说。如果应当生成多于一个其他假说，可以使用其他随机更新值重复过程。如所示出的，概率密度函数可以从先前的深度和或视差更新值得到。可替代地，可以假定可以被应用至照片的任意序列的通用模型。图3示出从非特定视角的示意性框图。在此，迭代补片扫描块3a和3b可以包括在图1a中描述的功能块。此外，一致性测试器20可以对伴随有每个像素或每个位置的最高相似度量度18、18'的3D信息假说的第一视场3a例如视场A的照片和第二视场12'例如视场F的照片执行立体一致性检查。这被认为是如在图3且在左侧中示出的立体一致性检查。因此，图3的左侧的框图可以是示于图1b的实施例的通用表示。在图3的右侧图中，指示三聚焦一致性检查20'。相比于立体一致性检查，三聚焦一致性检查还包括伴随有每个像素或位置18”的最高相似度量度的3D信息假说的第三视场的照片。更精确地说，例如在图3b中指示的第二视场的照片可以伴随有最高相似度量度的两个不同3D信息假说，一个假说相对于与第一视场的照片的关系被确定，以及一个假说相对于第三视场的照片的变换被确定。因此，可以对两个立体一致性检查执行三聚焦一致性检查，即，第一视场在此情况下为F的照片关于第二视场在此情况下为E的照片的一致性检查，以及此外立体一致性检查可以应用至第二视场的照片和第三视场在此情况下为T的照片。换句话说且根据实施例，如图3和图4中所示构成算法组件。图3提供用于立体和三聚焦照相机配置的处理块和后续一致性检查20、20'的高级概述，而图4专用于迭代补片扫描过程的更加详细的说明。3D估计的主要思想是迭代评估和空间补片的更新，以接近图像E的每个像素的真实对象表面的深度和法线。由于补片是对真实表面的估计，其还被称为假说，以反映其不确定特征。对于每个迭代和每个像素坐标x∈ΩE，由来自先前迭代的当前位置的假说、来自先前迭代的当前位置的空间邻域的假说和的更新组装成假说的列表为允许有效的并行化，可以严格地在像素水平上执行空间邻域的选择和假说更新，而不需要任何全局算法迭代。在此，假说更新规则和空间邻域选择的具体选择构成迭代过程的功能效率。尽管迭代扫描不包括如使用诸如置信度传播、图像切割或变分方法等技术的全局优化准则，但像素水平上的局部操作的应用导致每个迭代过程中的可比较的信息传播。一旦组装22，通过关于相似度量度S比较图像E和F上的补片投影，评估全部假说。选择具有最高得分的假说作为新的结果。在三聚焦的情况下，附加地评估对于图像对E和T的投影，并选择对两个立体图像对的最佳结果。可选地，如图3所示，应用对于异常值和阻塞检测的一致性检查。在此，生成一致性图。其基于对称估计的结果的相互检查20，即在立体情况下对于对E和F，并在三聚焦的情况下附加地对于对E和T。一旦为两个图像计算假说22，根据补片朝向和补片中心的距离比较对应估计。如果两个值均低于预定义阈值Tc和Tα，假说被认为是一致的。在三聚焦照相机配置的情况下，如果具有对F和E的估计或对T和E的估计的相互检查是成功的，假说被标记为是一致的。结果的一致性图被用于拒绝每个迭代之后的不一致假说或阻碍其传播并惩罚其选择。附加地，考虑在用于视场合成的多个视角的过滤或融合方面中的3D数据的后处理，一致性图构成假说的可靠性的有价值的提示。图4示出迭代补片扫描块3的算法结构中的更加详细的见解，其还可以被看作是图1a和图1b的描述的替代。因此，图4示出假说提供器4可以提供在由先前图像或先前迭代的当前位置中的至少一个、使用从先前迭代得到的相似度量度的当前像素位置的选择的假说的更新、以及基于描述的邻域中的一个确定的相邻的选择的3D信息假说形成的列表中的假说。因此，如关于图1b描述的，相似度量度计算器6可以在立体情况下确定列表22的假说的每个的相似度量度。此外，对于三聚焦情况下的视场的照片中的一个例如在三个照相机的中心分配的照相机的视场，对于至第一其他视场的照片的变换和第二其他视场的照片的变换两者确定3D假说。因此，在三聚焦的情况下，可以计算两个深度视差图，一个关于第一视场和第二视场，以及一个关于第二视场和第三视场。具有两个不同的深度视差图，可以对当前照片计算全3D信息估计或全视差深度图，而不需要相应照相机位置的精确知识。可以由3D信息确定器8对每个视场的照片的每个像素或位置，基于每个像素位置的最高相似度量度的3D信息假说的选择，来计算或确定深度视差图。为清楚起见，即使对每个视场独立地计算3D信息假说，例如最后迭代之后的最高相似度量度的结果3D信息假说，对于两个不同视场例如在三聚焦情况下的两个相邻视场，或在立体情况下的两个视场的照片可以是相等的或至少被假定为是相等的，原因是不同视场的照片收敛。以下部分专用于图4中示出的各个算法组件。其中，提供关于假说生成和更新的细节。除了确定性假说更新的形式导出，介绍基于场景统计的随机化更新模型。除了包括法线和深度信息的假说的基于补片的假说表示，讨论仅由深度或视差组成的简化表示。取决于具体的假说表示，可以得到反映关于算法的计算要求和结果的完整性、平滑性和准确性的应用特定要求的算法的定制特点。此外，讨论从先前迭代的空间邻域的选择。其对关于收敛速度和质量的总体算法性能具有大的影响。因此，邻域选择的变化可以被认为是关于涉及的假说的传播的方面的不同迭代方案的应用。随后，制定特别在高分辨率视频输入的情况下极大地减小计算负荷并提高收敛速度的多尺度方法。最后，基于真实世界数据集的经验评估，提供迭代补片扫描的收敛速度的分析。补片量化在图像E中根据其像素的边缘长度ep的参数和x及y方向上的样本的数量的参数es，采样补片Π。组成性地，如在下面讨论的所应用的空间表示确定3D的采样坐标。在此，补片样本被表示为：假说更新在此部分中，涵盖对于假说的更新的理论背景以使能算法的功能效率的理解。如图4所示，假说更新是可以导致新的假说的唯一操作，而其他操作是解决从在先前迭代中计算的空间邻域的时间前驱的传播。因此，在其中照片的深度视差图对于每个位置具有相同值例如深度图全部为1的最坏情景下，假说更新是生成包括不同于1的值的深度图的唯一可能性。在迭代扫描期间，基于关于适合统计计算的随机样本进行假说更新。下面，得到可以用于计算确定性假说更新的数值优化的公式。虽然优化相比于随机化方法可能是计算上低效率的，但其将用于假说更新统计的评估和随机化方法的证明。关于假说更新，已经数值研究了具有关于3D对象表面的变化表现力的假说的三个不同特点。如图5列出的，研究的假说由深度和法线朝向、仅深度和仅视差组成。在仅深度假说的情况下，评估两个不同的变量。DE表示图像补片的坐标变换，而DEP遵循由使用相应照相机数据进行的补片投影导致的透视失真。对于各个假说表示的评估的准备，制定用于任意参数化的通用优化目标。令pE＝x0,…,xN-1T,xi∈ΩE为E和的图像空间中补片离散化坐标的集合，为E和I∈{F,T}的图像平面之间的图像坐标变换，其中，p＝p0,…,pM-1是用于单个假说的表示的参数集。有效的假说将最小化对变换的图像坐标评估的相似度量度S。因此，可以由以下给出对于假说优化的通用准则：其中，短标记且基于等式2，可以制定优化过程。令然后由以下给出优化目标的偏导数：其中，在x和y方向上图像I的偏导数为和因此，期望的数值最小化可以被公式化为：其中，λ表示参数更新的各向异性加权矩阵。基于等式4，下面对图5中列出的每个假说表示制定具体的参数更新。随后，对每个参数更新公式进行评估。在此，平方差之和SSD被用作参数更新迭代的相似度量度。明显地，不仅SSD可以被用作评价相似度的量度，绝对值之和、互相关或考虑差异的数量和量的任意其他函数以及例如相互移位的区域之间的加合逐像素确定的偏差也可以用作评价相似度的量度。关于补片朝向，假设[45]中定义的坐标系和照相机模型惯例。令PE＝KE|0且PI＝KIRI|tI。正面平行补片关于PE的法线nfp被定向为朝向照相机，即nfp＝0,0,-1T。相似地，估计的补片的有效法线需要展示负的第三分量。用于优化的法线参数化需要反映有效的朝向。在此上下文中，至下半球的映射被用作：na,b＝a·nz,b·nz,nzT,其中视差更新DI：在校正的立体图像的情况下，可以在视差空间中进行数值优化。从迭代补片扫描的视角，其可以被认为是视差域中的正面平行补片的参数化。特别地，对受限于立体照相机配置和视差结果的应用场景，由于简单的传递函数和单一分量参数向量p＝η，算法复杂度减小。关于等式4，参数更新为：深度更新DE：如果要求通用照相机配置的深度的估计，从计算视角，DE是图5的列表中最不昂贵的方法。坐标传递与DI相似。空间补片被认为关于照相机PE是正面平行的。当补片中心xpc∈ΩE关于深度参数p＝Z变换时，组合的补片传递不反映透视正确的投影。取而代之，基于矩阵根据关于距补片中心的偏置来执行补片变换。关于等式4，参数更新为：其中，表示一个图像平面的一个像素、点或位置至另一图像平面的映射。因此，可以使表示补片中心的点例如xpc均匀化。此外，在应用去均匀化之前，可以对均匀化的点执行单应变换HZ。利用透视正确匹配的深度更新DEP：与DE相反，包括透视正确补片传递。当相比于DE，参数向量和HZ保持一致时，传递函数被定义为对于全部补片坐标的透视映射，根据等式4，参数更新在等式7中执行，但使用修改的传递函数利用透视正确匹配的深度和法线更新DEPN：基于透视正确匹配执行补片法线的估计。DEPN是在图5中列出的最复杂的表面补片表示。法线的估计使能在匹配过程期间的较好的表面表示并允许在渲染过程期间的逼真的阴影。根据等式5的法线参数化，参数向量为p＝a,b,Z。改变法线的概率需要被包括在传递函数中。利用和矩阵使能传递函数的定义。根据等式4执行深度和法线参数的更新，为：在描述的公式中，p表示代表用于当前位置的选择的3D信息假说或3D信息估计的参数向量，Z表示代表选择的3D信息假说的深度，n表示当前迭代，λ表示各项同性加权矩阵，xi表示当前位置，ρE表示第一视场E的当前照片的位置，E表示第一视场的照片，I表示第二视场的照片，Ix表示在x方向上的视场I的照片的偏导数，Iy表示在y方向上的视场I的照片的偏导数，表示代表第一视场的照片的位置相对于第二视场的照片的相应位置移位相应3D信息假说的张量元素的相关片段。通过经验评估的随机化假说更新的证明：对各种测试数据集进行关于得到的数值参数更新迭代生成的参数更新的统计分析。目标在于提供对于快速随机化更新过程的设计的有价值的见解。示例性地，呈现对于Oliver1数据集的参数更新的经验评估。图6中提供用于四个不同的假说表示的更新值即λ-1pn+1-pn的说明，为关注成功的更新，直方图表示仅包括被认为优于传播的假说参考图4的值。可以看出，全部参数更新的分布是具有近似0的均值和各个方差值的高斯分布。尽管图6示出对仅一个数据集的统计，可以贯穿所有评估的数据集观察非常相似的分布特性。因此，可以借助于具有0的均值和内容特定方差的正态分布来模型化各种参数更新的出现。虽然数值迭代可以用于参数更新，实践上，此方法的缺点是对功能评估的显著的计算需求。由于迭代补片扫描执行空间相邻假说的时间传播，各个更新值不需要如迭代优化那样被精确地链接至局部纹理值。取而代之地，参数更新仅需要遵循评估的统计，以生成可以在局部邻域内传播的足够的假说种子值。因此，用于参数更新的随机化方法的效力可以被经验地证明。由于如cuRAND库[46]的在GPU上的快速随机数生成器能够每秒生成几千兆的随机值样本，随机化方法不仅从理论视角是合理的，对于实时实施也是可行的。假说传播参考图4，对于每个迭代，评估已经在先前迭代中与当前位置的更新的假说一起产生的空间邻域的若干个假说。与其他现有技术水平的算法相反，目标是由数据项和如图像切割、置信度传播或变分技术的平滑项组成的全局优化准则的最小化。尽管提出的方法具有关于信息分布方面的全局特征，但是不包括全局指导。取而代之地，存在用于信息传播和结果选择的局部决策规则。特别地，空间邻域的选择确定假说如何在图像平面内传播且假说如何对关于结果质量和收敛速度方面的算法行为产生大的影响。形式上，时间t处假说图像Ih中的x∈ΩI的空间L邻域是如下定义的具有相应图像坐标的L假说的集合：存在可以为迭代过程选择的无限数量的L邻域。在结果质量方面，研究并评估L邻域的两个不同家族。为说明目的，请参考图7。下面提供关于收敛速度的讨论。第一类L邻域基于根据规则图案的所涉及的坐标的确定性预选择。第二家族是在邻域坐标的概率选择上建立的。图8中提供不同邻域的传播行为的印象。在此，说明对于随机化邻域和对确定性邻域的中间结果。确定性空间邻域：可以在文献中发现规则的空间邻域的许多定义。为提供完整的算法描述，简单地评论标记和定义。如图7所示，以规则的方式发生邻域形成。评估两个不同的确定性空间邻域。其主要用作基于随机化邻域选择的竞争方法的评估的参考。对确定性情况的所研究的L邻域的定义由相邻的坐标值的固定集合的列表给定如下：每个迭代的潜在传播路径长度关于由所选择的邻域引发的度量恰好是一。例如引发曼哈顿Manhattan距离，而引发切比雪夫Chebyshev度量。从而，对于对角线传播，基于的迭代需要两个周期，而基于的迭代仅需要一个周期。因此，关于信息传播方面的算法效率的分析，收敛速度与作为迭代过程的基础的空间邻域的选择直接相关。随机化空间邻域：与确定性空间邻域相反，随机化邻域的主要思想是基于概率分布的每个像素坐标和每个迭代的各个邻域的组装。如图7所示，邻域定义由每个坐标位置的似然和根据底层概率密度函数随机绘制的固定数量的样本rs组成。关于随机化邻域的传播路径特性，理论上，对可以在单个迭代过程中覆盖的距离没有限制。可能的传播距离直接耦合至选择的概率分布。例如，均匀分布精确地限制潜在距离，而正态分布允许图像平面上的任意传播。两种分布与不同的分布参数一起被应用。为识别概率函数和相应参数的最有益配置，下面根据其对收敛速度的影响评估两种分布。附加地，进行与确定性邻域的比较。概率函数仅表征邻域特性的特征，附加地确定遭受评估的随机样本rs的最佳数量。多尺度扫描如下所述，可以通过多尺度策略的应用增大迭代补片扫描的收敛速度。随着增大图像尺寸，潜在地延伸假说传播路径长度。取决于选择的空间邻域，增大的路径长度直接导致假说传播的附加迭代。为加速传播过程，与电平缩放因子0slev1一起定义多个扫描电平L扫描≥0。对于每个电平，使用尺寸来计算输入图像的缩放版本，其中w和h是原始图像的宽度和高度，且l∈[0,…,L扫描]表示扫描电平。然后，以降序对每个电平应用迭代扫描，即从最小的图像尺寸至最大。对于每个电平，结果假说图由缩放并被传播至下一较低电平，作为迭代扫描的附加假说输入。与其他扫描电平相比，电平0和电平L扫描是难处理的。在扫描电平L扫描上，来自更高电平的结果不可用，且在没有多尺度策略的情况下，进行迭代扫描。在电平0上，无更低的扫描电平，且输出构成最终结果。下面概述多尺度方法对收敛速度的影响的详细分析。换句话说，装置可以对使用第一缩放因子缩小的第一视场的照片的表示执行3D估计的迭代并对使用第二缩放因子缩放的第一视场的照片的表示执行其他迭代，其中第一缩放因子大于第二缩放因子。收敛速度由于迭代扫描不呈现全局优化准则，收敛速度不与单个数值阈值直接相关。然而，迭代过程期间的算法特征的分析允许经验激励的收敛准则的导出。首先，需要识别相关参数。关于示出于图4的算法结构，存在可以影响收敛的两个操作。这些操作是假说的更新和传播。假说更新的效率与更新接受速度直接相关。接受的更新越多，生成的种子越多，并随后传播的种子越多。在此上下文中，如果其在特定迭代中生成并作为来自先前帧的前驱被注入并保持在其位置直到收敛，假说被认为是种子。在此，假说的更新不终止其种子状态，但如果假说被传播的值取代，种子状态被消除。请注意，此过程导致可以包括错误假说的种子的定义。然而，这与目标不矛盾，原因是进行的分析是关于收敛，而不是关于正确性的。可以在用于向全部相关的位置转发种子假说的所需迭代的方面，说明传播操作的性能。相结合地，期望根据选择的邻域实现高的种子生成速度和小的传播路径长度为基于这些要求制定收敛准则，经验地评估均值传播路径长度和种子生成速度。图9中，对使用每帧30个迭代的Oliver1数据集的五个帧，绘制接受的假说更新的分数、累积的种子值分数和均值传播路径长度的经验示例。图8的上行中示出的确定性邻域的中间结果对应于图9中的第一帧。为说明测量的值的渐近行为，选择比收敛状态和静止结果要求的高的多的迭代次数。在此，假说更新分数指的是接受的假说更新和处理的像素位置的总量的比值。累积的种子值分数是从当前迭代直至收敛保持其种子状态的假说的分数。均值传播路径长度表示如上所描述的平均迭代距离。尽管图反映特定数据集的结果，这些图形的形状及特别地其渐近行为对于所有评估的数据集几乎保持恒定。明显地，关于第一帧，全部三个图形相比于连续帧是不同的。此偏离的原因是从初始状态朝第一帧的方案迭代所需的努力。对后续帧的迭代是基于先前结果的。在此，假设正确收敛的前驱，收敛速度仅受算法效率、参数的选择和场景内容的动态的影响。通过对迭代10处帧1，比较图6的上行中的估计结果与曲线的进展，可以看出只要假说更新102的分数的曲线和均值传播路径长度104的曲线几乎分别接近其下边界和上边界，结果可以被认为是收敛的。此观察也可以从理论视角被支持。只要拒绝几乎全部假说更新，现有的假说被认为是最佳选择。平均传播路径长度的饱和可以被类似地解释。如果均值传播路径不进一步延伸，现有的假说优于来自传播尝试的任何竞争者。在此，可以识别快速收敛的附加要求。不仅期望小的传播路径长度，还实现直到上边界的对每个迭代的陡峭上升。最后，可以将累积的种子值分数100图解释为已被要求实现收敛状态的种子值的经验确定的量。根据图9，此值约在对第一帧的0.05即5％以及对随后帧的0.14即1.4％之间波动。关于收敛准则，传播路径长度的经验确定的上边界可以被认为是对收敛的实现的稳健提示。如果达到最大均值传播路径阈值Tpp或超过最大迭代计数，迭代终止。与确定的上边界相关地选择传播路径阈值。最后，进行确定性4邻域和具有四个随机样本的随机化邻域106、110之间的收敛特性的比较，并研究多尺度处理的影响。图10示出对四个不同算法配置的图9的前两帧的特写。与图9中的分析相反，仅执行12个迭代，以更好地暴露曲线的斜率。关于假说更新分数，随机化邻域和确定性邻域之间没有显著的差异。由于来自其他扫描电平的假说更新，更新分数比多尺度扫描的前几个迭代低得多。相反，对于均值传播路径长度，可以观察到在随机化邻域和确定性邻域之间的显著差异。在108、112的情况下，平均路径长度几乎是随机化邻域的两倍大。附加地，多尺度扫描的路径长度减小相当高于106、110。图11中提供收敛速度的定性比较。此附图的上部的结果是在没有多尺度迭代的情况下计算的。下部的中间结果是在有多尺度扫描的情况下计算的。对于后者，可以观察到收敛速度的显著改进。图11中左行的图像示出经由确定性4邻域计算的结果的传播。右行的图像示出其中应用随机化邻域的结果。定性比较揭露随机化传播方法的两个主要益处。首先，特别地在多尺度扫描的情况下，收敛速度显著地高于确定性邻域。其次，由于邻域的随机化结构减轻不匹配的局部积累，右侧的结果展示少得多的镜面噪声。图12示出用于基于至少两个不同视场的图像执行3D估计的方法1200的示意性框图。方法1200包括基于将3D信息估计与第一视场的当前照片的每个位置相关联的预估计，局部确定至少两个不同视场中的第一视场的当前照片的位置的3D信息假说的步骤S1202，对第一视场的当前照片的每个位置，通过测量在相应位置处的第一视场的当前照片的区域和位于相对于相应位置移位相应3D信息假说的位置处的至少两个不同视场中的第二视场的对应区域之间的相似度，来计算相应位置的3D信息假说的每个的相似度量度的步骤S1204，以及对第一视场的每个位置，选择最高相似度量度的3D信息假说的步骤S1206。根据实施例，示出对于单独地处理每个像素并通过迭代传播信息并由局部统计候选选择的深度视差3D重构的对应分析算法。对应分析是基于像素的处理并在当前迭代中独立于其邻域而局部地执行。因此，例如，其优选地适用于在GPU上的并行处理。对应分析基于来自先前处理的一些候选所谓的假说，其可以是来自先前帧或在静态情况下来自相同图像的先前迭代的分析结果。可以通过一次或多次迭代对应性分析，实现从相邻像素到当前像素的信息例如3D信息传播。可以基于局部统计，例如由概率密度函数PDF选择来自相邻位置的假说。PDF可以对每个像素单独地计算并可以以各种方法被参数化，例如：·由于通用模型例如，仅基于方差的调整或其他·基于以优选方式例如，基于复杂场景的分布类型的统计评估和PDF的分布参数反映图像的统计特性的专用训练阶段使用专用训练阶段的方法，可以分析当前照片的结构，因此带来改进的信息传播。信息传播被改进，原因是反映相同结构元件的那些邻居的3D信息并因此最大可能具有相似的3D信息可以是优选的，并因此以比来自具有不同结构的相邻位置的3D信息更高的统计概率被传播到当前位置。其他实施例示出IPS算法，其中在扫描过程中评估的空间平面表示潜在的对象朝向。然而，与平面扫描相反，提出的假说表示具有每个像素的各个部分，对于每个平面，对象朝向在跨整个图像上是恒定的。其次，扫描过程由空间平面的列表的评估构成，而IPS提出对各个像素的动态生成的部分列表的评估。应注意，SGM与IPS算法是概念无关的。此外，IPS基于来自数值优化的潜在可变更新的评估提供假说更新的统计指导。此外，IPS使用基于来自数值优化的潜在可变更新的评估的统计指导的方法。IPS不使用固定的随机化用于平面细化，也不使用常量减小规律用于变量的细化范围。根据示例，假说提供器被配置为在一个迭代中确定最多50个、最多20个、最多10个或少于或等于6个不同的3D信息假说。根据另一示例，当前照片的位置是当前照片的像素。根据另一示例，假说提供器4被配置为基于将第三3D信息估计14、14'与第一视场12的照片26的每个位置24相关联的第三估计28、28'，局部确定至少两个不同视场12、12'中的第三视场12的当前照片26的位置24的第三信息假说10、10'；相似度量度计算器6用于对第三视场12的当前照片26的每个位置24，通过测量相应位置处的第三视场12的当前照片的区域36、36'和位于相对于相应位置移位相应3D信息假说的位置24'处的至少两个不同视场中的第二视场12'的对应区域24'之间的相似度，计算相应位置的第三3D信息假说10、10'中的每个的相似度量度18、18'；以及3D信息确定器8被配置为对第三视场12的每个位置选择最高相似度量度的第三3D信息假说中的3D信息假说18。应当理解，在此说明书中，线上的信号有时以线的附图标记命名或者有时由附图标记本身指示，其归属于线。因此，标记是这样的，具有特定信号的线指示信号本身。线可以是硬连线实施中的物理线。然而，在计算机化实施中，不存在物理线，但是由线表示的信号从一个计算模块传输至另一计算模块。尽管已经在其中以块表示实际或逻辑硬件组件的框图的上下文中描述了本发明，本发明还可以由计算机实施的方法实施。在后一情况中，块表示对应的方法步骤，其中这些步骤代表由对应的逻辑或物理硬件块执行的功能。尽管已经在装置的上下文中描述了一些方面，清楚的是，这些方面还表示对应的方法的描述，其中，块或装置对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面还表示对应的装置的对应的块或项或特征的描述。方法步骤中的一些或全部可以由或使用硬件装置执行，例如微处理器、可编程计算机或电子电路。在一些实施例中，可以由这样的装置执行最重要的方法步骤中的一个或多个。本发明的传送或编码信号可以存储在数字存储介质中，或者可以在传送介质上传送，例如无线传送介质或有线传送介质如因特网。取决于特定实施要求，本发明的实施例可以以硬件或软件实施。可以使用数字存储介质执行实施，例如其上存储有电可读控制信号的软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或FLASH存储器，其与可编程计算机系统协作或能够协作，以便执行相应方法。因此，数字存储介质可以是计算机可读的。根据本发明的一些实施例包括具有电可读控制信号的数据载体，其能够与可编程计算机系统协作，以便执行在此描述的方法中的一个。通常，本发明的实施例可以被实施为具有程序代码的计算机程序产品，程序代码被操作用于当计算机程序产品在计算机上运行时执行方法中的一个。例如，程序代码可以存储在机器可读载体上。其他实施例包括存储在机器可读载体上的用于执行在此描述的方法中的一个的计算机程序。换句话说，因此，本发明方法的实施例是计算机程序，计算机程序具有当计算机程序运行在计算机上时，执行在此描述的方法中一个的程序代码。因此，本发明方法的另一实施例是数据载体或者非瞬时存储介质，例如数字存储介质，或计算机可读介质，数据载体包括记录在其上的用于执行在此描述的方法中的一个的计算机程序。数据载体、数字存储介质或记录的介质通常是有形的和或非瞬时的。因此，本发明方法的另一实施例是表示用于执行在此描述的方法中的一个的计算机程序的数据流或信号序列。例如，数据流或信号序列可以被配置为经由数据通信连接例如经由因特网传送。另一实施例包括被配置为或适用于执行在此描述的方法中的一个的处理构件，例如计算机或可编程逻辑设备。另一实施例包括具有安装在其上的用于执行在此描述的方法中的一个的计算机程序的计算机。根据本发明的另一实施例包括被配置为将用于执行在此描述的方法中的一个的计算机程序传送例如电地或光地至接收器的装置或系统。例如，接收器可以是计算机、移动设备、存储器设备等。例如，装置或系统可以包括用于将计算机程序传送至接收器的文件服务器。在一些实施例中，可编程逻辑设备例如，现场可编程门阵列可以用于执行在此描述的方法的功能的一些或全部。在一些实施例中，现场可编程门阵列可以与微处理器协作，以执行在此描述的方法中的一个。通常，方法优选地由任意硬件装置执行。上面描述的实施例仅说明本发明的原理。应理解，在此描述的布置和细节的修改和变化将对本领域其他技术人员是明显的。因此，意图仅受所附专利权利要求的范围，而不受以在此的实施例的描述和解释的方式呈现的具体细节限制。除其他外，已经描述了下面的实施例：1、一种用于基于至少两个不同视场的照片执行3D估计的装置，装置包括：假说提供器，被配置为基于将3D信息估计与第一视场的照片的每个位置相关联的预估计，局部确定至少两个不同视场中的第一视场的当前照片的位置的3D信息假说；相似度量度计算器，用于对第一视场的当前照片的每个位置，通过测量相应位置处的第一视场的当前照片的区域和位于相对于相应位置移位相应3D信息假说的位置处的至少两个不同视场中的第二视场的对应区域之间的相似度，计算相应位置的3D信息假说中的每个的相似度量度；以及3D信息确定器，被配置为对第一视场的每个位置，选择最高相似度量度的3D信息假说。2、根据实施例1所述的装置，其中，假说提供器被配置为使用由随机更新值更新预估计的第一视场的照片的当前位置的3D信息估计，确定第一视场的当前照片的当前位置的3D信息假说中的至少一个3D信息假说，其中假说提供器被配置为基于更新值的统计分布确定随机更新值。3、根据实施例2所述的装置，其中，假说提供器被配置为基于与位置相关的先前确定的更新值，确定更新值的统计分布。4、根据前述实施例中任一项所述的装置，其中，假说提供器被配置为，使用预估计的当前位置的一个或多个相邻位置，确定第一视场的当前照片的当前位置的3D信息假说中的至少一个3D信息假说。5、根据前述实施例中任一项所述的装置，其中，装置被配置为基于当前照片执行用于执行3D估计的其他迭代，其中，其他迭代的第一视场的当前照片的每个位置的3D信息估计是先前迭代的第一视场的当前照片的相应位置的选择的3D信息假说。6、根据前述实施例中任一项所述的装置，其中，假说提供器被配置为使用以下确定其他迭代的当前照片的当前位置的3D信息假说：从其他迭代之前的迭代选择当前照片的当前位置的3D信息估计；从其他迭代之前的迭代随机选择与当前照片的当前位置相邻的一个或多个位置的一个或多个3D信息估计；以及使用关于适合统计的随机更新值更新来自其他迭代之前的迭代的当前照片的当前位置的选择的3D信息估计。7、根据前述实施例中任一项所述的装置，其中，假说提供器被配置为使用统计量度随机选择第一视场的当前照片的位置中的当前位置的3D信息假说，并被配置为使用不同于统计量度的其他统计量度，确定与当前位置不同的第一视场的当前照片的位置中的其他位置的3D信息假说。8、根据实施例7所述的装置，其中，假说提供器被配置为使用作为统计量度或其他统计量度的随机化空间邻域，随机选择3D信息假说中的至少一个3D信息假说。9、根据实施例5-8中任一项所述的装置，其中，装置被配置为对使用第一缩放因子缩小的第一视场的照片的表示执行3D估计的迭代，并对使用第二缩放因子缩放的第一视场的照片的表示执行其他迭代，其中第一缩放因子大于第二缩放因子。10、根据前述实施例中任一项所述的装置，其中，假说提供器还被配置为基于预估计或其他预估计，局部确定至少两个不同视场中的第二视场的当前照片的位置的其他3D信息假说，预估计或其他预估计将3D信息估计或其他3D信息估计与第二视场的照片的每个位置相关联；其中，相似度量度计算器还被配置为，对第二视场的当前照片的每个位置，通过测量相应位置处的第二视场的当前照片的区域和位于相对于相应位置移位相应其他3D信息假说的位置处的至少两个不同视场中的第一视场的对应区域之间的相似度，计算相应位置的其他3D信息假说的每个的相似度量度；其中，3D信息确定器还被配置为对第二视场的每个位置，选择最高相似度量度的其他3D信息假说；以及其中，一致性测试器被配置为使用相互测试来相互测试，第一视场的照片的选择的3D信息假说和第二视场的照片的选择的其他3D信息假说是否满足一致性准则，因此指示正面的测试结果。11、根据实施例10所述的装置，其中，一致性测试器被配置为对于：对每个位置具有选择的3D信息假说的第一视场的照片和对每个位置具有选择的其他3D信息假说的第二视场的照片的相应区域的朝向，和或对每个位置具有选择的3D信息假说的第一视场的照片和对每个位置具有选择的其他3D信息假说的第二视场的照片的相应区域的中心位置执行相互测试，以及其中，一致性测试器被配置为对照片的每个位置获得包括一致性量度的一致性掩盖，其中，高的一致性量度指示位于第一视场的照片和第二视场的照片的相应位置处的第一视场的照片的选择的3D信息假说与第二视场的照片的选择的3D信息假说的偏差低于预定义阈值，且其中低的一致性量度指示偏差等于或高于预定义阈值。12、根据实施例11所示的装置，其中假说提供器被配置为：基于对预估计计算的一致性掩盖，确定第一视场的照片的3D信息假说，其中假说提供器选择使用与具有高的一致性量度的预估计中的当前位置相邻的位置处的第一视场的照片的3D信息估计确定的3D信息假说中的至少一个3D假说，且其中假说提供器丢弃使用与具有低的一致性量度的当前位置相邻的位置处的第一视场的照片的3D信息估计确定的第一视场的照片的3D信息估计；或者基于对其他预估计计算的一致性掩盖，确定第二视场的照片的其他3D信息假说，其中，假说提供器选择使用与具有高的一致性量度的其他预估计中的当前位置相邻的位置处的第二视场的照片的3D信息估计确定的其他3D信息假说中的至少一个3D假说，且其中假说提供器丢弃使用与具有低的一致性量度的当前位置相邻的位置处的第二视场的照片的3D信息估计确定的第二视场的照片的3D信息估计；其中，3D相似度量度计算器被配置为对3D假说中的至少一个选择的3D假说或对其他3D假说中的至少一个选择的3D假说执行相似度量度。13、根据前述实施例中任一项所述的装置，其中，预估计是来自具有基于来自第一视场的当前照片的先前迭代的第一视场的照片的每个位置的选择的3D信息假说确定的当前照片的每个位置的3D信息估计的先前迭代的第一视场的当前照片的表示；或者其中，预估计是在具有第一视场的先前照片的3D信息估计或具有第二视场的先前照片的3D信息估计的照片的序列中的先前照片。14、一种用于基于至少两个不同视场的照片执行3D估计的方法，方法包括：基于将3D信息估计与第一视场的照片的每个位置相关联的预估计，局部确定至少两个不同视场中的第一视场的当前照片的位置的3D信息假说；对于第一视场的当前照片的每个位置，通过测量相应位置处的第一视场的当前照片的区域和位于相对于相应位置移位相应3D信息假说的位置处的至少两个不同视场中的第二视场的对应区域之间的相似度，计算相应位置的3D信息假说中的每个的相似度量度；以及对第一视场的每个位置，选择最高相似度量度的3D信息假说。15、一种计算机程序，具有用于当计算机程序在计算机上运行时，执行根据实施例14所述的方法的程序代码。参考文献[1]S.T.Barnard和M.A.Fischler，“ComputationalStereo”，ACMComput.Surv.，卷14，号4，553-572页,1982年12月。[2]R.T.Collins，“ASpace-SweepApproachtoTrueMulti-ImageMatching”，inComputerVisionandPatternRecognition,IEEEComputerSocietyConferenceon，LosAlamitos，CA，USA，1996，卷0，358页，IEEEComputerSociety。[3]M.Dumont，S.Rogmans，G.Lafruit和P.Bekaert,“ImmersiveTeleconferencingwithNatural3dStereoscopicEyeContactUsingGPUComputing”，inProceedingsof3DStereoMedia,Liege,Belgium,2010。[4]M.Dumont，S.Rogmans，S.Maesen，和P.Bekaert，“OptimizedTwo-PartyVideoChatwithRestoredEyeContactUsingGraphicsHardware”，ine-BusinessandTelecommunications,J.FilipeandM.S.Obaidat,Eds.，卷48，358-372页。SpringerBerlinHeidelberg,Berlin,Heidelberg,2009。[5]M.Dumont，S.Maesen，S.Rogmans和P.Bekaert，“APrototypeforPracticalEye-GazeCorrectedVideoChatonGraphicsHardware”inSIGMAP，2008，236-243页。[6]S.Rogmans，J.Lu,P.Bekaert和G.Lafruit，“Real-timestereo-basedviewsynthesisalgorithms:AunifiedframeworkandevaluationoncommodityGPUs”，ImageCommun.,卷24，号1-2，49-64页，2009年1月。[7]S.Rogmans，M.Dumont，T.Cuypers，G.Lafruit和P.Bekaert，“ComplexityReductionofReal-timeDepthScanningonGraphicsHardware”，VISAPP1，2009，547-550页。[8]R.Yang，M.Pollefeys，H.Yang和G.Welch，“Aunifiedapproachtoreal-time,multiresolution,multi-baseline2dviewsynthesisand3ddepthestimationusingcommoditygraphicshardware”，InternationalJournalofImageandGraphics，卷04，号04，627-651页，2004年10月。[9]G.Welch，H.Fuchs，B.Cairns，K.Mayer-Patel，D.H.Sonnenwald，R.Yang，A.State，H.Towles，A.Ilie，M.Noland，V.Noel和H.Yang，“Improving,ExpandingandExtending3dTelepresence”，Proceedingsofthe2005InternationalWorkshoponAdvancedInformationProcessingforUbiquitousNetworks,15thInternationalConferenceonArtificalRealityandTelexistenceICAT2005,Canterbury,Christchurch,NewZealand,2005。[10]A.Criminisi,J.Shotton,A.Blake和P.Torr,“GazeManipulationforOne-to-oneTeleconferencing”，InternationalConferenceonComputerVision,LosAlamitos,CA,USA,2003,卷1,191页,IEEEComputerSociety。[11]J.Liu,I.P.Beldie和M.“AComputationalApproachToEstablishEye-ContactInVideocommunication”，ProceedingsofInternationalWorkshoponStereoscopicandThreeDimensionalImaging,IWS3DI,Greece,1995,229-234页。[12]M.Ott,J.P.Lewis和I.Cox,”Teleconferencingeyecontactusingavirtualcamera”,INTERACT'93andCHI'93conferencecompaniononHumanfactorsincomputingsystems-CHI'93,Amsterdam,TheNetherlands,1993,109-110页。[13]J.Cox,S.Hingorani,B.M.Maggs和S.B.Rao,“StereoWithoutDisparityGradientSmoothing:aBayesianSensorFusionSolution”，BMVC’92,D.H.B.DPhil,MScandR.B.BA,Eds.,337-346页.SpringerLondon,1992,DOI:10.1007978-1-4471-3201-135。[14]J.-R.Ohm,K.Grüuneberg,E.Hendriks,M.EbroulIzquierdo,D.Kaliva,M.Karl,D.Papadimatos和A.Redert,“Arealtimehardwaresystemforstereoscopicvideoconferencingwithviewpointadaptation”,SignalProcessing:ImageCommunication,卷14,号1-2,147-171页,1998年11月。[15]Y.-P.Tsai,C.-C.Kao,Y.-P.Hung和Z.-C.Shih,“Real-TimeSoftwareMethodforPreservingEyeContactinVideoConferencing”，J.Inf.Sci.Eng.,卷20,号5,1001-1017页,2004。[16]O.DivorraEscoda,J.Civit,F.Zuo,H.Belt,I.Feldmann,O.Schreer,E.Yellin,W.Ijsselsteijn,R.vanEijk,D.Espinola,P.Hagendorf,W.Waizenegger和R.Braspenning,“Towards3d-AwareTelepresence:WorkingonTechnologiesBehindtheScene”,inProc.ofACMConferenceonComputerSupportedCooperativeWorkCSCW,NewFrontiersinTelepresence,Savannah,Georgia,USA,2010年2月。[17]P.Kauff和O.Schreer,“AnImmersive3dVideo-conferencingSystemUsingSharedVirtualTeamUserEnvironments”，inProceedingsofthe4thInternationalConferenceonCollaborativeVirtualEnvironments,NewYork,NY,USA,2002,CVE'02,105-112页,ACM。[18]B.J.Lei和E.A.Hendriks,“Real-timemulti-stepviewreconstructionforavirtualteleconferencesystem”，EURASIPJ.Appl.SignalProcess.,卷2002,号1,1067-1087页,2002年1月。[19]Feldmann,W.Waizenegger,N.Atzpadin和O.Schreer,“Real-timedepthestimationforimmersive3dvideoconferencing”，in3DTV-Conference:TheTrueVision-Capture,TransmissionandDisplayof3DVideo3DTV-CON,2010,2010年6月,1-4页。[20]Feldmann,N.Atzpadin,O.Schreer,J.-C.Pujol-Acolado,J.Landabaso和O.Escoda,“Multi-viewdepthestimationbasedonvisual-hullenhancedHybridRecursiveMatchingfor3dvideoconferencesystems”，in200916thIEEEInternationalConferenceonImageProcessingICIP,2009年11月,745-748页。[21]P.Kauff,O.Schreer和J.-R.Ohm,“Anuniversalalgorithmforreal-timeestimationofdensedisplacementvectorfields”，inProc.ofInt.Conf.onMediaFutures,Florence,Italy,2001。[22]C.Riechert,F.Zilly和P.Kauff,“Realtimedepthestimationusinglinerecursivematching”，inEuropeanConferenceonVisualMediaProductionCVMP,2011。[23]C.Riechert,F.Zilly,M.Mueller和P.Kauff,“Real-TimeDisparityEstimationUsingLine-WiseHybridRecursiveMatchingandCross-BilateralMedianUp-Sampling”，in21stInternationalConferenceonPatternRecognitionICPR.2012,3168-3171页,IEEE。[24]C.Riechert,F.Zilly,P.Kauff,J.Güther,和R.“FullyAutomaticStereo-to-MultiviewConversioninAutostereoscopicDisplays”，TheBestofIETandIBC,卷4,8-14页,2012。[25]H.Hirschmuller,”Accurateandefficientstereoprocessingbysemi-globalmatchingandmutualinformation”,inIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2005.CVPR2005,2005,卷2,807-814页。[26]H.Hirschmueller,“StereoProcessingbySemiglobalMatchingandMutualInformation”,IEEETransactionsonPatternAnalysisandMachineIntelligence,卷30,号2,328-341页,2008年2月。[27]H.Hirschmueller,“StereoVisioninStructuredEnvironmentsbyConsistentSemi-GlobalMatching”,inProceedingsofthe2006IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition–卷2,2006,2386-2393页,IEEEComputerSociety。[28]S.HermannandR.Klette,“IterativeSemi-GlobalMatchingforRobustDriverAssistanceSystems”,inComputerVision-ACCV2012,K.M.Lee,Y.Matsushita,J.M.Rehg,和Z.Hu,Eds.,号7726inLectureNotesinComputerScience,465-478。SpringerBerlinHeidelberg,2012年11月,DOI:10.1007978-3-642-37431-936。[29]Ernst和H.Hirschmueller,“MutualInformationBasedSemi-GlobalStereoMatchingontheGPU”,inAdvancesinVisualComputing,G.Bebis,R.Boyle,B.Parvin,D.Koracin,P.Remagnino,F.Porikli,J.Peters,J.Klosowski,L.Arns,Y.K.Chun,T.-M.Rhyne和L.Monroe,Eds.,号5358inLectureNotesinComputerScience,228-239页。SpringerBerlinHeidelberg,2008年12月,DOI:10.1007978-3-540-89639-522。[30]M.Michael,J.Salmen,J.Stallkamp和M.Schlipsing,“Real-timestereovision:OptimizingSemi-GlobalMatching”,in2013IEEEIntelligentVehiclesSymposiumIV,2013年6月,1197-1202页。[31]H.Hirschmueller,M.Buder和I.Ernst,“Memoryefficientsemi-globalmatching”ISPRSAnnalsofthePhotogrammetry,RemoteSensingandSpatialInformationSciences,卷3,371-376页,2012。[32]D.Honegger,H.Oleynikova和M.Pollefeys,“Real-timeandlowlatencyembeddedcomputervisionhardwarebasedonacombinationofFPGAandmobileCPU”,in2014IEEERSJInternationalConferenceonIntelligentRobotsandSystemsIROS2014,2014年9月,4930-4935页。[33]M.Buder,“Densereal-timestereomatchingusingmemoryefficientsemi-global-matchingvariantbasedonFPGAs”,inSPIEPhotonicsEurope.2012,843709-843709页,InternationalSocietyforOpticsandPhotonics。[34]C.Banz,S.Hesselbarth,H.Flatt,H.Blume和P.Pirsch,“Real-timestereovisionsystemusingsemi-globalmatchingdisparityestimation:ArchitectureandFPGAimplementation”,in2010InternationalConferenceonEmbeddedComputerSystemsSAMOS,2010年7月,93-101页。[35]M.Bleyer,C.Rhemann和C.Rother,“PatchMatchStereo-StereoMatchingwithSlantedSupportWindows”,inBMVC,2011,卷11,1-11页。[36]C.Barnes,E.Shechtman,A.Finkelstein和D.Goldman,“PatchMatch:Arandomizedcorrespondencealgorithmforstructuralimageediting”,ACMTransactionsonGraphics-TOG,卷28,号3,24页,2009。[37]P.Heise,S.Klose,B.Jensen和A.Knoll,“PM-Huber:PatchMatchwithHuberRegularizationforStereoMatching”,2013IEEEInternationalConferenceonComputerVisionICCV,2013年12月,2360-2367页。[38]Lu,H.Yang,D.Min和M.Do,“PatchMatchFilter:EfficientEdge-AwareFilteringMeetsRandomizedSearchforFastCorrespondenceFieldEstimation”,in2013IEEEConferenceonComputerVisionandPatternRecognitionCVPR,2013年6月,1854-1861页。[39]F.Besse,C.Rother,A.Fitzgibbon和J.Kautz,“PMBP:Patchmatchbeliefpropagationforcorrespondencefieldestimation”,InternationalJournalofComputerVision,卷110,号1,2-13页,2014。[40]S.Xu,F.Zhang,X.He,X.Shen和X.Zhang,“PM-PM:PatchMatchWithPottsModelforObjectSegmentationandStereoMatching”,IEEETransactionsonImageProcessing,卷24,号7,2182-2196页,2015年7月。[41]D.Scharstein和R.Szeliski,“ATaxonomyandEvaluationofDenseTwo-FrameStereoCorrespondenceAlgorithms”,InternationalJournalofComputerVision,卷47,号1,7-42页,2002年4月。[42]N.Einecke和J.Eggert,“Stereoimagewarpingforimproveddepthestimationofroadsurfaces”,in2013IEEEIntelligentVehiclesSymposiumIV,2013年6月,189-194页。[43]S.Gehrig,N.Schneider和U.Franke,“ExploitingTrafficSceneDisparityStatisticsforStereoVision”，2014IEEEConferenceonComputerVisionandPatternRecognitionWorkshopsCVPRW,2014年6月,688-695页。[44]W.Waizenegger,N.Atzpadin,O.Schreer和I.Feldmann,“Patch-Sweepingwithrobustpriorforhighprecisiondepthestimationinreal-timesystems”，Proc.InternationalConferenceonImageProcessingICIP,Brussels,Belgium,2011。[45]R.Hartley和A.Zisserman,MultipleViewGeometryinComputerVision,CambridgeUniversityPress,2编辑,2004年3月。[46]“cuRAND”，2014年9月10日。

权利要求：1.一种用于基于至少两个不同视场12、12'的照片26执行3D估计的装置2，所述装置2包括：假说提供器4，用于对第一视场12的当前照片26的位置24、24a、24b中的每个位置，基于所述第一视场12的当前照片26的预估计的深度视差图28、28'确定3D信息假说10、10'；相似度量度计算器6，用于对所述第一视场12的当前照片26的每个位置24，计算相应位置处的所述第一视场12的当前照片的区域36、36'和位于相对于所述相应位置移位相应3D信息假说的位置24'处的所述至少两个不同视场中的第二视场12'的对应区域24'之间的，相应位置的3D信息假说10、10'的每个的相似度18、18'；以及3D信息确定器8，用于对所述第一视场12的每个位置，选择最高相似度18、18'的3D信息假说18，以获得更新的深度视差图。2.根据权利要求1所述的装置2，其中，所述假说提供器用于使用由随机更新值更新所述预估计的深度视差图28、28'的第一视场的照片的当前位置的3D信息估计，对所述第一视场的当前照片的当前位置确定3D信息假说中的至少一个3D信息假说10，其中所述假说提供器用于基于更新值的统计分布确定随机更新值。3.根据权利要求2所述的装置2，其中，所述假说提供器用于基于与位置24、24a、24b相关的先前确定的更新值，确定所述更新值的统计分布。4.根据前述权利要求中任一项所述的装置2，其中，所述假说提供器4用于使用所述预估计的深度视差图28的当前位置的一个或多个相邻位置，对所述第一视场12的当前照片的当前位置24，确定3D信息假说10中的至少一个3D信息假说10。5.根据前述权利要求中任一项所述的装置，其中，所述装置2用于基于当前照片26、34执行用于执行3D估计的其他迭代，其中，所述其他迭代的预估计的深度视差图是更新的深度视差图。6.根据前述权利要求中任一项所述的装置2，其中，所述假说提供器4用于使用以下确定其他迭代的当前照片的当前位置的3D信息假说10：从所述其他迭代之前的迭代选择当前位置处的更新的深度视差图的值；从所述其他迭代之前的迭代随机选择与当前照片的当前位置相邻的一个或多个位置处的更新的深度视差图的一个或多个值；以及使用关于适合统计的随机更新值，更新来自其他迭代之前的迭代的当前照片的当前位置处的更新的深度视差图的值，或者与来自其他迭代之前的迭代的与当前照片的当前位置相邻的一个或多个位置处的更新的深度视差图的一个或多个值。7.根据前述权利要求中任一项所述的装置2，其中，所述假说提供器4用于使用统计量度随机选择所述第一视场的当前照片的位置中的当前位置的3D信息假说10、10'，并使用不同于所述统计量度的其他统计量度，确定与所述当前位置不同的所述第一视场的当前照片的位置中的其他位置的3D信息假说。8.根据权利要求7所述的装置2，其中，所述假说提供器用于使用作为统计量度或其他统计量度的随机化空间邻域，随机选择3D信息假说中的至少一个3D信息假说。9.根据权利要求5至8中任一项所述的装置2，其中，所述装置用于对使用第一缩放因子缩小的第一视场12的照片的表示执行3D估计的迭代，并对使用第二缩放因子缩放的第一视场12的照片的表示执行其他迭代，其中所述第一缩放因子大于所述第二缩放因子。10.根据前述权利要求中任一项所述的装置2，其中，所述假说提供器4还用于基于预估计的深度视差图14或预估计的其他深度视差图14'，确定所述至少两个不同视场中的第二视场12'的当前照片的位置的其他3D信息假说10'，所述预估计的深度视差图14或预估计的其他深度视差图14'将3D信息估计或其他3D信息估计与所述第二视场的照片的每个位置相关联；其中，所述相似度量度计算器6还用于，对所述第二视场12'的当前照片的每个位置，计算相应位置处的第二视场12'的当前照片的区域36'和位于相对于所述相应位置移位相应其他3D信息假说的位置处的所述至少两个不同视场中的第一视场12的对应区域36之间的相应位置的其他3D信息假说30中的每个的相似度16b；其中，所述3D信息确定器8还用于，对所述第二视场12的每个位置，选择最高相似度18'的其他3D信息假说，以获得更新的其他深度视差图；以及其中，一致性测试器20用于使用相互测试来相互测试所述第一视场12的照片的选择的3D信息假说18、18'和所述第二视场12'的照片的选择的其他3D信息假说18'是否满足一致性准则，因此指示正面的测试结果。11.根据权利要求10所述的装置2，其中，所述一致性测试器20用于：对每个位置具有选择的3D信息假说18的第一视场12的照片和对每个位置具有选择的其他3D信息假说18'的第二视场12'的照片的相应区域的朝向；和或对每个位置具有选择的3D信息假说18的第一视场的照片和对每个位置具有选择的其他3D信息假说18'的第二视场12'的照片的相应区域的中心位置，执行相互测试，以及其中，所述一致性测试器20用于为照片26的每个位置获得包括一致性量度的一致性掩盖，其中高的一致性量度指示位于第一视场的照片和第二视场的照片的相应位置处的第一视场12的照片的选择的3D信息假说与第二视场12'的照片的选择的3D信息假说之间的偏差低于预定义阈值，且其中低的一致性量度指示偏差等于或高于预定义阈值。12.根据权利要求11所述的装置2，其中，所述假说提供器4用于：基于对预估计的深度视差图计算的一致性掩盖，确定第一视场的照片的3D信息假说，其中，所述假说提供器选择使用与具有高的一致性量度的预估计的深度视差图中的当前位置相邻的位置处的第一视场的照片的预估计的深度视差图14、14'确定的3D信息假说中的至少一个3D假说，且其中所述假说提供器4丢弃使用与具有低的一致性量度的当前位置相邻的位置处的第一视场的照片的3D信息估计14、14'确定的第一视场的照片的预估计的深度视差图的值；或者基于对预估计的其他深度视差图计算的一致性掩盖，确定第二视场的照片的其他3D信息假说，其中所述假说提供器选择使用与具有高的一致性量度的预估计的其他深度视差图中的当前位置相邻的位置处的第二视场的照片的预估计的其他深度视差图确定的其他3D信息假说中的至少一个3D假说，并且其中所述假说提供器4丢弃使用与具有低的一致性量度的当前位置相邻的位置处的第二视场的照片的3D信息估计14、14'确定的第二视场的照片的预估计的其他深度视差图的值；其中，所述3D相似度量度计算器用于计算3D假说中的至少一个选择的3D假说或者其他3D假说中的至少一个选择的3D假说的相似度。13.根据前述权利要求中任一项所述的装置2，其中，所述预估计的深度视差图14是来自先前迭代的更新的深度视差图；或者其中，所述预估计的深度视差图是对于当前照片之前的照片的序列中的先前照片的最后更新的深度视差图。14.根据权利要求1所述的装置2，其中，所述假说提供器4用于基于预估计的深度视差图28、28'并独立于为第一视场12的当前照片26的位置的任意周围位置选择的最高相似度的3D信息假说18，执行对第一视场12的当前照片26的位置中的每个位置的3D信息假说10、10'的确定。15.根据权利要求1所述的装置2，其中，所述假说提供器4用于确定第一视场12的当前照片26的位置中的每个位置的3D信息假说10，以包括：当前照片的相应位置的由深度视差图28、28'指示的3D信息预估计14；与当前照片的相应位置相邻的一个或多个位置的，由深度视差图28、28'指示的一个或多个3D信息预估计；以及对当前照片的相应位置或者与当前照片的相应位置相邻的位置，通过随机化由深度视差图28、28'指示的3D信息预估计14获得的更新的3D信息假说。16.根据权利要求15所述的装置2，其中，所述假说提供器4用于对第一视场2的当前照片26的位置中的每个位置，随机选择与当前照片的当前位置相邻的一个或多个位置。17.根据前述权利要求中任一项所述的装置2，其中，所述装置用于使用作为前一迭代的更新的深度视差图的预估计的深度视差图28、28'或者作为第一视场的照片的序列的前一帧的深度视差图的预估计的深度视差图28、28'，迭代地执行3D估计。18.一种用于基于至少两个不同视场的照片执行3D估计的方法200，所述方法包括：基于第一视场12的当前照片26的预估计的深度视差图28、28'，确定S1202第一视场12的当前照片26的位置24、24a、24b中的每个位置的3D信息假说10、10'；对所述第一视场12的当前照片26的每个位置24，计算S1204相应位置处的第一视场12的当前照片的区域36、36'和位于相对于所述相应位置移位相应3D信息假说的位置24'处的所述至少两个不同视场中的第二视场12'的对应区域24'之间的相应位置的3D信息假说10、10'中的每个的相似度18、18'；以及对第一视场12的每个位置，选择最高相似度的3D信息假说18，以获得更新的深度视场图。19.一种计算机程序，具有程序代码，用于当所述计算机程序在计算机上运行时，执行根据权利要求18所述的方法。

百度查询： 弗劳恩霍夫应用研究促进协会 用于基于局部确定的3D信息假说执行3D估计的装置和方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD