买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】三维扫描系统和框架_惠普发展公司,有限责任合伙企业_201480082436.8 

申请/专利权人:惠普发展公司,有限责任合伙企业

申请日:2014-07-31

公开(公告)日:2020-01-10

公开(公告)号:CN107155341B

主分类号:G01B11/00(20060101)

分类号:G01B11/00(20060101);G01B11/24(20060101);G06T7/55(20170101);G06T7/80(20170101);H04N13/00(20180101)

优先权:

专利状态码:有效-授权

法律状态:2020.01.10#授权;2017.10.10#实质审查的生效;2017.09.12#公开

摘要:公开了用于重构三维对象的表面几何形状的方法和对应系统。系统包括异构传感器的集群,包括二维高分辨率相机、三维深度相机,以及可操作成递增旋转的转盘。在操作中,转盘旋转到第一和第二位置并且使用二维高分辨率相机和三维深度相机获取二维和三维数据集。标识来自二维数据集的对应特征并且将该对应特征用于标识三维数据集中的相同对应特征。三维对应特征用于计算三维单应性,该三维单应性用于对准三维数据集。在对准之后,从经对准的数据集生成三维网格。

主权项:1.一种用于重构三维对象的系统,包括:异构传感器的集群,包括二维高分辨率传感器、三维深度传感器;转盘;以及校准系统,包括处理器以及存储校准指令的存储介质,所述校准指令可在所述处理器上执行以:当转盘处于第一位置时,接收使用所述二维高分辨率传感器采集的所述转盘上的对象的第一二维数据集以及使用所述三维深度传感器采集的所述转盘上的对象的第一三维数据集;当转盘处于不同于所述第一位置的第二位置时,接收使用所述二维高分辨率传感器采集的所述转盘上的对象的第二二维数据集以及使用三维深度传感器采集的所述转盘上的对象的第二三维数据集;确定所述第一和第二二维数据集之间的对应特征以标识高分辨率对应坐标点的集合;将高分辨率对应坐标点的集合映射到所述三维深度传感器的图像平面上以标识坐标点的集合;使用所述坐标点的集合来对准所述第一三维数据集和第二三维数据集;并且使用经对准的第一三维数据集和第二三维数据集生成三维对象的表示。

全文数据:三维扫描系统和框架背景技术[0001]真实世界对象的三维计算机模型在诸如加工原型化之类的许多应用中被使用或需要。三维3D重构是确定处于考虑之下的真实世界对象的形状或外观的过程。使用异构传感器例如不同类型的相机取得的对象的数据或图像可以用于执行重构过程。然而,可靠性、可重复性、分辨率、精确度和速度考虑一般对用于生成所检验的真实世界对象的模型的扫描仪或数字化器的构造和操作是关键的。本文中的公开内容描述了一种异构传感器的集群和转盘,该异构传感器的集群和转变可以被高效且鲁棒地使用在真实世界对象的3D重构的过程中。附图说明[0002]附图图示了本文所描述的原理的各种示例,并且是说明书的一部分。所图示的示例仅仅是示例,并且不限制权利要求的范围。[0003]图1是操作在本发明的原理之下的扫描系统的透视图,其包括异构传感器集群和转盘。[0004]图2是类似于关于图1所描述的系统的3D扫描系统的示意图。[0005]图3图示了要扫描或数字化的对象,该对象被放置在转盘上并且在传感器集群的视野中被旋转第一增量,所述传感器集群具有类似于图1和图2中所描述和图示的深度相机和高分辨率相机的深度相机和高分辨率相机。[0006]图4图示了表示深度相机和高分辨率相机图像平面的坐标空间之间的各种映射。[0007]图5图示了使用3D单应性运算符H的3D点云的映射。[0008]图6是使用本文所讨论的原理的一个示例中的扫描或数字化过程的操作步骤的流程图。[0009]图7A和图7B是使用本文所讨论的原理的另外的示例中的扫描或数字化过程的操作步骤的流程图。[0010]遍及各图,相同的参考标号指代类似但不必相同的元件。在图中示出并且在下文描述的示例说明但不限制本发明,本发明在以下具体实施方式之后的权利要求中加以限定。具体实施方式[0011]参照图1,图示了合并本发明的原理的3D扫描系统(100。扫描系统包括转盘(102和异构传感器集群(104。30扫描系统(100还可以例如包括屏幕和输入设备或可操作连接到具有屏幕和键盘的计算设备。异构传感器集群(104包括不同类型的视觉传感器,并且使得能够实现比可以从单个相机或传感器获取的更丰富且更鲁棒的信息的捕获。在一些示例中,如图1中所示,集群(104的视觉传感器可以包括深度相机106和高分辨率相机108。还可以包括投影仪110以用于照明和校准目的。可以采用视觉传感器的其它组合。[0012]在一些示例中,深度相机106可以捕获物理目标的视觉数据,其中所捕获到的视觉数据可以包括以下内容:三维3D深度信息还称为“深度图”)、红外(IR图像帧和RGB图像帧其为RGB颜色空间中的图像帧)。在其它示例中,深度相机(106可以产生另一颜色空间中的图像帧。“图像帧”是指构成图像的视觉数据点的集合。深度信息是指物理目标关于深度相机106的深度;该深度信息表示物理目标或物理目标的部分与深度相机106之间的距离。[0013]在一些示例中,深度相机(106可以包括IR视觉传感器、RGB视觉传感器和一个或多个附加传感器,以允许深度相机捕获深度信息以及RGB图像帧和IR图像帧。由深度相机捕获的RGB图像帧可以是相对低分辨率的图像帧。在其它示例中,深度相机(106可以包括视觉传感器的其它组合,该其它组合允许深度相机(106在可见颜色空间中捕获物理目标的深度信息和视觉数据。[0014]集群(104的高分辨率颜色空间相机(108可以捕获较高分辨率RGB图像帧或其它颜色空间中的图像帧)。在以下讨论中,对“低分辨率”和“高分辨率”的引用是在不同视觉传感器之间的相对分辨率的上下文中。换言之,“高分辨率”视觉传感器能够以比“低分辨率”视觉传感器更高的分辨率捕获视觉数据。在基于本文所描述的原理的系统的一些示例中,高分辨率相机具有近似4,000乘3,000像素的像素尺寸,而深度相机具有近似640乘480像素的像素尺寸。[0015]参照图2,图示了类似于关于图1所描述的系统的3D扫描系统(200的示意图。3D扫描系统200包括具有深度相机206、高分辨率相机208和投影仪210的集群204。本文所描述的3D扫描系统受益于在使用之前传感器集群中的相机的校准。相应地,图2还图示了校准系统212,该校准系统能够通过链路214与集群204的各种视觉传感器通信。校准系统212包括校准模块216,该校准模块能够根据用于校准集群204的视觉传感器的一些实现方式执行校准过程。在一些示例中,校准模块216可以实现为可在一个或多个处理器218上执行的机器可读指令。在其它示例中,校准系统212可以实现为硬件。[0016]校准系统(212还包括网络接口(220以允许校准系统(212通过诸如链路214之类的网络进行通信。而且,校准系统212包括用于存储数据和指令的存储介质222。存储介质(222可以存储映射信息(224,其中映射信息(224--例如已知棋盘格图案--涉及集群(204的不同对视觉传感器之间的映射。映射信息(224用于执行集群(204的视觉传感器之中的校准并且同时生成3D扫描信息。一旦校准了集群204的视觉传感器,则由相应视觉传感器捕获的视觉数据可以适当地组合以执行各种任务,诸如与3D扫描或数字化相关联的任务。[0017]系统校准[0018]在使用本文所描述的3D扫描系统执行扫描操作之前,校准相机或视觉传感器的异构集合。系统的校准导致从3D点云到2D图像的投影映射以及2D图像集合之间和3D点云集合之间的单应性。在一个示例中,投影映射使由深度相机(106捕获的3D点云和点的2D图像相关。另一方面,单应性将2-空间和3-空间中的2D和3D数据分别映射到不同的2D和3D坐标系上。[0019]3D坐标和2D平面或图像之间的投影映射可以通过以下的等式1定义:[0020]χ=ΡΧ,等式1[0021]其中X表示2D坐标并且X表示3D坐标。更具体地,等式1可以写为[0023]其中X=[uV1]τ表示2D坐标,X=[xwywZw1]τ表示3D坐标,z。是任意标度具有预定义的值),K表示固有参数,R表示外来旋转参数,并且t表示外来平移参数。固有参数K被定义如下:[0025]其中fx,fy表示视觉传感器的透镜的焦距,UQ,VQ表示沿视觉传感器的光轴的光学中心,并且s是表示视觉传感器的偏斜失真的偏斜系数。[0026]外来旋转参数R和外来平移参数t是视觉传感器的几何参数的部分。旋转参数可以定义视觉传感器在几何空间中的摇摄、倾斜和偏转。平移参数可以定义视觉传感器在几何空间中的平移位置。[0027]导出投影矩阵P牵涉计算视觉传感器的固有参数K和几何参数R,t。一旦被获取,固有参数K和外来旋转参数R就可以用于产生单应性运算符,该单应性运算符用于在以下之间映射数据:由传感器获取的2D图像与不同的2D空间和由传感器获取的3D点云与不同3D空间。[0028]更具体地,一对视觉传感器之间的直接2D到2D映射可以通过2D单应性表示,使得X’=Hx,其中X’和X是两个平面中的2D位置矢量。单应性使两个图像对应于两个视觉传感器中的像素坐标相关。2D单应性H可以通过3-X-3矩阵表示,其一般具有以下形式:[0030]3D对应部分是4x4矩阵,其中X’和X是3-空间中的3D位置矢量。针对计算单应性矩阵的分量其依赖于以上提到的固有和外来参数)的进一步细节可以在共同所有的申请序列号13713,036题为“CalibratingVisualSensorsUsingHomographyOperators”)中找到,其公开内容通过引用并入本文。[0031]系统操作[0032]参照图3,将要扫描或数字化的对象310放置在3D扫描系统300上,所述3D扫描系统(300具有转盘302和具有类似于以上描述的深度相机和高分辨率相机的深度相机和高分辨率相机的传感器集群304。转盘302旋转到第一位置并且使用深度相机获取第一3D点云,并且使用高分辨率相机获取第一2D高分辨率图像。3D点云包括具有与每一个2D点相关联的深度或距离例如z坐标的2D点(例如X和y坐标)的集合。转盘302然后旋转预定增量306例如10度而到第二位置,并且分别使用深度相机和高分辨率相机获取第二3D点云和2D高分辨率图像。包括第一和第二点云和图像的数据可以存储在存储器中。[0033]3D扫描或数字化采用以下方式使用点云和图像的对来生成。开始,针对对应点或特征而分析第一和第二2D高分辨率图像以获取2D高分辨率对应点X的第一集合。在一个示例中,高分辨率对应点的数目在数目方面为至少18个。然后采用多步2D单应性以将2D高分辨率对应点X的第一集合从高分辨率相机的图像平面映射到深度相机的图像平面X"。更具体地,参照图4,示意性地图示了表示高分辨率相机的图像平面的2D坐标空间(402和表示深度相机的图像平面的2D坐标空间(404。还图示了感应平面2D坐标空间(406。如图4中所描绘的,单应性运算符叫提供表示高分辨率相机的图像平面的2D坐标空间(402与感应平面的坐标空间(406之间的映射。另一单应性运算符Hf可以用于提供感应平面的2D坐标空间(406与表示深度相机的图像平面的2D坐标空间(404之间的映射。[0034]更一般地,提供两个视觉传感器一一即深度和高分辨率相机一一的坐标空间之间的2D到2D映射的单应性是多步单应性,该多步单应性可以包括多个单应性运算符。使用根据一些实现方式的多步单应性包括HdPHf的映射可以表示如下:[0037]其中^对应于基于Hp的中间经映射的坐标空间(并且更具体地,图4的虚拟坐标空间(406,并且x〃对应于基于Hf的最终经映射的坐标空间。通过使用等式5和等式6,将2D高分辨率对应点X的第一集合映射到感应平面406上以产生坐标点的感应集合^。然后将坐标点的感应集合^映射到表示深度相机的图像平面的2D坐标空间(404上,从而产生坐标点的第二集合X"。[0038]然后将坐标点的第二集合x〃用于从3D点云提取深度信息。具体地,由于3D点云中的深度信息关联到与深度相机相关联的2D坐标系,因此存在深度数据与坐标点的第二集合x〃之间的已知像素到像素映射。以此方式,可以获取来自第一和第二3D点云的对应点。然后将对应3D点用于计算3D单应性运算符,该3D单应性运算符允许将第二3D点云映射到第一3D点云。因而可以对准3D点的两个集合。参照图5,例如,3D单应性运算符H在3D矢量[U’,V’,Z’]WP[U,V,Z]τ之间进行映射。在一个示例中,3D单应性运算符可以使用标准RANSAC算法来计算,尽管可以使用其它算法。[0039]3D单应性步骤提供3D点云对的粗略对准。使用捆束调节步骤来获取更加精确的对准。捆束调节最小化所观察到的图像位置与所预测的点之间的重投影误差。在一个示例中,调节被用公式表示为非线性最小平方问题,其中误差是所观察到的特征位置与对应3D点在相机图像上的投影之间的差异的经平方的L2范数。在另外的示例中,可以使用标准或经修改的Levenberg-Marquardt算法以迭代地求解最小化问题。[0040]在3D点云的对准之后,删改和清理结果得到的3D网格一一例如以移除假的或不想要的点或者填充孔或间隙。网格然后可以按需改进,这取决于例如被扫描的对象的所期望的分辨率或复杂度。在网格删改和改进之后,深度数据和深度相机的图像平面的坐标之间的已知像素到像素映射可以用于生成坐标点的经修改的集合χ〃。通过使用单应性运算符迅和Hf的逆,然后将坐标点的经修改的集合映射回到表示高分辨率相机的图像平面的坐标系。[0041]在以上步骤完成之后,转盘然后旋转预定增量并且过程重复。更具体地,转盘302旋转预定增量306例如10度而到第三位置,并且分别使用深度相机和高分辨率相机获取第三3D点云和2D高分辨率图像。第三3D点云和2D高分辨率图像然后使用以上描述的相同步骤与经删改和改进的网格以及坐标点的经修改的集合x〃组合。过程重复直到转盘已旋转完整的360度为止或者直到期望数字化的对象已经被完全扫描为止。[0042]现在参照图6,提供了根据本文所描述的原理的用于重构三维对象的表面几何形状的方法。在各种示例中,方法包括以下步骤。提供具有异构传感器的集群的系统,包括二维高分辨率相机和三维深度相机以及可操作成递增旋转的转盘602。将转盘旋转到第一位置并且使用二维高分辨率相机采集第一二维数据集并且使用三维深度相机采集第一三维数据集604。然后将转盘旋转到第二位置并且使用二维高分辨率相机采集第二二维数据集并且使用三维深度相机采集第二三维数据集606。然后确定第一和第二二维数据集之间的对应特征以获取高分辨率对应点的第一集合608。然后将高分辨率对应点的第一集合映射到深度相机的图像平面上并且确定深度数据的第一集合和第二集合之间的对应点(610。然后使用从深度数据的第一集合和第二集合之间的对应点获取的三维单应性来对准深度数据的第一集合和第二集合并且然后使用经对准的数据生成对象的三维网格612〇[0043]现在参照图7A和图7B,提供了一种根据本文所描述的原理的用于重构三维对象的表面几何形状的方法。在各种示例中,方法包括以下步骤。提供具有异构传感器的集群的系统,包括二维高分辨率相机和三维深度相机以及可操作成递增旋转的转盘702。将转盘旋转到第一位置并且使用二维高分辨率相机采集第一二维数据集并且使用三维深度相机采集第一三维数据集704。然后将转盘旋转到第二位置并且使用二维高分辨率相机采集第二二维数据集并且使用三维深度相机采集第二三维数据集706。然后确定第一和第二二维数据集之间的对应特征以获取高分辨率对应点的第一集合708。然后将高分辨率对应点的第一集合映射到深度相机的图像平面上并且确定深度数据的第一集合和第二集合之间的对应点(710。然后使用从深度数据的第一集合和第二集合之间的对应点获取的三维单应性来对准深度数据的第一集合和第二集合并且然后使用经对准的数据生成对象的三维网格712。[0044]仍旧参照图7A和图7B,本公开内容的原理可以包括以下附加步骤。使用深度相机的图像平面和对应于深度相机的图像平面的像素位置的深度数据之间的像素到像素映射从三维网格确定二维坐标点的经修改的集合714。然后将二维坐标点的经修改的集合映射到表示高分辨率相机的图像平面的坐标系以获取高分辨率数据的经映射的集合716。然后将转盘旋转到第三位置并且使用二维高分辨率相机采集第三二维数据集并且使用三维深度相机采集第三三维数据集718。然后确定高分辨率数据的经映射的集合与第三二维数据集之间的对应特征以获取高分辨率对应点的第二集合720。然后将高分辨率对应点的第二集合映射到深度相机的图像平面并且确定三维网格与深度数据的第三集合之间的对应点(722。然后使用从三维网格与深度数据的第三集合之间的对应点获取的三维单应性对准三维网格和深度数据的第三集合724。然后使用经对准的三维网格和深度数据的第三集合生成经更新的三维网格726。过程重复直到获得所期望的扫描或数字化为止。[0045]以上描述的原理和示例提供用于重构真实世界对象的形状或外观的系统和方法。该系统和方法受益于将3D扫描问题精简成简化的2D到2D对应性问题,其中将对准建模为3D单应性,从而导致快速且鲁棒的闭环3D扫描过程。[0046]已经呈现的前述描述仅用以说明和描述所描述的原理的示例。该描述不旨在是穷举的或者将这些原理限制到所公开的任何确切形式。鉴于以上教导,许多修改和变化是可能的。

权利要求:1.一种用于重构三维对象的系统,包括:异构传感器的集群,包括二维高分辨率传感器、三维深度传感器和投影仪;转盘;以及校准系统,包括校准模块、处理器、存储介质和映射信息。2.权利要求1的系统,其中二维高分辨率传感器包括高分辨率RGB相机。3.权利要求2的系统,其中三维深度传感器包括三维深度相机,该三维深度相机具有比高分辨率RGB相机的像素分辨率更低的像素分辨率。4.权利要求1的系统,其中转盘可操作成递增旋转。5.权利要求4的系统,其中系统可操作成在转盘旋转的每一个增量处获取二维高分辨率数据和三维深度位置数据,并且使用高分辨率数据集的二维到二维对应性和三维单应性运算符而利用在之前转盘位置处获取到的数据来处理在当前转盘位置处获取到的数据以产生表示三维对象的几何形状的网格。6.—种用于重构三维对象的系统,包括:异构传感器的集群,包括二维高分辨率相机和三维深度相机;以及可操作成递增旋转的转盘;其中系统可操作成在转盘旋转的每一个增量处获取二维高分辨率数据和三维深度位置数据,并且使用高分辨率数据集的二维到二维对应性和三维单应性运算符而利用在之前转盘位置处获取到的数据来处理在当前转盘位置处获取到的数据以产生表示三维对象的几何形状的网格。7.权利要求6的系统,其中系统还可操作成使用多步二维单应性将高分辨率数据集的二维到二维对应性映射到深度相机的图像平面上。8.权利要求7的系统,其中多步二维单应性包括将高分辨率数据集的二维到二维对应性映射到感应平面上以产生感应坐标集合,随后将感应坐标集合映射到深度相机的图像平面上。9.权利要求7的系统,其中系统还可操作成使用深度相机的图像平面与对应于深度相机的图像平面的像素位置的深度数据之间的像素到像素映射来从深度相机提取深度信息。10.权利要求9的系统,其中系统可操作成使用从转盘的当前和之前增量提取的深度信息来计算三维单应性运算符,并且使用三维单应性运算符来对准从转盘的当前和之前增量提取的深度ί目息。11.一种用于重构三维对象的表面几何形状的方法,包括以下步骤:提供异构传感器的集群,包括二维高分辨率相机和三维深度相机以及可操作成递增旋转的转盘;将转盘旋转到第一位置并且使用二维高分辨率相机采集第一二维数据集并且使用三维深度相机采集第一三维数据集;将转盘旋转到第二位置并且使用二维高分辨率相机采集第二二维数据集并且使用三维深度相机采集第二三维数据集;确定第一和第二二维数据集之间的对应特征以获取高分辨率对应点的第一集合;将高分辨率对应点的第一集合映射到深度相机的图像平面上并且确定深度数据的第一集合和第二集合之间的对应点;以及使用从深度数据的第一集合和第二集合之间的对应点获取的三维单应性来对准深度数据的第一集合和第二集合。12.权利要求11的方法,其中多步二维单应性用于将高分辨率对应点的第一集合映射到深度相机的图像平面上,多步单应性包括以下步骤:将高分辨率数据集的二维到二维对应性映射到感应平面上以产生感应坐标集合并且将感应坐标集合映射到深度相机的图像平面上。13.权利要求12的方法,还包括以下步骤:使用深度相机的图像平面与对应于深度相机的图像平面的像素位置的深度数据之间的像素到像素映射来从深度相机提取深度信息。14.权利要求13的方法,还包括以下步骤:使用从转盘的当前和之前增量提取的深度信息来确定三维单应性运算符;使用三维单应性运算符来对准从转盘的当前和之前增量提取的深度信息;以及从经对准的深度信息生成三维网格。15.权利要求14的方法,还包括以下步骤:使用深度相机的图像平面和对应于深度相机的图像平面的像素位置的深度数据之间的像素到像素映射从三维网格确定二维坐标点的经修改的集合;将二维坐标点的经修改的集合映射到表示高分辨率相机的图像平面的坐标系以获取高分辨率数据的经映射的集合;将转盘旋转到第三位置并且使用二维高分辨率相机采集第三二维数据集并且使用三维深度相机采集第三三维数据集;确定高分辨率数据的经映射的集合与第三二维数据集之间的对应特征以获取高分辨率对应点的第二集合;将高分辨率对应点的第二集合映射到深度相机的图像平面上并且确定三维网格与深度数据的第三集合之间的对应点;使用从三维网格与深度数据的第三集合之间的对应点获取的三维单应性对准三维网格和深度数据的第三集合;以及使用经对准的三维网格和深度数据的第三集合生成经更新的三维网格。

百度查询: 惠普发展公司,有限责任合伙企业 三维扫描系统和框架

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术
相关技术