申请/专利权人：华南理工大学

申请日：2018-12-24

公开（公告）日：2020-09-15

公开（公告）号：CN109636903B

主分类号：G06T17/00(20060101)

分类号：G06T17/00(20060101);G06T7/80(20170101)

优先权：

专利状态码：有效-授权

法律状态：2020.09.15#授权;2019.05.10#实质审查的生效;2019.04.16#公开

摘要：本发明公开了一种基于抖动的双目三维重建方法。所述方法在双目成像过程中利用抖动来高精度复原三维图像，通过采用光学平面镜或者等效的光学系统移动而相机不动的方式，来使相机之间有稳定的相对位置，这既利于系统校准，也利于探测精度的提高；又在运动中，尽量寻求匹配最不相似方向作为极几何约束趋近的运动方向，就可以在尽量短的时间内，以尽量短的运动行程，对开始寻求到的匹配点的有效性做出测定；如果原有匹配点不能满足新的极几何约束对应的匹配条件，则被淘汰，否则就会被保留；根据保留的匹配点进行三维重建，能够有效减少误匹配和不精确匹配，完成高精度的三维重建。

主权项：1.一种基于抖动的双目三维重建方法，其特征在于，所述方法包括：步骤A：水平放置两台同型号的相机，所述两台同型号的相机包括左相机和右相机；确定基线以及相机光轴与基线的夹角；所述基线为所述左相机的主节点与所述右相机的主节点之间的连线；步骤B：采用一个平面反射镜或者等效的光学系统，来将目标物反射进入相机视场；所述平面反射镜可转动和平动；步骤C：采用棋盘法标定获得两台相机的内外参数，对所述两台相机拍摄的原始左右图像进行校正和预处理；选取所述平面反射镜通过转动或平动可到达的位置，重复进行相机外参校正工作；步骤D：在初始位置，通过所述平面反射镜的镜面，得到一对关于所述目标物的初始左右图像，并通过任意一种图像匹配算法，在使用极几何约束条件的情况下，得到所述初始左右图像间的匹配点，并由所述匹配点算出相应的所述目标物上的点的空间坐标；步骤E：使所述平面反射镜做转动、平动或者做转动与平动结合的复合运动，并在运动过程中，采集左右图像；步骤F：将所述步骤D推算出的所述匹配点的坐标，推算至新采集的所述左右图像上的点或点的临近区域；判断所述左右图像间的对应匹配点是否满足左右图像间的点的匹配条件；若满足，则保留所述对应匹配点；若不满足，则将所述对应匹配点作为误匹配点或者不精确点进行淘汰；步骤G：将留下的所述对应匹配点作为正确匹配的点，采用平面插值或拟合的方法将各所述对应匹配点结果连续化，完成三维重建。

全文数据：一种基于抖动的双目三维重建方法技术领域本发明涉及机器视觉和图像匹配技术领域，特别是涉及一种基于抖动的双目三维重建方法。背景技术双目三维重建是机器视觉中的一个非常重要的领域。双目或多目三维重建有多种方法，在寻找双目图像中的对应点时，最广泛使用的办法是进行图像特征点和特征线提取，而后进行特征匹配。但是特征匹配的方法涉及到的都是二维图像，由于双目视差的存在，双目图像并不相同，只是相似，对应点邻域的图像是有差异的。这种差异引起对应点匹配不准，或者找错匹配点而产生误匹配，从而使三维复原出现误差或者错误。发明内容本发明的目的是提供一种基于抖动的双目三维重建方法，以克服现有双目视觉三维复原过程采用的匹配方法产生的误匹配和不准确匹配的问题。为实现上述目的，本发明提供了如下方案：一种基于抖动的双目三维重建方法，所述方法包括：步骤A：水平放置两台同型号的相机，所述两台同型号的相机包括左相机和右相机；确定基线以及相机光轴与基线的夹角；所述基线为所述左相机的主节点与所述右相机的主节点之间的连线；步骤B：采用一个平面反射镜或者等效的光学系统，来将目标物反射进入相机视场；所述平面反射镜可转动和平动；步骤C：采用棋盘法标定获得两台相机的内外参数，对所述两台相机拍摄的原始左右图像进行校正和预处理；选取所述平面反射镜通过转动或平动可到达的若干位置，重复进行相机外参校正工作；步骤D：在初始位置，通过所述平面反射镜的镜面，得到一对关于所述目标物的初始左右图像，并通过任意一种图像匹配算法，在使用极几何约束条件的情况下，得到所述初始左右图像间的匹配点，并由所述匹配点算出相应的所述目标物上的点的空间坐标；步骤E：使所述平面反射镜做转动、平动或者做转动与平动结合的复合运动，并在运动过程中，采集若干左右图像；步骤F：将所述步骤D推算出的所述匹配点的坐标，推算至新采集的所述左右图像上的点或点的临近区域；判断所述左右图像间的对应匹配点是否满足左右图像间的点的匹配条件；若满足，则保留所述对应匹配点；若不满足，则将所述对应匹配点作为误匹配点或者不精确点进行淘汰；步骤G：将留下的所述对应匹配点作为正确匹配的点，采用平面插值或拟合的方法将各所述对应匹配点结果连续化，完成三维重建。可选的，所述步骤B具体包括：选用一个平面反射镜或者等效的光学系统，使所述目标物的图像通过所述光学系统的反射和折射，按照固定的相对几何关系进入两台相机；通过旋转平移控制系统带动所述光学系统运动，来控制两台相机采样的左右图像之间以及两台相机与目标物之间具有可控的几何关系；所述运动包括平移和旋转。可选的，所述步骤D具体包括：在初始位置，通过所述平面反射镜的镜面，得到一对关于所述目标物的初始左右图像；确定所述初始左右图像的像素坐标和角度坐标之间的转换关系；所述转换关系包括第一转换关系、第二转换关系、第三转换关系和第四转换关系；根据所述转换关系将所述初始左右图像的像素坐标转换为角度坐标；所述初始左右图像包括初始左图像和初始右图像；确定所述角度坐标下所述初始左右图像的灰度图像的特征向量；根据所述特征向量确定所述初始左右图像上对应点的加权欧氏距离；根据所述加权欧氏距离和极几何约束条件确定所述初始左右图像间的匹配点；由所述匹配点算出相应的所述目标物上的点的空间坐标。可选的，所述根据所述转换关系将所述初始左右图像的像素坐标转换为角度坐标，具体包括：根据第一转换关系公式βL＝fLβXL,YL,αL,αR,lRL,f,A和第二转换关系公式χL＝fLχXL,YL,αL,αR,lRL,f,A将初始左图像的像素坐标转换为角度坐标；其中βL,χL为初始左图像的角度坐标；XL,YL为初始左图像的像素坐标；αL为左相机光轴和基线的夹角；αR为右相机光轴和基线的夹角；lRL为基线的长度；f为相机的等效焦距；A相机的等效放大率；fLβ为左相机的图像像素坐标与角度坐标的第一转换关系；fLχ为左相机的图像像素坐标与角度坐标的第二转换关系；根据第三转换关系公式βR＝fRβXR,YR,αL,αR,lRL,f,A和第四转换关系公式χR＝fRχXR,YR,αL,αR,lRL,f,A将初始右图像的像素坐标转换为角度坐标；其中βR,χR为初始右图像的角度坐标；XR,YR为初始右图像的像素坐标；fRβ为右相机的图像像素坐标与角度坐标的第三转换关系；fRχ为右相机的图像像素坐标与角度坐标的第四转换关系。可选的，所述根据所述特征向量确定所述初始左右图像上对应点的加权欧氏距离，具体包括：根据所述特征向量，采用加权欧式距离计算公式确定所述初始左右图像上对应点的加权欧氏距离；其中DLR为初始左图像与初始右图像上对应点的的欧式距离；wi为加权权重；TL,i为对角度坐标下的灰度图像IβL,χL的特征向量分量；TR,i为对角度坐标下的灰度图像IβR,χR的特征向量分量；n为特征向量分量的总数。可选的，所述根据所述加权欧氏距离和极几何约束条件确定所述初始左右图像间的匹配点，具体包括：当所述初始左右图像上对应点的加权欧氏距离小于预设阈值，且所述βL和所述βR满足极几何约束条件βL＝βR＝β时，确定所述初始左右图像上的对应点为所述初始左右图像间的匹配点。可选的，所述步骤E具体包括：使所述平面反射镜做转动、平动或者做转动与平动结合的复合运动，所述平面反射镜的运动轨迹要保证后续采集的各对左右图像与最开始采集所述初始左右图像有明显不同的极几何关系；在所述平面反射镜运动过程中，采集若干左右图像；在采集完一幅左右图像的情况下，所述平面反射镜的下一运动路径的选取的最终结果，应使大多数特征点获得的极几何约束条件对应的左右图像方向，是前期采集的左右图像中预判为图像结果差异最大的方向。可选的，所述步骤F具体包括：根据所述初始左右图像间的匹配点和所述平面反射镜的镜面运动轨迹确定所述匹配点随目标物一起运动而获得的新坐标；根据所述新坐标确定新采集的左右图像在角度坐标下的新灰度图像；确定所述新灰度图像的新特征向量；根据所述新特征向量确定所述左右图像上对应点的新加权欧氏距离；将所述新加权欧式距离小于预设阈值的对应点保留，舍弃所述新加权欧氏距离大于等于预设阈值的对应点。根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供一种基于抖动的双目三维重建方法，所述方法在双目成像过程中利用抖动来高精度复原三维图像，通过采用光学平面镜或者等效的光学系统移动而相机不动的方式，来使相机之间有稳定的相对位置，这既利于系统校准，也利于探测精度的提高；又在运动中，尽量寻求匹配最不相似方向作为极几何约束趋近的运动方向，就可以在尽量短的时间内，以尽量短的运动行程，对开始寻求到的匹配点的有效性做出测定；如果原有匹配点不能满足新的极几何约束对应的匹配条件，则被淘汰，否则就会被保留；根据保留的匹配点进行三维重建，能够有效减少误匹配和不精确匹配，完成高精度的三维重建。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本发明提供的基于抖动的双目三维重建系统的示意图；图2为本发明提供的相机图像的平面直角坐标转换成角度坐标的示意图；图3为本发明提供的基于抖动的三维重建方法使用棋盘法标定的示意图；图4为本发明提供的特征向量分量的几何方向与目标物运动方向如何取得一致的示意图；其中图4a为起始参照图，图4b为棋盘检查器左近而右远对照图，图4c为棋盘检查器左远而右近对照图，图4d为棋盘检查器靠近基线对照图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明的目的是提供一种基于抖动的双目三维重建方法，特别涉及双目成像过程中利用抖动来高精度复原三维图像，以解决现有双目视觉三维复原过程采用的匹配方法产生的误匹配和不准确匹配的问题。本发明的工作原理：所有的特征点的匹配特征，都是由一图像点及邻域点的灰度或者其他色度学参量解算而来。而由于视差或者物体向不同方向反射光线情况的不同，两个相机上得到的相应点及其邻域的图像是有轻微的差异的。这个差异，影响了分别位于两个不同相机图像上的对应两点通过特征向量彼此匹配的准确性。换言之，并不是两个点特征向量最相似，就意味着这两点最匹配。因此，为了使得匹配过程合理，在真实的工程应用中，匹配条件会放宽。这就会引起大量的误匹配，或者匹配精度不高的问题。只要可以从不同的、足够多的位置采集图像，在三维物体光照情况固定并使得物体形貌的信息足够体现出来的情况下，是可以避免误匹配问题的。但是，如果在相机数目有限的情况下，对于非主动光拍摄，拍摄物体和光照稳定的时间都是有限的；同时相机移动以寻求不同拍摄角度时，两相机间相对关系若不固定，也会为结果解算带来复杂性，并会降低检测复原的精度。故此，本发明基于以上两点，采用光学平面镜或者等效的光学系统的移动，而相机不动，来使相机之间有稳定的相对位置，这既利于系统校准，也利于探测精度的提高；又在运动中，尽量寻求匹配最不相似方向作为极几何约束趋近的运动方向，就可以在尽量短的时间内，以尽量短的运动行程，对开始寻求到的匹配点的有效性做出测定。如果原有匹配点不能满足新的极几何约束对应的匹配条件，则被淘汰，否则就会被保留。基于本发明的工作原理，本发明的目的通过下述技术方案实现：先通过平面反射镜或者等效的光学系统，使得两个相机在一个等效的不同位置即有视差的位置上采集图像，再进行图像中对应点求取；进而，根据图像匹配的结果解算出目标物的三维坐标；又通过平面反射镜的运动，使图像发生变动，并采集变动后的图像；并根据变动的结果，修正原有图像上的对应点坐标，或者淘汰一些误匹配点；最后，根据淘汰的结果，复原目标物的三维坐标。为使本发明的目的、工作原理、技术方案、技术特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。图1为本发明提供的基于抖动的双目三维重建系统的示意图。参见图1，本发明提供的基于抖动的双目三维重建方法具体包括：步骤A：水平放置两台同型号的相机，所述两台同型号的相机包括左相机101和右相机102；确定基线以及相机光轴与基线的夹角；所述基线为所述左相机101的主节点与所述右相机102的主节点之间的连线。如图1所示，采用水平放置的左、右两台同型号的相机，使两相机视场通过平面反射镜103反射，能够在相机视场中包含目标物体104。图2为本发明提供的相机图像的平面直角坐标转换成角度坐标的示意图。图2中，LR表示所述基线，其中L和R分别表示所述左相机101和所述右相机102这两台相机的光学系统的主节点，所述基线LR即为所述左相机101的主节点与所述右相机102的主节点之间的连线。在实验中，可以简单认定主节点为相机前镜片表面的中心但不限于此简单认定，以直尺等方式但不限于直尺的测量方式测量L和R之间的距离，作为系统设定的基线的长度lRL。O是基线LR的中点。LA和RA分别是左、右相机的光轴，αL和αR分别是左、右相机的光轴和基线LR的夹角。以A、L、R三点定出一个平面，在极几何epipolargeometry中，称为一个极平面，也是本说明书定义的基准极平面。B为所述基准极平面上任意一点。LA、RA、LB、RB与基线LR的夹角分别用αL、αR、χL、χR表示，角度的标记方法都是从基线出发向相应线条趋向目标点比如图2中的A、B点旋转记为正向。C是不在平面ALR内的目标物所在空间中的一点，平面CLR则是与平面ALR相异的另外一个极平面，其与平面ALR的夹角记为β，标记方法为从OA出发，在目标点一侧向上旋转记为正向。而角度∠CLR和∠CRL则是因在极平面CRL中，所以，也采用类似χL和χR的一样的标记方式来表示，分别记为χLC和χRC。步骤B：采用一个平面反射镜或者等效的光学系统103，来将目标物104反射进入相机视场；所述平面反射镜103可转动和平动。所述等效的光学系统103可以是例如以屋脊棱镜为主构成的光学系统。如图1所示，放置的平面反射镜103是可以通过旋转平移控制系统105例如步进电机控制，完成旋转和平移的。并且平面反射镜103运动的几何位置是可以通过运动参数确定的。换言之，所述平面反射镜103就是运动机构的主体，其旋转和平移，都是依据给定的运动参数而确定的。所示旋转和平移要有足够的精确性，换言之，所述旋转平移控制系统105采用的步进电机的空回要足够小，能够使平面反射镜103的运动位置足够准确。具体的，所述步骤B包括：步骤B1：选用一个平面反射镜或者等效的光学系统103，使所述目标物104的图像通过所述光学系统103的反射和折射，按照固定的相对几何关系进入两台相机；步骤B2：通过所述旋转平移控制系统105带动所述光学系统103运动，来控制两台相机采样的左右图像之间以及两台相机与目标物104之间具有可控的几何关系；所述运动包括平移、旋转以及平移旋转复合运动。步骤C：相机标定和图像预校正：采用棋盘法标定获得两台相机的内外参数，对所述两台相机拍摄的原始左右图像进行校正和预处理；选取所述平面反射镜通过转动或平动可到达的若干位置，重复进行相机外参校正工作。图3为本发明提供的基于抖动的三维重建方法使用棋盘法标定的示意图。如图3所示，先在目标物位置放置棋盘格301，采用棋盘法标定获得两台相机的内外参数，对两台相机拍摄得到的原始左右图像进行校正和预处理。并且通过测量获得测量系统的几何参数，包括图1中基线LR参数的精确校正。旋转和平移平面反射镜103，再次测定系统外参因为标准的商用标定程序有较大误差，这个过程可能需要手工的校正和另外计算，最后可以确定系统在步进电机控制下的运动路径所对应的系统外部参数的变化。步骤D：初次匹配与采集：在初始位置，通过所述平面反射镜103的镜面，得到一对关于所述目标物104的初始左右图像，并通过任意一种图像匹配算法，在使用极几何约束条件的情况下，得到所述初始左右图像间的匹配点，并由所述匹配点算出相应的所述目标物上的点的空间坐标。不失一般性，先对相机图像的坐标进行转换，其转换的对应性，如图2所示图2中去掉平面反射镜，而代之以等效光路，所述步骤D的详细步骤和相关定义如下：1在初始位置，通过所述平面反射镜103的镜面，得到一对关于所述目标物104的初始左右图像。所述初始左右图像包括所述左相机101拍摄的初始左图像和所述右相机102拍摄的初始右图像。2确定所述初始左右图像的像素坐标和角度坐标之间的转换关系；所述转换关系包括第一转换关系fLβ、第二转换关系fLχ、第三转换关系fRβ和第四转换关系fRχ。3根据所述转换关系将所述初始左右图像的像素坐标转换为角度坐标。如图2所示，以A、L、R三点定出一个平面，就是基准极平面，它对应极几何中β＝0的位置。真实情况下，往往不能使右光轴与RA重合，所以需用等效光轴代替，那么右相机所摄的右图像坐标要做相应的变换才能与本发明的计算相吻合。通过换算，可以确定左、右相机的图像像素坐标分别记为XL,YL和XR,YR和左、右相机角度坐标分别记为βL,χL和βR,χR之间的转换关系。其中，βL和βR是按照图2所示的β角的取角方式分别在左相机图像和右相机图像计算的结果。所述转换关系表达为如下函数关系：βL＝fLβXL,YL,αL,αR,lRL,f,A1χL＝fLχXL,YL,αL,αR,lRL,f,A2βR＝fRβXR,YR,αL,αR,lRL,f,A3χR＝fRχXR,YR,αL,αR,lRL,f,A4其中βL,χL为初始左图像的角度坐标；XL,YL为初始左图像的像素坐标；αL为左相机光轴和基线的夹角；αR为右相机光轴和基线的夹角；lRL为基线的长度；f为相机的等效焦距；A相机的等效放大率；fLβ为左相机的图像像素坐标与角度坐标的第一转换关系；fLχ为左相机的图像像素坐标与角度坐标的第二转换关系；βR,χR为初始右图像的角度坐标；XR,YR为初始右图像的像素坐标；fRβ为右相机的图像像素坐标与角度坐标的第三转换关系；fRχ为右相机的图像像素坐标与角度坐标的第四转换关系。根据第一转换关系公式βL＝fLβXL,YL,αL,αR,lRL,f,A和第二转换关系公式χL＝fLχXL,YL,αL,αR,lRL,f,A将初始左图像的像素坐标转换为角度坐标；根据第三转换关系公式βR＝fRβXR,YR,αL,αR,lRL,f,A和第四转换关系公式χR＝fRχXR,YR,αL,αR,lRL,f,A将初始右图像的像素坐标转换为角度坐标。4确定所述角度坐标下所述初始左右图像的灰度图像的特征向量。本发明实施例中，对于图像上的每一个点，都可以通过一个包含此点的一系列模板窗口，采用针对此点的灰度值或者色度学参量的值，来计算此点的特征向量的各个分量，然后依靠特征向量间的加权的欧氏距离，来计算图中相应点是否匹配。在本发明实施例中，针对所述初始左右图像在角度坐标下的灰度图像IβL,χL和IβR,χR计算其特征向量TβL,χL＝TL,1,TL,2,...,TL,12或TβR,χR＝TR,1,TR,2,...,TR,12。所述特征向量TβL,χL或TβR,χR中的12个特征向量分量分别是沿β方向、χ方向、βχ坐标系中的正45°方向和βχ坐标系中的负45°方向的指定窗口形状的平均灰度值、平均灰度一阶导值和平均灰度二阶导值。例如TβL,χL＝TL,1,TL,2,...,TL,12中，TL,1、TL,2、TL,3分别为沿β方向的指定窗口形状的平均灰度值、平均灰度一阶导值和平均灰度二阶导值；TL,4、TL,5、TL,6分别为沿χ方向即垂直β方向的指定窗口形状的平均灰度值、平均灰度一阶导值和平均灰度二阶导值；TL,7、TL,8、TL,9分别为沿βχ坐标系中的正45°方向的指定窗口形状的平均灰度值、平均灰度一阶导值和平均灰度二阶导值；TL,10、TL,11、TL,12分别为沿βχ坐标系中的负45°方向的指定窗口形状的平均灰度值、平均灰度一阶导值和平均灰度二阶导值。其中，所述βχ坐标系是以β为横坐标，χ为纵坐标构成的一个直角坐标系。被挑选出来参加匹配的点，是那些沿β方向平均灰度一阶导值T2TL,2或TR,2接近为零的点。换言之，这些点是沿着β方向上的灰度极大值或灰度极小值点。5根据所述特征向量确定所述初始左右图像上对应点的加权欧氏距离。所述初始左右图像上对应点的加权欧氏距离的计算公式如下：其中DLR为初始左图像与初始右图像上对应点的的欧式距离；wi为预先给定的计算欧式距离时的加权权重；TL,i为对角度坐标下的灰度图像IβL,χL的特征向量分量；TR,i为对角度坐标下的灰度图像IβR,χR的特征向量分量；n是特征向量分量的总数，本实施例中选n＝12。6根据所述加权欧氏距离和极几何约束条件确定所述初始左右图像间的匹配点。根据图2可以看出，三维空间中任一点C，其在左、右相机中的投影，在角度坐标中必定满足βL＝βL＝β，此即极几何约束。因此，可匹配的图像上的两点，一定要满足此约束。如果所述初始左右图像上对应点的加权欧氏距离DLR小于预设阈值，且所述βL和所述βR满足极几何约束条件βL＝βR＝β，并且除了极几何约束条件外，还确实满足其他约束条件，比如对三维物体离基线最多多近带来的约束条件，则可以认为双目图像中对应的两点是匹配的，即可以确定所述初始左右图像上的对应点为所述初始左右图像间的匹配点。7由所述匹配点算出相应的所述目标物上的点的空间坐标。步骤E：镜面运动与图像的再采集：使所述平面反射镜103做转动、平动或者做转动与平动结合的复合运动，并在运动过程中，采集若干左右图像。然而不论采用何种匹配算法匹配所述初始左右图像，都会出现误匹配的点或匹配不精确的点，由此算出的目标物上的点的空间坐标，即使考虑光学和图像系统允许的误差，也较大程度地偏离了目标物的表面所在的实际位置。因此本发明采用基于抖动的方法淘汰掉匹配点中误匹配的点或匹配不精确的点。具体的，所述步骤E包括：步骤E1：使所述平面反射镜做转动、平动或者做转动与平动结合的复合运动，所述平面反射镜的运动轨迹要保证后续采集的各对左右图像与最开始采集所述初始左右图像有明显不同的极几何关系。在所述平面反射镜103的镜面运动以前，去掉那些不能明显改变图2上β方向，也就是不能改变极几何约束对应的方向的运动方式。比如，在本发明实施例中，就要去掉使得目标物的反射像呈现平行于基线LR的运动方式的情况。步骤E2：在所述平面反射镜运动过程中，采集若干左右图像；在采集完一幅图像的情况下，所述平面反射镜的下一运动路径的选取的最终结果，应使大多数特征点获得的极几何约束条件对应的图像方向，是前期图像中预判为图像结果差异最大的方向。除去β方向，本发明实施例还提供三个方向上的最不相似判断。所述最不相似判断，可以通过所有匹配点在T4,T5,T6垂直β方向、T7,T8,T9βχ坐标系中的正45°方向、T10,T11,T12βχ坐标系中的负45°方向的分量差距的平方和来进行。所述分量差距的平方和越大，说明在此方向上越不相似，即此方向为图像结果差异最大的方向。本发明中为了叙述简便，采用Tii＝1,2,...,12表示TL,i或TR,i，例如T4,T5,T6是指TL,4,TL,5,TL,6或TR,4,TR,5,TR,6。参考图2，可以理解：对于双相机而言，平面反射镜镜面的运动，相当于被观察物目标物自带光源照明的情况下，对观察系统运动。因此，当目标物运动至一个左面靠近观察系统而右面远离系统的位置时，对于原来β0的特征点，相当于将现在的β向接近于原来的βχ坐标中的负45°方向运动了；对于原来β0的T7,T8,T9分量差距的平方和与β0的T10,T11,T12分量差距的平方和进行加和，作为系统是否做右近而左远的旋转的判定标准。对于垂直β方向的不相似性，可以通过分量T4,T5,T6的差距的平方和来判断，通过相机基线LR向目标物靠近或者远离的运动来获取新的极几何约束。平面反射镜镜面依照最不相似的判断，按预先给定的参数，做出相应的运动。运动完成后，两相机完成图像采集。图4为本发明提供的特征向量分量的几何方向与目标物运动方向如何取得一致的示意图。图4中显示了一个β0的极平面401与一个棋盘检查器402相切的各种情况：其中图a是一个情况说明的起始参照；图b是棋盘检查器402左近而右远时，摄取图像的同β方向出现与起始参照图像βχ的正45度方向相互接近的情况；图c是棋盘检查器402左远而右近时，摄取图像的同β方向出现与起始参照图像βχ的负45度方向相互接近的情况；图d则表明棋盘检查器402靠近基线RL时，沿起始参照图像垂直于β方向上，图像发生了明显的变化。步骤F：判定和舍弃匹配点：将所述步骤D推算出的所述匹配点的坐标，推算至新采集的所述左右图像上的点或点的临近区域；判断所述左右图像间的对应匹配点是否满足左右图像间的点的匹配条件；若满足，则保留所述对应匹配点；若不满足，则将所述对应匹配点作为误匹配点或者不精确点进行淘汰。具体的，所述步骤F包括：步骤F1：匹配点匹配依据的计算：对一系列在最先摄取的图像中的对应点的特征向量的相似度，在当前的新的极几何约束下，进行比较。镜面运动完成后，用最早采集的所述初始左右图像计算出来的匹配点的坐标χL,χR,β，在已知镜面的运动轨迹的情况下，可以根据所述初始左右图像间的匹配点和所述平面反射镜的镜面运动轨迹计算出所述匹配点χL,χR,β随被测物目标物一起运动而获得的新的坐标χL',χR',β'，因此所述新坐标χL',χR',β'可以在新采集的左右图像中找到对应点及其新灰度图像IχL',β'和IχR',β'。计算所述新灰度图像IχL',β'和IχR',β'的特征向量作为新特征向量，然后依据公式5，可以计算新采集的作用图像对中对应点之间的加权欧式距离作为新加权欧氏距离。需要注意的是，由于图像发生了变化，因此所述新加权欧氏距离的计算结果，与在最早的初始左右图像对中算出的结果并不相同。而且，对应点的灰度值，以及求取平均值和导数的窗口所需要的相邻点的灰度值，在新采集的左右图像的对应数据中，可能并不存在，而要依靠插值，才能确定灰度图像的灰度值。步骤F2：将比较的结果与预先设定的阈值比较，通过阈值来确定哪些对应点可以保留，而哪些点不满足条件，要舍弃。将所述新加权欧式距离与预设阈值进行比较，将小于预设阈值的对应点保留，大于等于预设阈值的对应点舍弃，最终保留下的点即为准确匹配的匹配点。步骤G：三维重建：将留下的所述对应匹配点作为正确匹配的点，采用平面插值或拟合的方法将各所述对应匹配点结果连续化，完成三维重建。本发明在目标物不动的情况下，能够以稳定精确的方式，使相机内图像运动，同时两个相机的相对位置不动，可以使得图像解算需要的外部参量值稳定精确；此外，本发明方法能够快速、短行程地为图像匹配补充所需的匹配信息，高效减少误匹配，完成高精度的三维重建。本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述得比较简单，相关之处参见方法部分说明即可。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

权利要求：1.一种基于抖动的双目三维重建方法，其特征在于，所述方法包括：步骤A：水平放置两台同型号的相机，所述两台同型号的相机包括左相机和右相机；确定基线以及相机光轴与基线的夹角；所述基线为所述左相机的主节点与所述右相机的主节点之间的连线；步骤B：采用一个平面反射镜或者等效的光学系统，来将目标物反射进入相机视场；所述平面反射镜可转动和平动；步骤C：采用棋盘法标定获得两台相机的内外参数，对所述两台相机拍摄的原始左右图像进行校正和预处理；选取所述平面反射镜通过转动或平动可到达的若干位置，重复进行相机外参校正工作；步骤D：在初始位置，通过所述平面反射镜的镜面，得到一对关于所述目标物的初始左右图像，并通过任意一种图像匹配算法，在使用极几何约束条件的情况下，得到所述初始左右图像间的匹配点，并由所述匹配点算出相应的所述目标物上的点的空间坐标；步骤E：使所述平面反射镜做转动、平动或者做转动与平动结合的复合运动，并在运动过程中，采集若干左右图像；步骤F：将所述步骤D推算出的所述匹配点的坐标，推算至新采集的所述左右图像上的点或点的临近区域；判断所述左右图像间的对应匹配点是否满足左右图像间的点的匹配条件；若满足，则保留所述对应匹配点；若不满足，则将所述对应匹配点作为误匹配点或者不精确点进行淘汰；步骤G：将留下的所述对应匹配点作为正确匹配的点，采用平面插值或拟合的方法将各所述对应匹配点结果连续化，完成三维重建。2.根据权利要求1所述的双目三维重建方法，其特征在于，所述步骤B具体包括：选用一个平面反射镜或者等效的光学系统，使所述目标物的图像通过所述光学系统的反射和折射，按照固定的相对几何关系进入两台相机；通过旋转平移控制系统带动所述光学系统运动，来控制两台相机采样的左右图像之间以及两台相机与目标物之间具有可控的几何关系；所述运动包括平移和旋转。3.根据权利要求1所述的双目三维重建方法，其特征在于，所述步骤D具体包括：在初始位置，通过所述平面反射镜的镜面，得到一对关于所述目标物的初始左右图像；确定所述初始左右图像的像素坐标和角度坐标之间的转换关系；所述转换关系包括第一转换关系、第二转换关系、第三转换关系和第四转换关系；根据所述转换关系将所述初始左右图像的像素坐标转换为角度坐标；所述初始左右图像包括初始左图像和初始右图像；确定所述角度坐标下所述初始左右图像的灰度图像的特征向量；根据所述特征向量确定所述初始左右图像上对应点的加权欧氏距离；根据所述加权欧氏距离和极几何约束条件确定所述初始左右图像间的匹配点；由所述匹配点算出相应的所述目标物上的点的空间坐标。4.根据权利要求3所述的双目三维重建方法，其特征在于，所述根据所述转换关系将所述初始左右图像的像素坐标转换为角度坐标，具体包括：根据第一转换关系公式βL＝fLβXL,YL,αL,αR,lRL,f,A和第二转换关系公式χL＝fLχXL,YL,αL,αR,lRL,f,A将初始左图像的像素坐标转换为角度坐标；其中βL,χL为初始左图像的角度坐标；XL,YL为初始左图像的像素坐标；αL为左相机光轴和基线的夹角；αR为右相机光轴和基线的夹角；lRL为基线的长度；f为相机的等效焦距；A相机的等效放大率；fLβ为左相机的图像像素坐标与角度坐标的第一转换关系；fLχ为左相机的图像像素坐标与角度坐标的第二转换关系；根据第三转换关系公式βR＝fRβXR,YR,αL,αR,lRL,f,A和第四转换关系公式χR＝fRχXR,YR,αL,αR,lRL,f,A将初始右图像的像素坐标转换为角度坐标；其中βR,χR为初始右图像的角度坐标；XR,YR为初始右图像的像素坐标；fRβ为右相机的图像像素坐标与角度坐标的第三转换关系；fRχ为右相机的图像像素坐标与角度坐标的第四转换关系。5.根据权利要求3所述的双目三维重建方法，其特征在于，所述根据所述特征向量确定所述初始左右图像上对应点的加权欧氏距离，具体包括：根据所述特征向量，采用加权欧式距离计算公式确定所述初始左右图像上对应点的加权欧氏距离；其中DLR为初始左图像与初始右图像上对应点的的欧式距离；wi为加权权重；TL,i为对角度坐标下的灰度图像IβL,χL的特征向量分量；TR,i为对角度坐标下的灰度图像IβR,χR的特征向量分量；n是特征向量分量的总数。6.根据权利要求3所述的双目三维重建方法，其特征在于，所述根据所述加权欧氏距离和极几何约束条件确定所述初始左右图像间的匹配点，具体包括：当所述初始左右图像上对应点的加权欧氏距离小于预设阈值，且所述βL和所述βR满足极几何约束条件βL＝βR＝β时，确定所述初始左右图像上的对应点为所述初始左右图像间的匹配点。7.根据权利要求1所述的双目三维重建系统，其特征在于，所述步骤E具体包括：使所述平面反射镜做转动、平动或者做转动与平动结合的复合运动，所述平面反射镜的运动轨迹要保证后续采集的各对左右图像与最开始采集的所述初始左右图像有明显不同的极几何关系；在所述平面反射镜运动过程中，采集若干左右图像；在采集完一幅左右图像的情况下，所述平面反射镜的下一运动路径的选取的最终结果，应使大多数特征点获得的极几何约束条件对应的左右图像方向，是前期采集的左右图像中预判为图像结果差异最大的方向。8.根据权利要求6所述的双目三维重建系统，其特征在于，所述步骤F具体包括：根据所述初始左右图像间的匹配点和所述平面反射镜的镜面运动轨迹确定所述匹配点随目标物一起运动而获得的新坐标；根据所述新坐标确定新采集的左右图像在角度坐标下的新灰度图像；确定所述新灰度图像的新特征向量；根据所述新特征向量确定所述左右图像上对应点的新加权欧氏距离；将所述新加权欧式距离小于预设阈值的对应点保留，舍弃所述新加权欧氏距离大于等于预设阈值的对应点。

百度查询： 华南理工大学 一种基于抖动的双目三维重建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD