申请/专利权人：洛阳中科众创空间科技有限公司

申请日：2017-12-22

公开（公告）日：2020-11-24

公开（公告）号：CN108564536B

主分类号：G06T5/00(20060101)

分类号：G06T5/00(20060101)

优先权：

专利状态码：有效-授权

法律状态：2020.11.24#授权;2018.10.23#实质审查的生效;2018.09.21#公开

摘要：一种深度图的全局优化方法，该方法充分利用左右视角视差数据的差值信息和颜色数据的边缘梯度信息来对深度图进行全局优化。首先，基于区域生长法分别对初始左右视角视差数据进行区域滤波，去除孤立的小块状有误视差；然后，利用优化后的左右视差数据的差值信息并采用模型来计算视差置信度系数数据，实验证明该方法简洁有效；最后，将左视角视差数据和置信度系数数据，经视角投影转换成彩色相机视角下的初始深度数据和置信度数据，充分利用彩色图像的边缘信息，构造关于深度数据的线性方程组，通过超松弛迭代法解算可得优化后深度数据。该方法可实时获取高精度深度数据，经过优化的深度图光滑、保有边缘且大片空洞能较好填充。

主权项：1.一种深度图的全局优化方法，其特征在于，该方法包括如下步骤：步骤一、基于区域生长法分别对初始左视角视差数据和初始右视角视差数据进行区域滤波，去除孤立的块状区域有误视差，得到优化后的左视角视差数据和优化后的右视角视差数据；基于区域生长法去除块状区域有误视差的具体过程如下：S1、新建两个大小与初始左视角视差数据和初始右视角视差数据相等且初值为零的图像Buff和Dst，Buff用来记录生长过的像素点，Dst用来标记满足条件的图像块状区域；S2、设定第一阈值和第二阈值；所述第一阈值为视差大小的差值，第二阈值为块状区域有误视差的面积；S3、遍历每个未生长过的像素点，以当前点为种子点，压入区域生长函数；S4、新建栈vectorGrowPoints和栈resultPoints，从栈vectorGrowPoints中取出末尾点，再按该点八个方向：{-1，-1}，{0，-1}，{1，-1}，{1，0}，{1，1}，{0，1}，{-1，1}，{-1，0}取出未生长过的像素点视差值与种子点视差值进行比较，若小于第一阈值，则认为符合条件，分别压入栈vectorGrowPoints和栈resultPoints中，并将生长过的点在Buff中做标记，重复上述过程，直到栈vectorGrowPoints中没有点为止；若栈resultPoints中的点数小于第二阈值，则在Dst中做标记；S5、重复步骤S3和S4，将Dst中做过标记的区域在视差数据中去除，得到优化后的左视角视差数据和优化后的右视角视差数据；步骤二、由步骤一优化后的左视角视差数据和优化后的右视角视差数据计算左视角置信度系数数据；计算左视角置信度系数数据的具体方法为：Op＝e-|ld-rd|，其中，ld为步骤一优化后的左视角视差数据，rd为对应的步骤一优化后的右视角视差数据，Op为左视角置信度系数数据；步骤三、由步骤一优化后的左视角视差数据和相机参数计算左视角深度数据；将左视角深度数据和步骤二得到的左视角置信度系数数据同时通过视角投影转换，得到RGB相机视角下的初始深度数据和置信度系数数据；步骤四、利用RGB图像边缘信息计算边缘约束系数数据，之后将边缘约束系数数据、步骤三RGB相机视角下的初始深度数据和置信度系数数据利用全局优化目标函数生成优化后的深度数据。

全文数据：一种深度图的全局优化方法技术领域[0001]本发明涉及计算机视觉、图像处理技术领域，具体的说是一种深度图的全局优化方法。背景技术[0002]从不同视角获取场景的两幅图像，可通过场景在两幅图像中的位置偏移来估算场景的深度信息。这种位置偏移对应为图像像素点的视差，可直接转换为场景深度，一般用深度图表示。然而，当场景出现纹理缺失和纹理重复时，计算的深度图在对应区域上可能出现大片空洞。现有的方法，一方面，通过对场景进行人为补偿如粘贴标志点、投射光斑等来丰富纹理，但存在操作不便、无法操作、不起作用等情况；另一方面，直接对深度图进行优化，但存在方法复杂、过度优化或不符实际等情况。发明内容[0003]为了解决现有技术中的不足，本发明提供了一种深度图的全局优化方法，该方法实现深度图的滤波去噪及大片空洞的填补，将左右视角视差数据转换到RGB相机视角下，充分利用RGB图像边缘信息，简洁高效。[0004]为了实现上述目的，本发明采用的具体方案为:一种深度图的全局优化方法，该方法包括如下步骤：步骤一、基于区域生长法分别对初始左视角视差数据和初始右视角视差数据进行区域滤波，去除孤立的块状区域有误视差，得到优化后的左视角视差数据和优化后的右视角视差数据;基于区域生长法去除块状区域有误视差的具体过程如下：51、新建两个大小与原视差图像相等且初值为零的图像Buff和Dst，Buff用来记录生长过的像素点，Dst用来标记满足条件的图像块状区域；52、设定第一阈值和第二阈值;所述第一阈值为视差差值，第二阈值为块状区域有误视差的面积值；53、遍历每个未生长过的像素点，以当前点为种子点，压入区域生长函数；54、新建栈vectorGrowPoints和栈resultPoints，从栈vectorGrowPoints中取出末尾点，再按该点八个方向：，{〇，_1}，{1，_1}，{1，〇}，{1，1}，{〇，1}，{_1，1}，{_1，〇}取出未生长过的像素点视差值与种子点视差值进行比较，若小于第一阈值，则认为符合条件，分别压入栈vectorGrowPoints和栈resultPoints中，并将生长过的点在Buff中做标记，重复上述过程，直到栈vectorGrowPoints中没有点为止;若栈resultPoints中的点数小于第二阈值，则在Dst中做标记；55、重复步骤S3和S4,将Dst中做过标记的区域在视差数据中去除，得到优化后的左视角视差数据和优化后的右视角视差数据；步骤二、由步骤一优化后的左视角视差数据和优化后的右视角视差数据计算左视角置信度系数数据;计算左视角置信度系数数据的具体方法为=其中，Id为步骤一优化后左视角视差数据，rd为对应的步骤一优化后右视角视差数据，αΡ为左视角置信度系数数据；步骤三、由步骤一优化后的左视角视差数据和相机参数计算左视角深度数据;将左视角深度数据和步骤二得到的左视角置信度系数数据同时通过视角投影转换，得到RGB相机视角下的初始深度数据和置信度系数数据；步骤四、利用RGB图像边缘信息计算边缘约束系数数据，之后将边缘约束系数数据、步骤三RGB相机视角下的初始深度数据和置信度系数数据利用全局优化目标函数生成优化后的深度数据。[0005]作为优选的，获取深度图像过程中用到一种获取装置，所述获取装置包括两个近红外相机和一个RGB相机。[0006]作为优选的，步骤三中，RGB相机视角下的初始深度数据具体计算过程如下：Tl、遍历图像像素，已知左右近红外相机基线和焦距，将视差值转换为深度值；T2、由深度值及左近红外相机或者近红外右相机的内参数，计算对应空间点在该坐标系下的三维坐标；T3、由左近红外相机或者右近红外相机坐标系与RGB相机坐标系的相对位置关系及左右近红外相机之间的立体矫正矩阵，计算对应空间点在RGB相机坐标系下的三维坐标;T4、由RGB相机的内参数，计算对应空间点在RGB图像平面上的投影及深度值，即得RGB相机视角下的初始深度数据。[0007]作为优选的，步骤四采用的全局优化目标函数为：其中，^为图像上像素点P的初始深度数据，Dp为待求深度数据，叫为像素点p的左视角置信度系数数据，《qp为边缘约束系数数据，q为p的四邻域像素点；当£D最小时，优化结束;假设图像有η个像素点，为使εD达到最小，令全局优化目标函数等号右侧部分对每一个叫求导等于零，得到η个方程，整理得AX=B的线性方程组，其中A为ηΧη的系数矩阵，仅与αΡ和ωqp有关，B为ηX1的常数矩阵，仅与叫和^有关，X即为待求深度数据列向量[Di，D2，…，Dn]τ，通过迭代计算，得优化后的深度数据。[0008]作为优选的，对任意像素点ρ，AX=B中第ρ行为：，，计算得系数矩阵A和常数矩阵Β。[0009]作为优选的，系数矩阵A和常数矩阵B的具体计算过程如下：1、首先对RGB图像求梯度为像素点q和P的灰度差值，然后=1〖，其取值范围在[0，1]之间，其中β为调优参数，且β=20;2、由αρ和COqp计算系数矩阵Α，其中A的第P行为：（αρ+Σp,qeEWpq+COqpDp-Ep,qeEc〇pq+coqpDq，得该行有5个非零值，所述5个非零值为该像素点ρ和该像素点ρ的四邻域像素点对应元素，其中，该像素点p所对应的元素aP+ΣP,qeEωpq+ωqp，该像素点p的四邻域像素点q所对应的元素_ωΜ+COqp;3、由％和初始深度值计算常数矩阵B，其中B的第p行为（[0010]作为优选的，采用超松弛迭代法解算线性方程组，得到优化后的深度数据。[0011]有益效果：1本发明提供了一种深度图的全局优化方法，该方法基于一个获取装置，所述获取装置包括两个近红外相机NIR和一个可见光RGB相机，近红外相机构成一个双目立体视觉系统，实时获取深度图，并与可见光相机采集的RGB图像配准;充分利用左右视角视差数据的全局信息和颜色数据的边缘约束来对深度图进行全局优化，将左右视角视差数据转换到RGB相机视角下，利用RGB图像边缘信息;在计算置信度系数数据时，采用eTx模型直接利用左右视角视差数据的方法，实验证明该方法简洁有效。简洁体现在:现有方法中，置信度系数的确定是通过拟合像素点相邻三个整数视差值的匹配代价二次曲线的方法，该法需要重新计算视差匹配代价，并对像素点的三个匹配代价值做二次拟合，通过判断曲线朝向来确定4的正负值，因此，本发明方法与现有技术相比较为简洁;有效体现在:经过优化的深度图光滑、保有边缘且大片空洞能较好填充；2本发明提供了一种深度图的全局优化方法，采用区域生长法分别对初始左视角视差数据和初始右视角视差数据进行区域滤波，实验证明，该方法遍历一次图像即可完成标记，且能够有效地将视差值相似且明显不同于周围视差值的小块孤立区域有误视差去除。附图说明[0012]图1是本发明流程图；图2为优化前头部大片空洞深度图；图3为本发明全局优化方法优化后的深度图。具体实施方式[0013]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0014]请参阅本发明流程图图1，本发明所有相机的内外参数均为已知，并通过现有技术计算得初始左视角视差数据和初始右视角视差数据，在此不做赘述。一种深度图的全局优化方法，该方法基于一个获取装置获取深度图像过程中用到一种获取装置，所述获取装置包括两个近红外相机和一个RGB相机，该方法包括如下步骤：步骤一、基于区域生长法分别对初始左视角视差数据和初始右视角视差数据进行区域滤波，去除孤立的块状区域有误视差，得到优化后的左视角视差数据和优化后的右视角视差数据;一般生成的视差数据均经过左右校验，已经去除了大量误匹配的点视差，但仍存在呈小块区域的有误视差，本发明首先分别对左右视角视差数据进行区域滤波，去除视差值相似的小块孤立区域，进一步提高了视差质量，基于区域生长法去除块状区域有误视差的具体过程如下：Sl、新建两个大小与原视差图像相等且初值为零的图像Buff和Dst，Buff用来记录生长过的像素点，Dst用来标记满足条件的图像块状区域；52、设定第一阈值和第二阈值;所述第一阈值为视差差值，第二阈值为块状区域有误视差的面积值;作为优选的，所述第一阈值为10，第二阈值为60;53、遍历每个未生长过的像素点，以当前点为种子点，压入区域生长函数；54、新建栈vectorGrowPoints和栈resultPoints，从栈vectorGrowPoints中取出末尾点，再按该点八个方向：，{〇，_1}，{1，_1}，{1，〇}，{1，1}，{〇，1}，{_1，1}，{_1，〇}取出未生长过的像素点视差值与种子点视差值进行比较，若小于第一阈值，则认为符合条件，分别压入栈vectorGrowPoints和栈resultPoints中，并将生长过的点在Buff中做标记，重复上述过程，直到栈vectorGrowPoints中没有点为止;若栈resultPoints中的点数小于第二阈值，则在Dst中做标记；55、重复步骤S3和S4,将Dst中做过标记的区域在视差数据中去除，得到优化后的左视角视差数据和优化后的右视角视差数据；步骤二、由步骤一优化后的左视角视差数据和优化后的右视角视差数据计算左视角置信度系数数据;计算左视角置信度系数数据的具体方法为:aP=eT|1^d|，其中，Id为步骤一优化后左视角视差数据，rd为对应的步骤一优化后右视角视差数据，αΡ为左视角置信度系数数据;现有方法中，存在通过拟合匹配代价曲线确定该点视差置信度系数数据的方法，实现过程较繁琐，本发明计算置信度系数数据的方法简洁高效。左视角置信度系数数据对优化效果起决定性的作用，而αΡ取值的可信度又与视差数据的准确性紧密相关，视差数据中的小块有误视差会导致优化后对应区域出现大块有误深度数据，因此，本发明提出基于区域生长法去除块状有误视差的方法来提高视差质量；步骤三、由步骤一优化后的左视角视差数据和相机参数计算左视角深度数据;将左视角深度数据和步骤二得到的左视角置信度系数数据同时通过视角投影转换，得到RGB相机视角下的初始深度数据和置信度系数数据;RGB相机视角下的初始深度数据具体计算过程如下：Tl、遍历图像像素，已知左右近红外相机基线和焦距，将视差值转换为深度值；T2、由深度值及左近红外相机或者近红外右相机的内参数，计算对应空间点在该坐标系下的三维坐标；T3、由左近红外相机或者右近红外相机坐标系与RGB相机坐标系的相对位置关系及左右近红外相机之间的立体矫正矩阵，计算对应空间点在RGB相机坐标系下的三维坐标;T4、由RGB相机的内参数，计算对应空间点在RGB图像平面上的投影及深度值，即得RGB相机视角下的初始深度数据；步骤四、利用RGB图像边缘信息计算边缘约束系数数据，之后将边缘约束系数数据、步骤三RGB相机视角下的初始深度数据和置信度系数数据利用全局优化目标函数生成优化后的深度数据，采用的全局优化目标函数为：[0015]其中，为图像上像素点P的初始深度数据，Dp为待求深度数据，αρ为像素点P的左视角置信度系数数据，ωqp为边缘约束系数数据，q为ρ的四邻域像素点；当ε⑼最小时，优化结束;假设图像有η个像素点，为使εD达到最小，令全局优化目标函数等号右侧部分对每一个Dp求导等于零，得到η个方程，整理得AX=B的线性方程组，其中A为ηΧη的系数矩阵，仅与αρ和ωqp有关，B为ηX1的常数矩阵，仅与αρ和有关，X即为待求深度数据列向量[Di，D2，…，Dn]τ，通过迭代计算，得优化后的深度数据。[0016]对任意像素点ρ，AX=B中第ρ行为：mu计算得系数矩阵A和常数矩阵Β。[0017]步骤三已获取初始深度数据，下面计算系数矩阵和常数矩阵，对于百万分辨率的图像，深度数据量可达百万，而系数矩阵数据量是平方级，为满足GHJ实时实现，本发明采用超松弛迭代法SOR解算线性方程组，完成深度数据优化，如图2和图3所示，图2为优化前头部大片空洞深度图；图3为利用本发明全局优化方法优化后的深度图。系数矩阵A和常数矩阵B的具体计算过程如下：1、首先对RGB图像求梯度为像素点q和P的灰度差值，然后u.其取值范围在[0，1]之间，其中β为调优参数，且β=20,通过此步骤求解ωqp，ωqp对深度效果的影响是保持深度边缘，使其不被过度平滑；2、由αp和ωqp计算系数矩阵A，其中A的第ρ行为：，得该行有5个非零值，所述5个非零值为该像素点ρ和该像素点P的四邻域像素点对应元素，其中，该像素点P所对应的元素αP+ΣP,qeEωpq+ωqp，该像素点P的四邻域像素点q所对应的元素-ωpq+ωqp;3、由％和初始深度彳]汁算常数矩阵B，其中B的第ρ行为⑷、由SOR法解算线性方程组，得到优化后的深度数据。[0018]本发明提供了一种深度图的全局优化方法，该方法对场景初始深度进行全局优化，实现深度实时高精度获取，主要解决场景纹理缺少或重复时，导致计算的视差数据中存在大量空洞的问题，如头发处，纹理单一，且即使采用主动光源投射结构光，也极易被吸收而缺少特征。可用于三维重建、体感交互等案例中。在三维重建中，为实时高精度重建提供各个视角下的优质深度数据，可简化后续优化处理操作。在体感交互中，通过对不同交互者模型的建立，将真实画面展现在对方面前。[0019]还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。[0020]对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

权利要求：1.一种深度图的全局优化方法，其特征在于，该方法包括如下步骤：步骤一、基于区域生长法分别对初始左视角视差数据和初始右视角视差数据进行区域滤波，去除孤立的块状区域有误视差，得到优化后的左视角视差数据和优化后的右视角视差数据;基于区域生长法去除块状区域有误视差的具体过程如下：51、新建两个大小与原视差图像相等且初值为零的图像Buff和Dst，Buff用来记录生长过的像素点，Dst用来标记满足条件的图像块状区域；52、设定第一阈值和第二阈值;所述第一阈值为视差大小的差值，第二阈值为块状有误视差的面积；53、遍历每个未生长过的像素点，以当前点为种子点，压入区域生长函数；54、新建栈vectorGrowPoints和栈resultPoints，从栈vectorGrowPoints中取出末尾点，再按该点八个方向：取出未生长过的像素点视差值与种子点视差值进行比较，若小于第一阈值，则认为符合条件，分别压入栈vectorGrowPoints和栈resultPoints中，并将生长过的点在Buff中做标记，重复上述过程，直到栈vectorGrowPoints中没有点为止;若栈resultPoints中的点数小于第二阈值，则在Dst中做标记；55、重复步骤S3和S4,将Dst中做过标记的区域在视差数据中去除，得到优化后的左视角视差数据和优化后的右视角视差数据；步骤二、由步骤一优化后的左视角视差数据和优化后的右视角视差数据计算左视角置信度系数数据;计算左视角置信度系数数据的具体方法为:aP=eT|1^d|，其中，Id为步骤一优化后左视角视差数据，rd为对应的步骤一优化后右视角视差数据，αΡ为左视角置信度系数数据；步骤三、由步骤一优化后的左视角视差数据和相机参数计算左视角深度数据;将左视角深度数据和步骤二得到的左视角置信度系数数据同时通过视角投影转换，得到RGB相机视角下的初始深度数据和置信度系数数据；步骤四、利用RGB图像边缘信息计算边缘约束系数数据，之后将边缘约束系数数据、步骤三RGB相机视角下的初始深度数据和置信度系数数据利用全局优化目标函数生成优化后的深度数据。2.如权利要求1所述的一种深度图的全局优化方法，其特征在于:获取深度图像过程中用到一种获取装置，所述获取装置包括两个近红外相机和一个RGB相机。3.如权利要求1所述的一种深度图的全局优化方法，其特征在于:步骤三中，RGB相机视角下的初始深度数据具体计算过程如下：Tl、遍历图像像素，已知左右近红外相机基线和焦距，将视差值转换为深度值；T2、由深度值及左近红外相机或者近红外右相机的内参数，计算对应空间点在该坐标系下的三维坐标；T3、由左近红外相机或者右近红外相机坐标系与RGB相机坐标系的相对位置关系及左右近红外相机之间的立体矫正矩阵，计算对应空间点在RGB相机坐标系下的三维坐标；T4、由RGB相机的内参数，计算对应空间点在RGB图像平面上的投影及深度值，即得RGB相机视角下的初始深度数据。4.如权利要求1所述的一种深度图的全局优化方法，其特征在于:步骤四采用的全局优化目标函数为：其中为图像上像素点P的初始深度数据，Dp为待求深度数据，叫为像素点P的左视角置信度系数数据，为边缘约束系数数据，q为P的四邻域像素点；当ε⑼最小时，优化结束;假设图像有η个像素点，为使ε〇达到最小，令全局优化目标函数等号右侧部分对每一个叫求导等于零，得到η个方程，整理得AX=B的线性方程组，其中A为ηΧη的系数矩阵，仅与％和ωqp有关，B为ηX1的常数矩阵，仅与^和馬有关，X即为待求深度数据列向量[Di，D2，…，Dn]Τ，通过迭代计算，得优化后的深度数据。5.如权利要求4所述的一种深度图的全局优化方法，其特征在于:对任意像素点ρ，ΑΧ=B中第ρ行为：计算得系数矩阵A和常数矩阵B。6.如权利要求5所述的一种深度图的全局优化方法，其特征在于：系数矩阵A和常数矩阵B的具体计算过程如下：1、首先对RGB图像求梯度▽，为像素点q和ρ的灰度差值，然后淇取值范围在[〇，1]之间，其中β为调优参数，且β=20;2、由叫和coqp计算系数矩阵A，其中A的第ρ行为：c〇pq+coqpDq，得该行有5个非零值，所述5个非零值为该像素点ρ和该像素点ρ的四邻域像素点对应元素，其中，该像素点P所对应的元素，该像素点P的四邻域像素点q所对应的元素-3、由叫和初始深度值计算常数矩阵B，其中B的第ρ行为7.如权利要求6所述的一种深度图的全局优化方法，其特征在于:采用超松弛迭代法解算线性方程组，得到优化后的深度数据。

百度查询： 洛阳中科众创空间科技有限公司 一种深度图的全局优化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD