申请/专利权人：杭州海康机器人技术有限公司

申请日：2016-05-16

公开（公告）日：2020-07-03

公开（公告）号：CN107392958B

主分类号：G06T7/62(20170101)

分类号：G06T7/62(20170101)

优先权：

专利状态码：有效-授权

法律状态：2020.07.03#授权;2017.12.22#实质审查的生效;2017.11.24#公开

摘要：本发明实施例提供了一种基于双目立体摄像机确定物体体积的方法及装置。该方法包括：获得双目立体摄像机所采集的包含目标物体的双目图像；根据所述双目图像，生成包含所述目标物体的目标深度图像；基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；确定所述目标图像区域所对应的符合预定条件的目标外接矩形；基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积。可见，通过本方案实现了确定物体体积时兼顾高精度、高效率和较低经济成本的目的。

主权项：1.一种基于双目立体摄像机确定物体体积的方法，其特征在于，包括：获得双目立体摄像机所采集的包含目标物体的双目图像；根据所述双目图像，生成包含所述目标物体的目标深度图像；基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；确定所述目标图像区域所对应的符合预定条件的目标外接矩形；基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积；所述基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积，包括：提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；将所提取的各个顶点的图像坐标投影到所述目标深度图像中，形成位于所述目标深度图像中的参考点；利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积；所述利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积包括：计算所述各个参考点两两之间的欧式距离，将所计算出的欧式距离中除最长距离以外的距离值作为所述目标物体的长、宽；将预定背景深度图像所对应的深度值减去所述目标物体所对应的深度值，以得到所述目标物体的高，其中，所述目标物体所对应的深度值为所述各个参考点所对应区域所对应的深度值，所述预定背景深度图像为未包含所述目标物体的、针对于所述目标物体所在背景环境的图像；将所确定出的所述目标物体的长、宽和高的乘积确定为所述目标物体的体积。

全文数据：一种基于双目立体摄像机确定物体体积的方法及装置技术领域[0001]本发明涉及机器视觉技术领域，特别是涉及一种基于双目立体摄像机确定物体体积的方法及装置。背景技术[0002]体积数据作为物体的一项最为基本的属性信息，被广泛应用生产和物流等领域中，特别是应用于基于体积的物流计费、物体的自动装载等。其中，这里的物体指较为标准的的长方体物体。[0003]现有技术中，常用的体积确定方法包括采用激光的确定方法和采用手工标尺的确定方法。其中，采用激光的确定方法虽然具有很高的精度，但是所需昂贵的激光测量设备，性价比低，很难被用户广泛接受;而采用手工标尺的确定方法需要人工配合，且受人工操作及情绪影响，导致无论精度还是效率均无法得到保证。发明内容[0004]本发明实施例的目的在于提供一种基于双目立体摄像机确定物体体积的方法及装置，以实现确定物体体积时兼顾高精度、高效率和较低经济成本的目的。具体技术方案如下：[0005]第一方面，本发明实施例提供了一种基于双目立体摄像机确定物体体积的方法，包括：[0006]获得双目立体摄像机所采集的包含目标物体的双目图像；[0007]根据所述双目图像，生成包含所述目标物体的目标深度图像；[0008]基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；[0009]确定所述目标图像区域所对应的符合预定条件的目标外接矩形；[0010]基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积。[0011]可选的，所述根据所述双目图像，生成包含所述目标物体的目标深度图像，包括：[0012]对所述双目图像进行立体匹配，得到视差图；[0013]基于所述视差图，利用三角测量原理，计算得到包含目标物体的目标深度图像。[0014]可选的，所述根据所述双目图像，生成包含所述目标物体的目标深度图像，包括：[0015]对所述双目图像进行畸形矫正处理；[0016]对经过畸形矫正处理后的双目图像进行立体匹配，得到视差图；[0017]基于所述视差图，利用三角测量原理，计算得到包含目标物体的目标深度图像。[0018]可选的，所述基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域，包括：[0019]基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域。[0020]可选的，所述基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域，包括：[0021]将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减，其中，所述预定背景深度图像为未包含所述目标物体的、针对于所述目标物体所在背景环境的图像；[0022]基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像；[0023]对所述帧差图像进行二值化处理；[0024]从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。[0025]可选的，所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形，包括：[0026]通过连通区域分析算法或边缘检测拟合算法，确定所述目标图像区域所对应的符合预定条件的目标外接矩形。[0027]可选的，所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形，包括：[0028]确定所述目标图像区域所对应的面积值最小的目标外接矩形；[0029]或者，[0030]确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。[0031]可选的，所述基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积，包括：[0032]提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；[0033]将所提取的各个顶点的图像坐标投影到所述目标深度图像中，形成位于所述目标深度图像中的参考点；[0034]利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；[0035]利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积。[0036]第二方面，本发明实施例提供了一种基于双目立体摄像机确定物体体积的装置，包括：[0037]双目图像获得模块，用于获得双目立体摄像机所采集的包含目标物体的双目图像；[0038]深度图像生成模块，用于根据所述双目图像，生成包含所述目标物体的目标深度图像；[0039]图像区域分割模块，用于基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；[0040]外接矩形确定模块，用于确定所述目标图像区域所对应的符合预定条件的目标外接矩形；[0041]体积确定模块，用于基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积。[0042]可选的，所述深度图像生成模块包括：[0043]第一视差图确定单元，用于对所述双目图像进行立体匹配，得到视差图；[0044]第一深度图像生成单元，用于基于所述视差图，利用三角测量原理，计算得到包含目标物体的目标深度图像。[0045]可选的，所述深度图像生成模块包括：[0046]矫正处理单元，用于对所述双目图像进行畸形矫正处理；[0047]第二视差图确定单元，用于对经过畸形矫正处理后的双目图像进行立体匹配，得到视差图；[0048]第二深度图像生成单元，用于基于所述视差图，利用三角测量原理，计算得到包含目标物体的目标深度图像。[0049]可选的，所述图像区域分割模块，包括：[0050]图像区域分割单元，用于基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域。[0051]可选的，所述图像区域分割单元，包括：[0052]相减子单元，用于将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减，其中，所述预定背景深度图像为未包含所述目标物体的、针对于所述目标物体所在背景环境的图像；[0053]帧差图像形成子单元，用于基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像；[0054]二值化处理子单元，用于对所述帧差图像进行二值化处理；[0055]图像分割子单元，用于从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。[0056]可选的，所述外接矩形确定模块，包括：[0057]第一外接矩形确定单元，用于通过连通区域分析算法或边缘检测拟合算法，确定所述目标图像区域所对应的符合预定条件的目标外接矩形。[0058]可选的，所述外接矩形确定模块，包括：[0059]第二外接矩形确定单元，用于确定所述目标图像区域所对应的面积值最小的目标外接矩形；[0060]或者，[0061]第三外接矩形确定单元，用于确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。[0062]可选的，所述体积确定模块包括：[0063]图像坐标提取单元，用于提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；[0064]参考点形成单元，用于将所提取的各个顶点的图像坐标投影到所述目标深度图像中，形成位于所述目标深度图像中的参考点；[0065]三维坐标计算单元，用于利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；[0066]体积确定单元，用于利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积。[0067]本发明实施例中，在获得双目立体摄像机所采集的包含目标物体的双目图像后，根据双目图像，生成包含目标物体的目标深度图像;基于目标深度图像中的深度数据，分割得到目标物体所对应的目标图像区域;确定目标图像区域所对应的符合预定条件的目标外接矩形;基于目标外接矩形和目标深度图像中的深度数据，确定目标物体的体积。与现有技术中的采用激光的确定方法相比，本方案采用双目立体摄像机而无需激光测量设备，经济成本较低，另外，与现有技术中的采用手工标尺的确定方法相比，本方案采用软件程序自动确定体积而无需人工配合，具有较高精度和效率，可见，通过本方案实现了确定物体体积时兼顾高精度、高效率和较低经济成本的目的。附图说明[0068]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0069]图1为本发明实施例所提供的一种基于双目立体摄像机确定物体体积的方法的流程图；[0070]图2为本发明实施例所提供的一种基于双目立体摄像机确定物体体积的方法的另一流程图；[0071]图3为本发明实施例所提供的一种基于双目立体摄像机确定物体体积的方法的另一流程图；[0072]图4为本发明实施例所提供的一种基于双目立体摄像机确定物体体积的装置的结构示意图。具体实施方式[0073]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0074]为了解决现有技术问题，本发明实施例提供了一种基于双目立体摄像机确定物体体积的方法及装置，以实现确定物体体积时兼顾高精度、高效率和较低经济成本的目的。[0075]下面首先对本发明实施例所提供的一种基于双目立体摄像机确定物体体积的方法进行介绍。[0076]需要说明的是，本发明实施例所提供的一种基于双目立体摄像机确定物体体积的方法的执行主体可以为一种基于双目立体摄像机确定物体体积的装置，为了引用方便，下述将该基于双目立体摄像机确定物体体积的装置简称为确定物体体积的装置。其中，在实际应用中，该确定物体体积的装置可以为设置于双目立体摄像机中的功能软件，或者，可以为设置于与双目立体摄像机相通信的后台服务器中的功能软件，这都是合理的。另外，本发明实施例所涉及的待确定体积的物体可以为:生产和物流中的属于较为标准的长方体的工件、包裹等被物体。[0077]其中，双目立体摄像机是指通过两个摄像单元模仿人的双眼，同时进行摄像工作的装置，其拍摄的视频内容包含两个角度的视频，在显示时通过3D呈像设备分别送到观看者的两个眼睛中，观看者即可产生亲临现场的立体视觉。两个摄像单元镜头的间距称为立体基线宽度StereoBase。[0078]如图1所示，一种基于双目立体摄像机确定物体体积的方法，可以包括如下步骤：[0079]SlOl，获得双目立体摄像机所采集的包含目标物体的双目图像；[0080]S102，根据该双目图像，生成包含该目标物体的目标深度图像；[0081]在确定目标物体的体积过程中，确定物体体积的装置可以首先获得双目立体摄像机所采集的包含目标物体的双目图像，并根据该双目标图像，生成包含该目标物体的目标深度图像，进而，利用所获得的包含目标物体的目标深度图像执行后续的处理，其中，双目图像为从不同视角采集的关于目标物体的两帧图像且每帧图像中可以包括至少一个目标物体，并且，一帧目标深度图像中可以包括至少一个目标物体。可以理解的是，对于确定物体体积的装置为位于双目立体摄像机中的功能软件的情况而言，该确定物体体积的装置可以直接获得该双目立体摄像机所采集的双目图像;而对于确定物体体积的装置为位于后台服务器中的功能软件的情况而言，该确定物体体积的装置可以获得该后台服务器从该双目立体摄像机中获取的双目图像，并且，该后台服务器从该双目立体摄像机中获取双目图像的方式可以为主动获取或被动接收，这都是合理的。[0082]需要说明的是，为了保证该双目立体摄像机能够采集到目标物体的双目图像，该双目立体摄像机可以被放置于能够采集到该目标物体的双目图像的位置。并且，采集双目图像的方式可以为触发采集方式，所谓的触发采集方式可以为只有当场景中出现被测的目标物体时才开始触发双目图像的采集，举例而言，触发采集的方式可以包括光电信号触发的外部物理触发方式或智能分析自动触发方式，其中，光电信号触发的外部物理触发方式具体指当有需要确定体积的目标物体经过时，光电信号中断，从而发出触发信号给双目立体摄像机，而智能分析自动触发方式指利用运动检测算法进行自动检测来判定目标物体是否出现，进而在判断结果表明出现时双目立体摄像机可以采集关于目标物体的双目图像。[0083]具体的，在一种实现方式中，所述根据所述双目图像，生成包含所述目标物体的目标深度图像，可以包括：[0084]对该双目图像进行立体匹配，得到视差图；[0085]基于该视差图，利用三角测量原理，计算得到包含目标物体的目标深度图像。[0086]其中，对双目图像进行立体匹配所采用的匹配算法可以采用现有技术实现，其中，现有技术中对双目图像进行立体匹配所采用的匹配算法可以包括:基于局部的匹配算法和基于全局的匹配算法，其中，基于局部的匹配算法的基本思想是:先给定左子图上的某一点A，选取该像素点局部区域子窗口，然后在右子图中的一个区域内，根据特定的相似性判断标准，寻找出与左子图的子窗口最为相似的子窗口，最后在右子图中找到其中对应的像素点B就是像素点A的匹配点，其中，相似度判断准可以为平均差度量SAD或归一化互相关度量NCC;而基于全局的匹配算法的本质是将对应点的匹配问题转化为寻找某一能量函数的全局最优问题，利用图像的整体数据信息进行迭代计算视差值，着重解决图像中不确定区域的匹配问题，典型方法有图割算法Graph-Cut和动态规划算法等。进一步的，基于该视差图，利用三角测量原理计算出包含目标物体的目标深度图像，具体公式可以如下所示：[0088]其中，Z为目标深度图像中像素点的深度值，f为镜头焦距，B为双目相机的基线长度，d为该像素点所对应的视差值。[0089]在另一种实现方式中，所述根据该双目图像，生成包含该目标物体的目标深度图像，可以包括：[0090]对该双目图像进行畸形矫正处理；[0091]对经过畸形矫正处理后的双目图像进行立体匹配，得到视差图；[0092]基于该视差图，利用三角测量原理，计算得到包含目标物体的目标深度图像。[0093]其中，由于双目立体摄像机所采集的双目图像可能存在形变等问题，为了提高目标深度图像的准确性，可以首先对该双目图像进行畸形矫正处理，然后，对经过畸形矫正处理后的双目图像进行立体匹配，得到视差图，基于该视差图，利用三角测量原理，计算得到包含目标物体的目标深度图像。其中，对该双目图像进行畸形矫正处理可以采用现有技术中的张正友的摄像机标定矫正方法，当然并不局限于此。[0094]为了便于对本发明实施例的理解，将图像的深度的相关介绍如下：图片是由一个个像素点构成的，所有不同颜色的像素点构成了一副完整的图像，计算机存储图片是以二进制来进行的，其中，如果采用Ibit来存储，即用一位来存储，那么这个像素点的取值范围为0或者1，那么这帧图片要么是黑色要么是白色；如果采用4bit来存储，那么这个像素点的取值范围为〇到2的4次方;如果采用8bit来存储，那么这个像素点的取值范围为0到2的8次方，以此类推;现有技术中将计算机存储单个像素点所用到的bit为称之为图像的深度，而所谓的深度图像为能够体现出图片的深度的图片。[0095]需要强调的是，上述给出的根据该双目图像来生成包含该目标物体的目标深度图像的具体实现方式仅仅作为示例，并不应该构成对本发明实施例的限定。[0096]S103,基于该目标深度图像中的深度数据，分割得到该目标物体所对应的目标图像区域；[0097]其中，由于需要确定目标物体的体积，在获得包含目标物体的目标深度图像后，可以基于该目标深度图像中的深度数据，分割得到该目标物体所对应的目标图像区域。[0098]具体的，在一种实现方式中，所述基于目标深度图像中的深度数据，分割得到该目标物体所对应的目标图像区域，可以包括：[0099]基于该目标深度图像中的深度数据，利用深度图帧差法，分割得到该目标物体所对应的目标图像区域。[0100]需要说明的是，所述基于目标深度图像中的深度数据，分割得到该目标物体所对应的目标图像区域的具体实现方式仅仅作为示例，并不应该构成对本发明实施例的限定。另外，为了布局清楚，后续介绍基于该目标深度图像中的深度数据，利用深度图帧差法，分割得到该目标物体所对应的目标图像区域的具体实现方式。[0101]S104,确定该目标图像区域所对应的符合预定条件的目标外接矩形；[0102]其中，在分割得到该目标物体所对应的目标图像区域后，为了确定目标物体的体积，可以确定该目标图像区域所对应的符合预定条件的目标外接矩形，进而利用该目标外接矩形执行后续的处理。[0103]可以理解的是，在实际应用中，可以通过连通区域分析算法或边缘检测拟合算法，确定该目标图像区域所对应的符合预定条件的目标外接矩形，当然并不局限于连通区域分析算法和边缘检测拟合算法。具体的，所谓连通区域分析算法的基本原理为:首先对二值化图像进行连通区域标记，然后计算各连通区域的凸包，利用凸包最小面积的的外接矩形特性，即凸包上的一条边与外接矩形的一条边重合且矩形的四条边上必然都有凸包的顶点的特性，计算目标物体所对应的最小的外接矩形，其中，凸包是计算机几何中的现有基本概念，是包含该连通区域中所有点集的最小凸多边形;所谓的边缘检测拟合算法的基本原理为:直接采用直线拟合方法拟合各目标图像区域的边缘，根据边缘直线方程计算出目标图像区域的外接矩形，其中，直线拟合方法现有技术的常用方法，主要有Hough变化和最小二乘拟合。[0104]另外，需要说明的是，该目标图像区域所对应的目标外接矩形可以有多个，可以从多个目标外接矩形中获取一个符合预定条件的，进而依据所获取到的一个符合预定条件的目标外接矩形执行后续的体积确定过程。基于上述需求，所述确定该目标图像区域所对应的符合预定条件的目标外接矩形，可以包括:确定该目标图像区域所对应的面积值最小的目标外接矩形；[0105]或者，[0106]确定该目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。[0107]其中，所谓的面积值最小的目标外接矩形为最贴合目标图像区域的边缘的外接矩形，因此，可以用于后续的体积确定；另外，所谓的面积值与预定面积阈值差值最小的目标外接矩形为与作为参考标准的外接矩形误差最小的外接矩形，因此，也可以用于后续的体积确定，其中，作为参考标准的外接矩形的面积值为预定面积阈值。[0108]需要说明的是，上述的确定该目标图像区域所对应的符合预定条件的目标外接矩形的具体实现方式仅仅作为示例，并不应该构成对本发明实施例的限定。[0109]S105,基于该目标外接矩形和该目标深度图像中的深度数据，确定该目标物体的体积。[0110]在确定出目标外接矩形后，可以基于该目标外接矩形和该目标深度图像中的深度数据，通过特定的处理方式，确定该目标物体的体积。[0111]需要说明的是，基于该目标外接矩形和该目标深度图像中的深度数据来确定该目标物体的体积的具体实现方式存在多种，为了方案清楚以及布局清楚，后续将举例介绍基于该目标外接矩形和该目标深度图像中的深度数据来确定该目标物体的体积的具体实现方式。[0112]本发明实施例中，在获得双目立体摄像机所采集的包含目标物体的双目图像后，根据双目图像，生成包含目标物体的目标深度图像;基于目标深度图像中的深度数据，分割得到目标物体所对应的目标图像区域;确定目标图像区域所对应的符合预定条件的目标外接矩形;基于目标外接矩形和目标深度图像中的深度数据，确定目标物体的体积。与现有技术中的采用激光的确定方法相比，本方案采用双目立体摄像机而无需激光测量设备，经济成本较低，另外，与现有技术中的采用手工标尺的确定方法相比，本方案采用软件程序自动确定体积而无需人工配合，具有较高精度和效率，可见，通过本方案实现了确定物体体积时兼顾高精度、高效率和较低经济成本的目的。[0113]下面详细介绍基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到该目标物体所对应的目标图像区域的具体实现方式。[0114]如图2所示，所述基于该目标深度图像中的深度数据，利用深度图帧差法，分割得到该目标物体所对应的目标图像区域S103，可以包括：[0115]S1031，将该目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减；[0116]其中，该预定背景深度图像为未包含该目标物体的、针对于该目标物体所在背景环境的图像。[0117]其中，可以理解的是，该预定背景深度图像可以通过深度图像采集设备预先采集，其中，在实际应用中，该深度图像采集设备可以为现有技术中的TOF相机T0FTimeofflight，飞行时间）相机；当然，该预定背景深度图像的获得方式也可以类似本发明实施例获得包含目标物体的目标深度图像的方式，即：获得双目立体摄像机所采集的未包含目标物体、针对于该目标物体所在背景环境的双目图像，根据该双目图像，生成预定背景深度图像。[0118]S1032,基于各个像素点所对应的相减结果形成该目标深度图像所对应的帧差图像；[0119]S1033,对该帧差图像进行二值化处理；[0120]S1034,从二值化处理后的帧差图像中分割得到该目标物体所对应的目标图像区域。[0121]其中，将该目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减具体指:对于该目标深度图像中每一像素点而言，将其的深度数据减去预定背景深度图像相应像素点的深度数据。举例而言，对目标深度图像中的像素点1和预定背景深度图像中的相应像素点2进行相减，具体可以指将像素点1的深度值减去像素点2的深度值。[0122]其中，假设二值化处理的二值为0和1，那么，所谓的对该帧差图像进行二值化处理具体指:将帧差图像中的各个像素点的像素值的绝对值与预定阈值比较，如果大于阈值则将该像素点的像素值更改为1，否则，将该像素点的像素值更改为〇，当然，理论上，如果大于阈值也可以将像素点的像素值更改为0，否则，将该像素点的像素值更改为1;进而，通过这样的处理方式，使得帧差图像中目标物体所对应的目标图像区域内的各个像素点的像素值不同于目标图像区域内各个像素点的像素值，进而能够从二值化处理后的帧差图像中分割得到该目标物体所对应的目标图像区域。当然，二值化处理的二值也可以为0和255,此时，所谓的对该帧差图像进行二值化处理的具体方式与上述关于〇和1的二值化处理类似，在此不做详述。[0123]下面举例介绍基于该目标外接矩形和该目标深度图像中的深度数据，确定该目标物体的体积的具体实现方式，当然，所举例介绍的该具体实现方式仅仅作为示例，并不应该构成对本发明实施例的限定。[0124]如图3所示，所述基于该目标外接矩形和该目标深度图像中的深度数据，确定该目标物体的体积S105，可以包括：[0125]S1051，提取该目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；[0126]S1052,将所提取的各个顶点的图像坐标投影到该目标深度图像中，形成位于该目标深度图像中的参考点；[0127]S1053,利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；[0128]S1054,利用各个参考点的三维坐标和该目标深度图像的深度数据，得到该目标物体的体积。[0129]可以理解的是，帧差图像对应有二维坐标系，因此，可以提取该目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；另外，由于帧差图像为依据目标深度图像所确定出，因此，帧差图像与目标深度图像的图像规格相同，那么，帧差图像与目标深度图像的二维坐标系相同，这样位于该目标深度图像中的参考点的图像坐标与位于二值化处理后的帧差图像中相应的顶点的图像坐标相同。[0130]其中，利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标的具体实现方式可以采用现有技术实现，在此不做赘述。[0131]其中，利用各个参考点的三维坐标和该目标深度图像的深度数据，得到该目标物体的体积的具体的实现过程可以包括:计算4个参考点两两之间的欧式距离，将所计算出的欧式距离作为目标物体的长、宽，将预定背景深度图像所对应的Z值减去目标物体所对应的Z值，进一步，将所确定出的目标物体的长、宽和高的乘积确定为目标物体的体积;其中，该目标物体所对应的Z值即为4个参考点所对应区域所对应的Z值，即深度值;该预定背景深度图像所对应的Z值为深度值。[0132]相应于上述方法实施例，本发明实施例还提供了一种基于双目立体摄像机确定物体体积的装置，如图4所示，可以包括：[0133]双目图像获得模块410，用于获得双目立体摄像机所采集的包含目标物体的双目图像；[0134]深度图像生成模块420，用于根据所述双目图像，生成包含所述目标物体的目标深度图像；[0135]图像区域分割模块430,用于基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；[0136]外接矩形确定模块440，用于确定所述目标图像区域所对应的符合预定条件的目标外接矩形；[0137]体积确定模块450，用于基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积。[0138]本发明实施例中，在获得双目立体摄像机所采集的包含目标物体的双目图像后，根据双目图像，生成包含目标物体的目标深度图像;基于目标深度图像中的深度数据，分割得到目标物体所对应的目标图像区域;确定目标图像区域所对应的符合预定条件的目标外接矩形;基于目标外接矩形和目标深度图像中的深度数据，确定目标物体的体积。与现有技术中的采用激光的确定方法相比，本方案采用双目立体摄像机而无需激光测量设备，经济成本较低，另外，与现有技术中的采用手工标尺的确定方法相比，本方案采用软件程序自动确定体积而无需人工配合，具有较高精度和效率，可见，通过本方案实现了确定物体体积时兼顾高精度、高效率和较低经济成本的目的。[0139]其中，在一种实现方式中，所述深度图像生成模块420，可以包括：[0140]第一视差图确定单元，用于对所述双目图像进行立体匹配，得到视差图；[0141]第一深度图像生成单元，用于基于所述视差图，利用三角测量原理，计算得到包含目标物体的目标深度图像。[0142]其中，在另一种实现方式中，所述深度图像生成模块420,可以包括：[0143]矫正处理单元，用于对所述双目图像进行畸形矫正处理；[0144]第二视差图确定单元，用于对经过畸形矫正处理后的双目图像进行立体匹配，得到视差图；[0145]第二深度图像生成单元，用于基于所述视差图，利用三角测量原理，计算得到包含目标物体的目标深度图像。[0146]其中，在一种实现方式中，所述图像区域分割模块430,可以包括：[0147]图像区域分割单元，用于基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域。[0148]更进一步的，所述图像区域分割单元，可以包括：[0149]相减子单元，用于将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减，其中，所述预定背景深度图像为未包含所述目标物体的、针对于所述目标物体所在背景环境的图像；[0150]帧差图像形成子单元，用于基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像；[0151]二值化处理子单元，用于对所述帧差图像进行二值化处理；[0152]图像分割子单元，用于从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。[0153]其中，所述外接矩形确定模块440,可以包括：[0154]第一外接矩形确定单元，用于通过连通区域分析算法或边缘检测拟合算法，确定所述目标图像区域所对应的符合预定条件的目标外接矩形。[0155]其中，所述外接矩形确定模块440，可以包括：[0156]第二外接矩形确定单元，用于确定所述目标图像区域所对应的面积值最小的目标外接矩形；[0157]或者，[0158]第三外接矩形确定单元，用于确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。[0159]其中，所述体积确定模块450，可以包括：[0160]图像坐标提取单元，用于提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；[0161]参考点形成单元，用于将所提取的各个顶点的图像坐标投影到所述目标深度图像中，形成位于所述目标深度图像中的参考点；[0162]三维坐标计算单元，用于利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；[0163]体积确定单元，用于利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积。[0164]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。[0165]本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。[0166]以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

权利要求：1.一种基于双目立体摄像机确定物体体积的方法，其特征在于，包括：获得双目立体摄像机所采集的包含目标物体的双目图像；根据所述双目图像，生成包含所述目标物体的目标深度图像；基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；确定所述目标图像区域所对应的符合预定条件的目标外接矩形；基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积。2.根据权利要求1所述的方法，其特征在于，所述根据所述双目图像，生成包含所述目标物体的目标深度图像，包括：对所述双目图像进行立体匹配，得到视差图；基于所述视差图，利用三角测量原理，计算得到包含目标物体的目标深度图像。3.根据权利要求1所述的方法，其特征在于，所述根据所述双目图像，生成包含所述目标物体的目标深度图像，包括：对所述双目图像进行畸形矫正处理；对经过畸形矫正处理后的双目图像进行立体匹配，得到视差图；基于所述视差图，利用三角测量原理，计算得到包含目标物体的目标深度图像。4.根据权利要求1所述的方法，其特征在于，所述基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域，包括：基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域。5.根据权利要求4所述的方法，其特征在于，所述基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域，包括：将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减，其中，所述预定背景深度图像为未包含所述目标物体的、针对于所述目标物体所在背景环境的图像；基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像；对所述帧差图像进行二值化处理；从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。6.根据权利要求1所述的方法，其特征在于，所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形，包括：通过连通区域分析算法或边缘检测拟合算法，确定所述目标图像区域所对应的符合预定条件的目标外接矩形。7.根据权利要求1所述的方法，其特征在于，所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形，包括：确定所述目标图像区域所对应的面积值最小的目标外接矩形；或者，确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。8.根据权利要求1所述的方法，其特征在于，所述基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积，包括：提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；将所提取的各个顶点的图像坐标投影到所述目标深度图像中，形成位于所述目标深度图像中的参考点；利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积。9.一种基于双目立体摄像机确定物体体积的装置，其特征在于，包括：双目图像获得模块，用于获得双目立体摄像机所采集的包含目标物体的双目图像；深度图像生成模块，用于根据所述双目图像，生成包含所述目标物体的目标深度图像；图像区域分割模块，用于基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；外接矩形确定模块，用于确定所述目标图像区域所对应的符合预定条件的目标外接矩形；体积确定模块，用于基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积。10.根据权利要求9所述的装置，其特征在于，所述深度图像生成模块包括：第一视差图确定单元，用于对所述双目图像进行立体匹配，得到视差图；第一深度图像生成单元，用于基于所述视差图，利用三角测量原理，计算得到包含目标物体的目标深度图像。11.根据权利要求9所述的装置，其特征在于，所述深度图像生成模块包括：矫正处理单元，用于对所述双目图像进行畸形矫正处理；第二视差图确定单元，用于对经过畸形矫正处理后的双目图像进行立体匹配，得到视差图；第二深度图像生成单元，用于基于所述视差图，利用三角测量原理，计算得到包含目标物体的目标深度图像。12.根据权利要求9所述的装置，其特征在于，所述图像区域分割模块，包括：图像区域分割单元，用于基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域。13.根据权利要求12所述的装置，其特征在于，所述图像区域分割单元，包括：相减子单元，用于将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减，其中，所述预定背景深度图像为未包含所述目标物体的、针对于所述目标物体所在背景环境的图像；帧差图像形成子单元，用于基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像；二值化处理子单元，用于对所述帧差图像进行二值化处理；图像分割子单元，用于从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。14.根据权利要求9所述的装置，其特征在于，所述外接矩形确定模块，包括：第一外接矩形确定单元，用于通过连通区域分析算法或边缘检测拟合算法，确定所述目标图像区域所对应的符合预定条件的目标外接矩形。15.根据权利要求9所述的装置，其特征在于，所述外接矩形确定模块，包括：第二外接矩形确定单元，用于确定所述目标图像区域所对应的面积值最小的目标外接矩形；或者，第三外接矩形确定单元，用于确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。16.根据权利要求9所述的装置，其特征在于，所述体积确定模块包括：图像坐标提取单元，用于提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；参考点形成单元，用于将所提取的各个顶点的图像坐标投影到所述目标深度图像中，形成位于所述目标深度图像中的参考点；三维坐标计算单元，用于利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；体积确定单元，用于利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积。

百度查询： 杭州海康机器人技术有限公司 一种基于双目立体摄像机确定物体体积的方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD