申请/专利权人：富士通株式会社

申请日：2017-07-31

公开（公告）日：2021-10-12

公开（公告）号：CN107730533B

主分类号：G06T7/223(20170101)

分类号：G06T7/223(20170101);G06T7/269(20170101);G06K9/00(20060101);G06K9/62(20060101)

优先权：["20160810 JP 2016-157702"]

专利状态码：有效-授权

法律状态：2021.10.12#授权;2018.03.20#实质审查的生效;2018.02.23#公开

摘要：本发明涉及图像处理方法、图像处理设备和存储图像处理程序的介质。一种用于跟踪对象的图像处理方法，该方法包括：通过参考存储由捕获装置捕获的过去帧的存储装置，在下一帧中指定搜索第一目标的第一范围和搜索第二目标的第二范围；在下一帧中指定的第一范围和第二范围彼此交叠的区域等于或大于预定值的情况下，改变下一帧中的第一范围和或第二范围，使得交叠区域小于预定值；以及在改变的第一范围和改变的第二范围中搜索与第一目标对应的区域和与第二目标对应的区域，并且在下一帧中指定与第一目标对应的区域和与第二目标对应的区域。

主权项：1.一种计算机可读存储介质，所述计算机可读存储介质存储图像处理程序，所述图像处理程序使计算机执行以下处理：在从由捕获装置捕获的前一帧提取出与第一目标对应的第一区域和与第二目标对应的第二区域的情况下，通过参考存储由所述捕获装置捕获的过去帧的存储装置，在下一帧中指定搜索所述第一目标的第一范围和搜索所述第二目标的第二范围；在所述下一帧中指定的所述第一范围和所述第二范围彼此交叠的区域等于或大于预定值的情况下，改变所述下一帧中的所述第一范围和或所述第二范围，使得交叠区域小于所述预定值；以及在改变的第一范围和改变的第二范围中搜索与所述第一目标对应的区域和与所述第二目标对应的区域，并且在所述下一帧中指定与所述第一目标对应的区域和与所述第二目标对应的区域，其中，在指定范围的处理中，通过基于所述第一目标在所述过去帧中的移动历史计算第一速度矢量来指定所述第一范围，并且通过基于所述第二目标在所述过去帧中的移动历史计算第二速度矢量来指定所述第二范围，其中，在改变范围的处理中，通过以下处理来改变所述下一帧中的所述第一范围：指定所述第一范围和所述第二范围彼此交叠的区域，同时改变所述第一速度矢量的方向；在满足所述交叠区域小于所述预定值的条件的范围中，指定满足使所述第一速度矢量的方向的改变量最小的改变量；以及使所述第一速度矢量的方向改变指定的改变量。

全文数据：图像处理方法、图像处理设备和存储图像处理程序的介质技术领域[0001]本文所讨论的实施方式涉及图像处理程序。背景技术[0002]近年来，监测相机除了用于监测目的之外，还用于诸如营销或交通量调查之类的多个使用目的。例如，通过基于由购物中心的监测相机捕获的图像数据对人的移动路径进行分析来估计由人购买的商品，并且将所估计的商品信息用于营销。[0003]例如，在相关技术中，通过使用分类器确定使用粒子滤波器估计的头部候选是头部并且重复执行定位人的头部的处理来跟踪同一人。相关技术的示例包括日本特开专利公开No·2012-108798、N〇·2008-112210、Ν〇·2004-94518、N〇·2011-180684和No·2008-26974。[0004]然而，在相关技术中，存在以下问题:难以减小目标的位置的错误确定。[0005]根据一个方面，本公开的目的是提供一种能够减小目标的位置的错误确定的图像处理程序、图像处理方法和图像处理设备。发明内容[0006]根据本发明的方面，图像处理方法包括:在从由捕获装置捕获的前一帧提取出与第一目标对应的第一区域和与第二目标对应的第二区域的情况下，通过参考存储由所述捕获装置捕获的过去帧的存储装置，在下一帧中指定搜索第一目标的第一范围和搜索第二目标的第二范围；在所述下一帧中指定的所述第一范围和所述第二范围彼此交叠的区域等于或大于预定值的情况下，改变所述下一帧中的所述第一范围和或所述第二范围，使得所述交叠区域小于所述预定值；以及在改变的第一范围和改变的第二范围中搜索与所述第一目标对应的区域和与所述第二目标对应的区域，并且在下一帧中指定与所述第一目标对应的区域和与所述第二目标对应的区域。附图说明[0007]图1是用于描述确定人的移动路径的参考示例的第一图；[0008]图2是用于描述确定人的移动路径的参考不例的第二图；[0009]图3是用于描述参考示例的问题的第一图；[0010]图4是用于描述参考示例的问题的第二图；[0011]图5是用于描述根据本实施方式的图像处理设备的处理的图；[0012]图6是示出了根据本实施方式的图像处理设备的配置的功能框图；[0013]图7是示出了图像表的数据结构的示例的图；[0014]图8是示出了跟踪表的数据结构的示例的图；[0015]图9是用于描述相似度计算单元的处理的图；[0016]图10是用于描述范围指定单元的处理的第一图；[0017]图11是用于描述范围指定单元的处理的第二图；[0018]图12是用于描述范围指定单元的处理的第三图；[0019]图13是用于描述改变单元的处理的第一图；[0020]图14是用于描述改变单元的处理的第二图；[0021]图15是用于描述区域指定单元的处理的图；[0022]图16是用于描述检测单元的处理的图；[0023]图17是示出了根据本实施方式的图像处理设备的处理过程的流程图；[0024]图18是示出了相似度计算处理的处理过程的流程图；[0025]图19是示出了位置估计处理的处理过程的流程图；[0026]图20是示出了区域计算处理的处理过程的流程图；[0027]图21是示出了位置确定处理的处理过程的流程图；[0028]图22是示出了人跟踪处理的处理过程的流程图；[0029]图23是示出了人检测处理的处理过程的流程图；以及[0030]图24是示出了计算机的硬件配置的示例的图。具体实施方式[0031]在下文中，将参照附图详细描述本申请中公开的图像处理程序、图像处理方法和图像处理设备的实施方式。本公开内容不受实施方式的限制。[0032][实施方式][0033]在对本实施方式进行描述之前将描述确定人的移动路径的参考示例。该参考示例不是相关技术。在执行位置预测处理之后，根据参考示例的图像处理设备执行跟踪处理。[0034]图1和图2是用于描述确定人的移动路径的参考示例的图。将参照图1描述根据参考示例的位置预测处理。假定在时间和时间t2指定人IA的位置。假定人IA在时间t的位置是xi，yi，并且人IA在时间t2的位置是X2，y2。[0035]根据参考示例的图像处理设备假定人IA直线移动，并且预测人IA在时间t3的位置为X3，y3。在图1所示的示例中，图像处理设备将包括位置X3，y3的范围设置为搜索范围IB0[0036]将参照图2描述根据参考示例的跟踪处理。假定基于图1的位置预测处理来设置搜索范围1B。图像处理设备从存储单元获取人IA的特征2A。人IA的特征2A是从前一帧的图像数据检测的人IA的特征，并且例如是人IA在时间^的特征。[0037]通过将特征2A与人的搜索范围IB进行比较来指定在搜索范围IB和人IA的特征2A之间具有高相似度的区域2B，并且将所指定的区域2B确定为人IA在时间t3的区域。根据参考示例的图像处理设备通过重复执行位置预测处理和跟踪处理来跟踪人1A。[0038]接下来，将描述参考示例的问题。图3和图4是用于描述参考示例的问题的图。首先，将参照图3描述参考示例的问题。假定在时间t和时间t2指定人3A和人4A的位置。假定人3A在时间七的位置是x31，y31，并且人3A在时间t2的位置是x32，y32。假定人4A在时间七的位置是X41，y41，并且人4A在时间丨2的位置是X42，y42。[0039]与图1中描述的处理类似，根据参考示例的图像处理设备假定人3A直线移动，并且将包括人3A在时间t3的位置的范围设置为搜索范围3B。图像处理设备假定人4A直线移动，并且将包括人4A在时间t3的位置的范围设置为搜索范围4B。[0040]将参照图4描述参考示例的问题。图像处理设备从存储单元获取人3A的特征5A。人3A的特征5A是从前一帧的图像数据检测的人3A的特征，并且例如是人3A在时间^的特征。[0041]图像处理设备将在搜索范围3B和人3A的特征5A之间具有高相似度的区域确定为人3A在时间t3的区域。然而，如果人3A的特征和人4A的特征彼此相似并且搜索范围3B和搜索范围4B在预定区域或更大区域上彼此交叠，则人4A的区域6B可能被确定为人3A的区域，因此不能够适当地执行对人3A的跟踪处理。[0042]类似地，图像处理设备从存储单元获取人4A的特征6A。人4A的特征6A是从前一帧的图像数据检测的人4A的特征，并且例如是人4A在时间丨2的特征。[0043]图像处理设备将在搜索范围4B和人4A的特征6A之间具有高相似度的区域确定为人4A在时间t3的区域。然而，如果人3A的特征和人4A的特征彼此相似并且搜索范围3B和搜索范围4B在预定区域或更大区域上彼此交叠，则人3A的区域5B可能被确定为人4A的区域，因此不能够执行对人4A的跟踪处理。[0044]在下文中，将描述根据本实施方式的图像处理设备。图5是用于描述根据本实施方式的图像处理设备的处理的图。将描述图5的步骤S10。假定人IOA和人IOB存在于在某一时间捕获的图像数据的帧中。图像处理设备假定人IOA和人IOB以相同的速度直线移动，并且根据人IOA和人IOB的过去移动速度来估计在下一帧中的位置。[0045]例如，人的移动速度速度矢量由公式⑴来限定。[0046]V=pxt_l-pxt_2，pyt_l-pyt_2…（1[0047]在公式⑴中，Px⑴指示人在时间t的X坐标。py⑴指示人在时间t的y坐标。例如，人在时间t的位置坐标由公式2来限定。[0048]p⑴=px⑴，ργ⑴）…2[0049]图像处理设备基于人IOA和人IOB的移动速度来预测人IOA和人IOB在下一帧中的位置坐标。例如，如果人IOA在单位时间（帧之间的时间）中的移动量和移动方向是Vi速度），则人IOA在下一帧中的位置坐标是位置坐标10A’。如果人IOB在单位时间（帧之间的时间）中的移动量和移动方向是V2速度），则人IOB在下一帧中的位置坐标是位置坐标10B’。[0050]将描述图5的步骤S11。图像处理设备将具有人IOA的预测位置坐标10A’的搜索范围IlA设置为其参考。图像处理设备将具有人IOB的预测位置坐标10B’的搜索范围IlB设置为其参考。[0051]图像处理设备确定是否满足下面要表示的“追赶条件1和追赶条件2”。在满足追赶条件1和追赶条件2二者的情况下，图像处理设备确定追赶被执行，并且进行至步骤S12的处理。在不满足追赶条件1和追赶条件2二者的情况下，图像处理设备确定追赶未被执行，并且执行与根据参考示例的跟踪处理相同的处理。在追赶未被执行的情况下，即使执行根据参考示例的跟踪处理，也不会产生图3和图4所示的问题。以下条件是用于确定人IOA是否追赶人IOB的条件，如图5所示。[0052]追赶条件1:Vi和V2的符号在X和y坐标方向上彼此相同，并且Vi大于V2。[0053]追赶条件2:在搜索范围IlA与搜索范围IlB的交叠区域IlC的竖直宽度是h并且其水平宽度是W的情况下，W^:WQ并且h^hoc3WQ和ho是预设阈值，并且对应于人区域的大小。[0054]将描述图5的步骤S12。在确定追赶被执行的情况下，图像处理设备调整具有较高速度的人的速度的方向，使得具有高速度的人的估计位置的方向和原始移动方向最小，并且与另一人的搜索范围的交叠区域小于人区域。调整目标是方向，并且不改变速度的绝对值。[0055]具体地，图像处理设备改变速度矢量¥:的方向并且重复执行重置搜索范围IlA的处理，直至交叠区域IlC的水平宽度w等于或小于wo或者直至交叠区域IlC的垂直宽度h等于或小于ho。在存在满足交叠区域IlC的水平宽度w等于或小于wo或者交叠区域IlC的竖直宽度h等于或小于ho的多个速度矢量的情况下，图像处理设备指定满足使由原始速度矢量和改变的速度矢量形成的角度Θ最小的速度矢量^’。图像处理设备通过速度矢量V1’来设置搜索范围IlA，并且执行跟踪处理。[0056]如在图5的步骤SlO至步骤S12中所描述的，根据本实施方式的图像处理设备通过注意到以下事实来在捕获画面上调整追赶人的预测位置坐标：当人实际移动时，追赶人在避开被追赶人的同时进行移动。通过以这种方式调整位置坐标，追赶人的搜索范围与被追赶人的搜索范围的交叠区域小于人区域，因此可以抑制人的变化。因此，可以适当地执行跟踪处理。[0057]接下来，将描述根据本实施方式的图像处理设备的配置。图6是示出了根据本实施方式的图像处理设备的配置的功能框图。如图6所示，图像处理设备100包括相机110、输入装置120、显示装置130、存储单元140以及控制单元150。[0058]相机110是对捕获范围的图像进行捕获并且将捕获图像的数据输出至图像处理设备100的装置。在以下描述中，由相机110捕获的图像的数据被描述为图像数据。图像数据是各个时间的帧连续的数据。虽然未在图6中示出，但是相机110可以经由网络连接至图像处理设备100。[0059]输入装置120是用于向图像处理设备100输入各种信息项的输入装置。输入装置120对应于键盘、鼠标或触摸板。[0060]显示装置130是显示装置，其显示控制单元150的处理结果。显示装置130对应于液晶显示器或触摸板。[0061]存储单元140包括图像表141、跟踪表142以及预测误差数据143。存储单元140对应于诸如随机存取存储器RAM、只读存储器ROM或闪速存储器之类的半导体存储装置，或诸如硬盘驱动器HDD之类的存储装置。[0062]图像表141是存储图像数据中所包括的各个时间的帧的表。图7是示出了图像表的数据结构的示例的图。如图7所示，图像表141使时间和帧相关联。如上所述，由相机110捕获的图像数据包括各个时间连续的帧。[0063]跟踪表142是保存与作为跟踪目标的人有关的各种信息项的表。图8是示出了跟踪表的数据结构的示例的图。如图8所示，跟踪表142使人标识（ID、时间、人区域和移动量相关联。人ID是用于唯一地标识人的信息。时间指示帧的时间。虽然在图8中针对每个人仅示出了两个帧，但是实际上针对每个人存储有许多帧。[0064]人区域指示人存在于帧上的区域。人区域包括X坐标、y坐标、宽度以及高度。X坐标和y坐标对应于人区域的左上方的X坐标和y坐标。宽度对应于人区域的宽度，并且高度对应于人区域的高度。X坐标和y坐标不限于人区域的左上方的X坐标和y坐标，并且可以是人区域的右上方、左下方、右下方或中心处的X坐标和y坐标。[0005]移动量x，y指示人每单元时间在X轴方向和y轴方向上移动的移动量。移动量X，y对应于速度矢量。例如，假定单位时间是从时间t-1的帧至时间t的帧的时间。[0066]预测误差数据143是指示特定人的估计位置坐标和该特定人的实际位置坐标之间的误差的信息。下面将描述与预测误差数据143有关的细节。[0067]控制单元150包括获取单元151、相似度计算单元152、范围指定单元153、改变单元154、区域指定单元155以及检测单元156。控制单元150对应于诸如专用集成电路ASIC或现场可编程门阵列FPGA的集成装置。例如，控制单元150对应于诸如中央处理单元CPU或微处理单元MPU之类的电子电路。[0068]获取单元151是从相机110获取图像数据的处理单元。获取单元151使图像数据中所包括的帧与时间相关联，并且将相关联的项存储在图像表141中。[0069]相似度计算单元152是处理单元，其在下一帧中存在多个人区域的情况下计算每个人区域的相似度。相似度计算单元152将每个人区域的相似度的数据输出至改变单元154。相似度计算单元152在下一帧中存在三个或更多个人区域的情况下，针对每组两个不同的人区域来计算相似度。[0070]例如，相似度计算单元152计算归一化互相关函数的值作为相似度。具体地，相似度计算单元152基于公式3来计算每个人区域的相似度R。图9是用于描述相似度计算单元的处理的图。如图9所示，假定在下一帧中存在人IOA的区域T和人IOB的区域I。公式⑶中的TX，y表示区域T中所包括的坐标X，y的像素值。IX，y表示区域I中所包括的坐标X，y的像素值。h对应于区域T或区域I的高度。w对应于区域T或区域I的宽度。[0072]相似度计算单元152对下一帧中所包括的该组人区域重复执行计算相似度的处理。例如，相似度计算单元152将通过使帧的时间、与该组人区域对应的人ID和相似度相关联而获得的信息输出至改变单元154。[0073]范围指定单元153是处理单元，其基于跟踪表142在下一帧中指定搜索第一人的第一范围以及搜索第二人的第二范围。范围指定单元153执行下面要描述的位置估计处理和范围计算处理。[0074]将描述由范围指定单元153执行的位置估计处理。范围指定单元153根据人在过去帧中的位置坐标来计算人的移动量，并且估计人在下一帧中的位置坐标。[0075]图10是用于描述范围指定单元的处理的第一图。假定人在相机坐标系统中的两个过去帧中的位置坐标Pt-Ι和pt-2通过过去的处理被存储在跟踪表142中。这里，假定人是例如人10A。位置坐标pt-2对应于人IOA在时间t-2的位置坐标。位置坐标pt-Ι对应于人IOA在时间t-Ι的位置坐标。这里，p⑴由公式⑵来限定。[0076]人IOA每单位时间的移动量速度矢量）由公式⑷来限定。范围指定单元153假定人IOA以均匀速度直线移动，并且通过公式⑶来估计人IOA在时间t的位置坐标pt。[0077]Δ=pt-1-pt-2···4[0078]pt=pt_l+Δ…（5[0079]接下来，将描述由范围指定单元153执行的范围计算处理。范围指定单元153将具有通过位置估计处理指定的位置坐标Pt的搜索范围设置为其参考。[0080]图11是用于描述范围指定单元的处理的第二图。范围指定单元153基于位置坐标pt来设置具有水平宽度r和竖直宽度r的搜索范围11A。例如，范围指定单元153设置搜索范围11A，使得搜索范围IlA的左上端位于位置坐标pt。[0081]随后，范围指定单元153在考虑到预测误差εεχ，εγ的情况下修改搜索范围11A。范围指定单元153从预测误差数据143获取预测误差εex，ey。[0082]图12是用于描述范围指定单元的处理的第三图。预测误差ε对应于基于公式⑶估计的人IOA的位置坐标和人IOA的实际位置坐标之间的误差。例如，范围指定单元153通过将搜索范围IlA的水平宽度扩展仅2εχ并且将其竖直宽度扩展仅ey来将搜索范围IlA修改为搜索范围IIA’。搜索范围IIA被修改为搜索范围IIA’，因此，可以将人区域无遗漏地包括在搜索范围11A’中。在除了范围指定单元153之外的描述中，将经修改的搜索范围11A’简单地描述为搜索范围11A。[0083]例如，预测误差εχ由公式6来限定。预测误差ey由公式7来限定。公式6的X对应于基于公式5估计的人IOA的X坐标。公式7的y对应于基于公式5估计的人IOA的y坐标。[0084]εχ=χΧ1-ρχ···6[0085]ey=yX1-py…（7[0086]公式⑶的办是由公式⑶限定的值。公式⑵的Py是由公式⑶限定的值。[0089]公式⑶中的Pxl和公式⑶中的Pyl是特定人例如，人10A的预测精度，并且分别由公式10和公式11来限定。[0092]公式（10中所包括的“xpi、xP2、xp3、......”和公式（11中所包括的“yPi、yP2、yp3.......”由公式（12至公式（17来限定。在公式（12至公式（17中，X1t指示从时间t的帧检测的人的实际X坐标。t指示从时间t的帧检测的人的实际y坐标。X2t指示从时间t的帧检测的人的预测X坐标。y2t指示从时间t的帧检测的人的预测y坐标。[0100]公式⑶中的Px2和公式⑶中的Py2是另一人（例如，人10B的预测精度，并且与公式（10和公式（I1类似地进行限定。公式⑶中的Px3和公式9中的py3是又一人例如，未被示出的人10C的预测精度，并且与公式10和公式11类似地进行限定。[0101]假定范围指定单元153提前计算了人IOA至IOC及另一人的实际位置坐标和基于公式5估计的位置坐标，并且计算了预测误差εχ和预测误差ey。范围指定单元153将预测误差εχ和预测误差ey的数据作为预测误差数据143登记在存储单元140中。[0102]范围指定单元153将通过使人ID、人在与人ID对应的时间t-ι的位置坐标、移动量速度矢量以及搜索范围相关联而获得的信息输出至改变单元154。[0103]在下一帧中指定的人IOA的搜索范围IlA与人IOB的搜索范围IlB彼此交叠的区域等于或大于预定值的情况下，改变单元154是下述处理单元，其改变搜索范围IIA或搜索范围IlB的位置，使得交叠区域小于预定值。[0104]最初，改变单元154通过确定是否满足追赶条件1和追赶条件2二者来确定是否改变搜索范围IlA或搜索范围IlB的位置。[0105]如上所述，追赶条件1是其中“Vi和V2在X和y坐标方向上的符号彼此相同或者V2的值是〇”的条件。这里，如果假定追赶人是人IOA并且被追赶人是人10B，则人IOA的移动量对应于“VI”，并且人IOB的移动量对应于“V2”。例如，改变单元154比较人的移动量，并且确定具有较大移动量的人是追赶人，并且具有较小移动量的人是被追赶人。[0106]追赶条件2是其中“在搜索范围IlA与搜索范围IlB的交叠区域IlC的竖直宽度是h并且其水平宽度是w的情况下，w多wo并且h多ho”的条件。wo和ho是预设阈值，并且对应于人区域的大小。[0107]图13是用于描述改变单元的处理的第一图。在图13所示的坐标系统中，假定当位置变得更靠近右侧时X坐标变得更大，并且当位置变得更靠近下侧时y坐标变得更大。如图13所示，假定搜索范围IlB的左上端的坐标是xlmin，ylmin，并且搜索范围IlB的右下端的坐标是xlmaX，ylmaX。假定搜索范围IlA的左上端的坐标是x2min，y2min，并且搜索范围IlA的右下端的坐标是x2mX，y2mX。[0108]交叠区域IlC的宽度w由公式（18来限定。交叠区域IlC的高度h由公式（19来限定。公式（18和公式（19中所包括的minx，y表示X和y中的较小值被选择。maxx，y表示X和y中的较大值被选择。改变单元154基于公式18和公式（19来计算交叠区域IlC的宽度w和高度h。[0109]W=minxlmax，x2maxlaxxlmin，x2min…（18[0110]h=minylmax，y2max-maxylmin，y2min…（19[0111]在不满足追赶条件I和追赶条件2二者的情况下，改变单元154跳过改变搜索范围IlA或搜索范围IlB的位置的处理。也就是说，在不满足追赶条件1和追赶条件2二者的情况下，假定改变单元154保持搜索范围IlA或搜索范围IlB的位置。[0112]同时，在满足追赶条件1和追赶条件2二者的情况下，改变单元154执行改变搜索范围IIA或搜索范围IIB的位置的处理。这里，将描述例如改变搜索范围IIA的位置的情况。[0113]图14是用于描述改变单元的处理的第二图。在图14的描述中，假定追赶人是人10A，并且被追赶人是人10B。假定人IOA在位置被改变之前的速度矢量移动量是速度矢量V1并且人IOA在位置被改变之后的速度矢量是速度矢量V1’。[0114]将描述图14的步骤S20。改变单元154通过将速度矢量^的取向改变成人IOA与人IOB分离的方向来设置速度矢量V1’。速度矢量^和速度矢量V1’的量值彼此相等，但是其取向彼此不同。在图14所不的不例中，由速度矢量Vi和速度矢量vi’形成的角度是θ。[0115]将描述图14的步骤S21。改变单元154通过使用人IOA的移动量作为速度矢量^’来重新计算人IOA在下一帧中的位置坐标，并且重新设置搜索范围11Α。由改变单元154基于移动量执行的计算人IOA的位置坐标的处理以及设置搜索范围的处理与上述由范围指定单元153执行的计算位置坐标的处理以及设置搜索范围的处理相同。[0116]将描述图14的步骤S22。改变单元154指定新设置的搜索范围IlA与人IOB的搜索范围IlB的交叠区域11C。[0117]改变单元154重复执行改变速度矢量^的方向和重新设置搜索范围IlA的处理步骤S20至步骤S22直至交叠区域IlC的水平宽度w等于或小于wo或者交叠区域IlC的竖直宽度等于或小于ho。在存在多个速度矢量满足交叠区域IlC的水平宽度w等于或小于wo或者交叠区域IlC的竖直宽度h等于或小于ho的情况下，改变单元154指定满足使由原始速度矢量和改变的速度矢量形成的角度Θ最小的速度矢量^’。改变单元154基于满足使角度Θ最小的指定速度矢量Vi’来将搜索范围IIA确定为改变的搜索范围11A。[0118]改变单元154将通过使人ID与下一帧的搜索范围相关联而获得的信息输出至区域指定单元155。例如，假定下一帧是时间t的帧。[0119]改变单元154获取通过使帧的时间、与该组人区域对应的人ID和来自相似度计算单元152的相似度相关联而获得的信息，并且在每个人ID的相似度小于阈值的情况下执行以下处理。这里，为了方便描述，假定与人ID对应的人是人IOA和人10B。在人IOA在时间t-1的人区域与人IOB在时间t-1的人区域之间的相似度小于阈值的情况下，改变单元154跳过图14的步骤S20至步骤S22所示的处理，并且在位置被改变之前保持人IOA的搜索范围IlA和人IOB的搜索范围11B。改变单元154将通过使人ID与下一帧的搜索范围相关联而获得的信息输出至区域指定单元155。[0120]区域指定单元155是下述处理单元，其根据在下一帧中设置的搜索范围来指定人的区域。区域指定单元155通过使用从过去帧获取的人的特征来跟踪同一人。这里，为了便于描述，将描述根据在时间t的帧中设置的人IOA的搜索范围IlA来指定人IOA的区域的情况。将描述根据在时间t的帧中设置的人IOB的搜索范围IlB来指定人IOB的区域的情况。[0121]图15是用于描述区域指定单元的处理的图。将描述图15的步骤S30。区域指定单元155基于图像表141和跟踪表142来获取人IOA的模板12A。例如，区域指定单元155通过参照跟踪表142来获取与人ID“10A”的时间“t-Γ对应的人区域的信息。如图8所示，人区域的信息包括X坐标、y坐标、宽度和高度。随后，区域指定单元155通过从图像表141的时间“t-Γ的帧提取人IOA的人区域的图像来获取模板12A。[0122]类似地，区域指定单元155基于图像表141和跟踪表来获取人IOB的模板12B。例如，区域指定单元155通过参照跟踪表142来获取与人ID“10B”的时间“t-Γ对应的人区域的信息。随后，区域指定单元155通过从图像表141的时间的帧提取人IOB的人区域的图像来获取模板12B。[0123]将描述图15的步骤S31。区域指定单元155在搜索范围IlA上布置模板12A，并且重复执行计算相似度的处理，同时移动模板12A的位置。[0124]例如，区域指定单元155通过公式20来计算搜索范围IlA与模板交叠的区域和该模板之间的相似度。公式20中的Τ’（x，y指示模板Τ’中所包括的坐标x，y的像素值。Γx，y指示搜索范围与模板交叠的区域Γ中所包括的坐标x，y的像素值。h对应于模板Τ’的高度。w对应于模板T’的宽度。[0126]区域指定单元155通过将搜索范围与模板12Α进行比较来设置相似度R最大的区域I’作为区域13Α。在该情况下，区域指定单元155指定区域Γ作为人IOA在时间t的人区域13A〇[0127]类似地，区域指定单元155在搜索范围IlB上布置模板12B，并且重复执行计算相似度的处理，同时移动模板12B的位置。区域指定单元155通过将搜索范围与模板12B进行比较来设置相似度R最大的区域Γ作为区域13B。在该情况下，区域指定单元155指定区域Γ作为人IOB在时间t的人区域13B。[0128]将描述图15的步骤S32。区域指定单元155确定人IOA在时间t-Ι移动至时间t的人区域13A。区域指定单元155使人ID“10A”、时间“t”、人区域13A的信息和人IOA的移动量相关联，并且将关联的项登记在跟踪表142中。[0129]区域指定单元155确定人IOB在时间t-Ι移动至时间t的人区域13B。区域指定单元155使人ID“10B”、时间“t”、人区域13B的信息和人IOB的移动量相关联，并且将关联的项登记在跟踪表142中。[0130]将再次描述图6。检测单元156是从时间t的帧检测人的处理单元。检测单元156确定所检测的人是否是作为跟踪目标的人，并且在所检测的人不是作为跟踪目标的人的情况下，将作为跟踪目标的新人而检测的人的信息添加至跟踪表142。[0131]图16是用于描述检测单元的处理的图。将描述图16的步骤S40。检测单元156通过参考图像表141来获取时间t-Ι的帧50a和时间t的帧50b。[0132]将描述图16的步骤S41。检测单元156生成帧50a和帧50b之间的背景差图像51。[0133]将描述图16的步骤S42。检测单元156通过使用方向梯度直方图（HOG特征来预先生成人的分类器。检测单元156将该分类器与背景差图像51进行比较，并且确定人的区域是否被包括在背景差图像51中。在人的区域被包括在背景差图像51中的情况下，检测单元156输出人区域候选52。[0134]将描述图16的步骤S43。检测单元156基于跟踪表142来指定作为跟踪目标的人在时间t的人区域。这里，为了便于描述，假定基于跟踪表142指定的人区域是人IOA的人区域13A。检测单元156计算人区域13A与人区域候选52的交叠率。[0135]在人区域13A和人区域候选52的交叠率等于或大于预定交叠率的情况下，检测单元156确定人区域候选52对应于人区域13A，并且跳过将人区域候选添加至跟踪表142的处理。[0136]在人区域13A和人区域候选52的交叠率小于预定交叠率的情况下，检测单元156确定人区域候选52与人区域13A不对应。在确定人区域候选52与跟踪表142的每个人区域不对应的情况下，检测单元156将人区域候选52的信息重新登记在跟踪表142中。例如，检测单元156分配唯一的人ID，使该人ID、时间t、人区域候选的X坐标和y坐标、宽度和高度相关联，并且将关联的项登记在跟踪表142中。[0137]接下来，将描述根据本实施方式的图像处理设备100的处理过程。图17是示出了根据本实施方式的图像处理设备的处理过程的流程图。如图17所示，图像处理设备100的获取单元151从相机110获取图像数据步骤S101。[0138]图像处理设备100的相似度计算单元152执行相似度计算处理步骤S102。图像处理设备100的范围指定单元153执行位置估计处理步骤S103。范围指定单元153执行区域计算处理步骤S104。[0139]图像处理设备100的改变单元154执行位置确定处理（步骤S105。图像处理设备100的区域指定单元155执行人跟踪处理步骤S106。图像处理设备100的检测单元156执行人检测处理步骤S107。[0140]图像处理设备100的控制单元150输出处理结果（步骤S108。图像处理设备100确定是否继续进行处理步骤S109。在控制单元继续处理的情况下步骤S109,是），图像处理设备100进行至步骤S101。在控制单元不继续处理的情况下（步骤S109,否），图像处理设备100结束处理。[0141]将描述在图17的步骤S102中示出的相似度计算处理。图18是示出了相似度计算处理的处理过程的流程图。如图18所示，相似度计算单元152基于图像表141和跟踪表142来指定人区域步骤S201。[0142]相似度计算单元152基于图像表141和跟踪表142来指定另一人的人区域（步骤S202。相似度计算单元152计算人区域之间的相似度步骤S203。[0143]相似度计算单元152确定是否存在未计算相似度的人区域的组合步骤S204。在存在未计算相似度的人区域的组合的情况下步骤S204,是），相似度计算单元152进行至步骤S201。同时，在不存在未计算相似度的人区域的组合的情况下（步骤S204，否），相似度计算单元152结束相似度计算处理。[0144]将描述在图17的步骤S103中示出的位置估计处理。图19是示出了位置估计处理的处理过程的流程图。如图19所示，范围指定单元153确定在过去帧中获取的同一人的人区域是否等于或大于2步骤S251。当在过去帧中获取的同一人的人区域不等于或大于2的情况下步骤S251，否），范围指定单元153进行至步骤S255。同时，当在过去帧中获取的同一人的人区域等于或大于2的情况下步骤S251，是），范围指定单元153进行至步骤S252。[0145]范围指定单元153指定人在两个过去帧中的位置坐标步骤S252。范围指定单元153通过使用位置坐标来计算人的移动量速度矢量）（步骤S253。[0146]范围指定单元153估计人的位置坐标步骤S254。例如，范围指定单元153基于人在时间t-Ι和时间t-2的位置坐标来计算速度矢量，并且估计人在时间t的位置坐标。[0147]范围指定单元153确定是否存在位置坐标未被估计的人步骤S255。在存在位置坐标未被估计的人的情况下步骤S255,是），范围指定单元153进行至步骤S251。同时，在不存在位置坐标未被估计的人的情况下（步骤S255,否），范围指定单元153结束位置估计处理。[0148]将描述在图17的步骤S104中示出的区域计算处理。图20是示出了区域计算处理的处理过程的流程图。如图20所示，范围指定单元153获取人在下一帧（时间t的帧）中的估计位置坐标步骤S301。范围指定单元153基于人的估计位置坐标来设置人的搜索范围（步骤S302。[0149]范围指定单元153确定是否存在搜索范围未被设置的人步骤S303。在存在搜索范围未被设置的人的情况下（步骤S303,是），范围指定单元153进行至步骤S301。在不存在搜索范围未被设置的人的情况下步骤S303,否），范围指定单元153结束区域计算处理。[0150]将描述在图17的步骤S105中示出的位置确定处理。图21是示出了位置确定处理的处理过程的流程图。如图21所示，改变单元154获取作为跟踪目标的人的搜索范围和移动量速度矢量）的信息步骤S351。改变单元154获取另一人的搜索范围和移动量速度矢量）的信息步骤S352。[0151]改变单元154确定人的移动方向是否基本相同（速度矢量的方向之间的差小于阈值或者位于另一人前方的人的移动量是否基本为〇速度矢量的绝对值小于阈值）（步骤5353。在人的移动方向基本相同或者位于另一人前方的人的移动量基本为0的情况下（步骤S353,是），改变单元154进行至步骤S354。同时，在人的移动方向不相同或者位于另一人前方的人的移动量不为〇的情况下步骤S353,否），改变单元154进行至步骤S357。[0152]改变单元154确定搜索范围的交叠区域是否等于或大于人区域的大小（步骤5354。在搜索范围的交叠区域等于或大于人区域的大小的情况下（步骤S354,是），改变单元154进行至步骤S355。同时，在搜索范围的交叠区域不等于或大于人区域的大小的情况下步骤S354，否），改变单元154进行至步骤S357。[0153]改变单元154改变人的移动方向，并且估计人的坐标位置和搜索范围（步骤S355。改变单元154确定交叠区域是否等于或大于人区域的大小步骤S356。在交叠区域等于或大于人区域的大小的情况下步骤S356,是），改变单元154进行至步骤S354。[0154]在交叠区域不等于或大于人区域的大小的情况下步骤S356,否），改变单元154固定所估计的搜索范围作为人的搜索范围（步骤S357。在步骤S357中，改变单元154基于在满足使步骤S356的条件为否的位置改变之后的速度矢量中的、满足使由位置改变之前的速度矢量和位置改变之后的速度矢量形成的角度Θ最小的速度矢量来固定搜索范围作为改变的搜索范围。[0155]改变单元154确定是否存在作为跟踪目标的另一人步骤S358。在存在作为跟踪人的另一人的情况下（步骤S358,是），改变单元154进行至步骤S351。在不存在作为跟踪人的另一人的情况下步骤S358,否），改变单元154结束位置确定处理。[0156]将描述在图17的步骤S106中示出的人跟踪处理。图22是示出了人跟踪处理的处理过程的流程图。如图22所示，区域指定单元155获取人区域的模板步骤S401。[0157]区域指定单元155通过使用人区域的模板来扫描搜索范围内的区域，并且计算相似度步骤S402。区域指定单元155指定搜索范围内的具有最高相似度的区域作为人区域步骤S4〇3。[0158]区域指定单元155更新跟踪表142步骤S404。区域指定单元155确定是否存在未被执行跟踪处理的人步骤S405。在存在未被执行跟踪处理的人的情况下步骤S405,是），区域指定单元155进行至步骤S401。在不存在未被执行跟踪处理的人的情况下（步骤S405，否），范围指定单元155结束人跟踪处理。[0159]将描述在图17的步骤S107中示出的人检测处理。图23是示出了人跟踪处理的处理过程的流程图。如图23所示，检测单元156获取背景差图像步骤S451。检测单元156通过使用HOG特征来提前生成分类器步骤S452。[0160]检测单元156通过使用分类器来确定人区域候选是否包括在背景差图像中（步骤S453。检测单元156指定被确定为人的人区域候选步骤S454。[0161]检测单元156确定人区域候选与通过人跟踪处理获得的人区域的交叠率是否等于或大于阈值步骤S455。在人区域候选与通过人跟踪处理获得的人区域的交叠率不等于或大于阈值的情况下步骤S455,否），检测单元156将作为新出现的人的人区域候选的信息登记在跟踪表142中（步骤S456。[0162]同时，在人区域候选与通过人跟踪处理获得的人区域的交叠率等于或大于阈值的情况下步骤S455,是），检测单元156结束人检测处理。[0163]接下来，将描述根据本实施方式的图像处理设备100的优点。在第一人的第一搜索范围和第二人的第二搜索范围彼此交叠的区域等于或大于预定值的情况下，图像处理设备100改变第一搜索范围和或第二搜索范围，使得交叠率小于预定值。图像处理设备100从下一帧中的第一搜索范围指定第一人的区域，并且从下一帧中的第二搜索范围指定第二人的区域。因此，可以减小目标的位置的错误确定。[0164]图像处理设备100通过基于第一人在过去帧中的移动历史计算第一速度矢量来指定第一搜索范围。图像处理设备100通过基于第二人在过去帧中的移动历史计算第二速度矢量来指定第二搜索范围。因此，可以通过使用简单的方法来计算第一人和第二人的位置。[0165]图像处理设备100指定第一搜索范围和第二搜索范围彼此交叠的区域，同时改变速度矢量的方向，并且在满足交叠区域小于预定值的条件的范围内指定满足使速度矢量的方向的改变量最小的改变量。图像处理设备1〇〇使速度矢量的方向改变指定的改变量，并且改变下一帧中的第一搜素范围。因此，追赶人的搜索范围和被追赶人的搜索范围彼此交叠的范围小于人区域，并且因此，可以抑制人的切换。因此，可以适当地执行跟踪处理。[0166]在过去帧中所包括的第一人的特征和第二人的特征之间的相似度等于或大于阈值的情况下，图像处理设备100改变下一帧中的搜索范围。因为这样的切换仅在第一人的特征和第二人的特征彼此相似的情况下发生，所以在特征彼此不相似的情况下跳过改变下一帧中的搜索范围的处理，因此可以减小处理负荷。[0167]在第一人的移动方向和第二人的移动方向基本相同的情况下，图像处理设备100改变下一帧中第一范围的搜索范围。这里，如果第一人的移动方向和第二人的移动方向基本不相同，则因为不存在搜索范围彼此交叠的情况，所以跳过确定是否改变搜索范围的处理，因此可以减小处理负荷。[0168]虽然在本实施方式中已经描述了对由相机110捕获的人进行跟踪，但本公开不限于此，并且可以类似地应用于诸如车辆或动物等移动对象。[0169]在下文中，将描述用于实现与本实施方式中描述的图像处理设备100的功能相同的功能的计算机的硬件配置的示例。图24是示出了计算机的硬件配置的示例的图。[0170]如图24所示，计算机200包括:CPU201，其执行各种运算处理;输入装置202,其从用户接收数据的输入；以及显示器203。计算机200包括:读取装置204，其从存储介质读取程序；以及接口装置205,其经由网络向另一计算机发送数据并从另一计算机接收数据。计算机200包括相机206。计算机200包括RAM207，其暂时存储各种信息项；以及硬盘装置208。各个装置201至208连接至总线209。[0171]硬盘装置208包括获取程序208a、相似度计算程序208b、范围指定程序208c、改变程序208d、区域指定程序208e和检测程序208f\CPU201读取获取程序208a、相似度计算程序208b、范围指定程序208c、改变程序208d、区域指定程序208e或检测程序208f，并且将所读取的程序加载到RAM207中。[0172]获取程序208a用作获取处理207a。相似度计算程序208b用作相似度计算处理207b。范围指定程序208c用作范围指定处理207c。改变程序208d用作改变处理207d。区域指定程序208e用作区域指定处理207e。检测程序208f用作检测处理207f。[0173]例如，获取处理207a的处理对应于获取单元151的处理。相似度计算处理207b的处理对应于相似度计算单元152的处理。范围指定处理207c的处理对应于范围指定单元153的处理。改变处理207d的处理对应于改变单元154的处理。区域指定处理207e的处理对应于区域指定单元155的处理。检测处理207f的处理对应于检测单元156的处理。[0174]各个程序208a至208f在初始阶段可以不一定存储在硬盘装置208中。例如，各个程序被存储在要被插入至计算机200的“便携式物理介质”例如软盘FD、⑶-R0M、DVD盘、磁光盘或IC卡中。计算机200可以读取各个程序208a至208f，并且可以执行所读取的程序。

权利要求：1.一种计算机可读存储介质，所述计算机可读存储介质存储图像处理程序，所述图像处理程序使计算机执行以下处理：在从由捕获装置捕获的前一帧提取出与第一目标对应的第一区域和与第二目标对应的第二区域的情况下，通过参考存储由所述捕获装置捕获的过去帧的存储装置，在下一帧中指定搜索所述第一目标的第一范围和搜索所述第二目标的第二范围；在所述下一帧中指定的所述第一范围和所述第二范围彼此交叠的区域等于或大于预定值的情况下，改变所述下一帧中的所述第一范围和或所述第二范围，使得交叠区域小于所述预定值；以及在改变的第一范围和改变的第二范围中搜索与所述第一目标对应的区域和与所述第二目标对应的区域，并且在所述下一帧中指定与所述第一目标对应的区域和与所述第二目标对应的区域。2.根据权利要求1所述的存储介质，其中，在指定范围的处理中，通过基于所述第一目标在所述过去帧中的移动历史计算第一速度矢量来指定所述第一范围，并且通过基于所述第二目标在所述过去帧中的移动历史计算第二速度矢量来指定所述第二范围。3.根据权利要求2所述的存储介质，其中，在改变范围的处理中，通过以下处理来改变所述下一帧中的所述第一范围：指定所述第一范围和所述第二范围彼此交叠的区域，同时改变所述第一速度矢量的方向；在满足所述交叠区域小于所述预定值的条件的范围中，指定满足使所述第一速度矢量的方向的改变量最小的改变量;以及使所述第一速度矢量的方向改变指定的改变量。4.根据权利要求1至3中任一项所述的存储介质，其中，在改变范围的处理中，在所述前一帧中包括的所述第一目标的第一特征和所述第二目标的第二特征之间的相似度等于或大于阈值的情况下，改变所述下一帧中的所述第一范围和或所述第二范围。5.根据权利要求1至4中任一项所述的存储介质，其中，在改变范围的处理中，在所述第一目标的移动方向和所述第二目标的移动方向之间的差值小于预定阈值的情况下，改变所述下一帧中的所述第一范围和或所述第二范围。6.—种由计算机执行的图像处理方法，所述方法包括：在从由捕获装置捕获的前一帧提取出与第一目标对应的第一区域和与第二目标对应的第二区域的情况下，通过参考存储由所述捕获装置捕获的过去帧的存储装置，在下一帧中指定搜索所述第一目标的第一范围和搜索所述第二目标的第二范围；在所述下一帧中指定的所述第一范围和所述第二范围彼此交叠的区域等于或大于预定值的情况下，改变所述下一帧中的所述第一范围和或所述第二范围，使得交叠区域小于所述预定值；以及在改变的第一范围和改变的第二范围中搜索与所述第一目标对应的区域和与所述第二目标对应的区域，并且在所述下一帧中指定与所述第一目标对应的区域和与所述第二目标对应的区域。7.根据权利要求6所述的图像处理方法，其中，在指定范围的处理中，通过基于所述第一目标在所述过去帧中的移动历史计算第一速度矢量来指定所述第一范围，并且通过基于所述第二目标在所述过去帧中的移动历史计算第二速度矢量来指定所述第二范围。8.根据权利要求7所述的图像处理方法，其中，在改变范围的处理中，通过以下处理来改变所述下一帧中的所述第一范围：指定所述第一范围和所述第二范围彼此交叠的区域，同时改变所述第一速度矢量的方向；在满足所述交叠区域小于所述预定值的条件的范围中，指定满足使所述第一速度矢量的方向的改变量最小的改变量;以及使所述第一速度矢量的方向改变指定的改变量。9.根据权利要求6至8中任一项所述的图像处理方法，其中，在改变范围的处理中，在所述前一帧中包括的所述第一目标的第一特征和所述第二目标的第二特征之间的相似度等于或大于阈值的情况下，改变所述下一帧中的所述第一范围和或所述第二范围。10.根据权利要求6至9中任一项所述的图像处理方法，其中，在改变范围的处理中，在所述第一目标的移动方向和所述第二目标的移动方向之间的差值小于预定阈值的情况下，改变所述下一帧中的所述第一范围和或所述第二范围。11.一种图像处理设备，包括：范围指定单元，所述范围指定单元:在从由捕获装置捕获的前一帧提取出与第一目标对应的第一区域和与第二目标对应的第二区域的情况下，通过参考存储由所述捕获装置捕获的过去帧的存储装置，在下一帧中指定搜索所述第一目标的第一范围和搜索所述第二目标的第二范围；改变单元，所述改变单元:在所述下一帧中指定的所述第一范围和所述第二范围彼此交叠的区域等于或大于预定值的情况下，改变所述下一帧中的所述第一范围和或所述第二范围，使得交叠区域小于所述预定值;以及搜索单元，所述搜索单元:在改变的第一范围和改变的第二范围中搜索与所述第一目标对应的区域和与所述第二目标对应的区域，并且在所述下一帧中指定与所述第一目标对应的区域和与所述第二目标对应的区域。12.根据权利要求11所述的图像处理设备，其中，所述改变单元通过基于所述第一目标在所述过去帧中的移动历史计算第一速度矢量来指定所述第一范围，并且通过基于所述第二目标在所述过去帧中的移动历史计算第二速度矢量来指定所述第二范围。13.根据权利要求12所述的图像处理设备，其中，所述改变单元通过以下处理来改变所述下一桢中的所述第一范围：指定所述第一范围和所述第二范围彼此交叠的区域，同时改变所述第一速度矢量的方向；在满足所述交叠区域小于所述预定值的条件的范围中，指定满足使所述第一速度矢量的方向的改变量最小的改变量;以及使所述第一速度矢量的方向改变指定的改变量。14.根据权利要求11至13中任一项所述的图像处理设备，其中，在所述前一帧中包括的所述第一目标的第一特征和所述第二目标的第二特征之间的相似度等于或大于阈值的情况下，所述改变单元改变所述下一帧中的所述第一范围和或所述第二范围。15.根据权利要求11至14中任一项所述的图像处理设备，其中，在所述第一目标的移动方向和所述第二目标的移动方向之间的差值小于预定阈值的情况下，所述改变单元改变所述下一帧中的所述第一范围和或所述第二范围。

百度查询： 富士通株式会社 图像处理方法、图像处理设备和存储图像处理程序的介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD