申请/专利权人：江苏慧眼数据科技股份有限公司

申请日：2017-01-03

公开（公告）日：2023-03-21

公开（公告）号：CN107067411B

主分类号：G06T7/20

分类号：G06T7/20;G06T7/246

优先权：

专利状态码：有效-授权

法律状态：2023.03.21#授权;2019.05.28#实质审查的生效;2017.08.18#公开

摘要：本发明提供了一种结合密集特征的Mean‑shift跟踪方法，包括：S1、获取监控区域的视频流图像作为输入图像；S2、通过背景建模法获取背景图像，采用背景差分运算获得跟踪目标区域；S3、获取跟踪目标区域中具有相同灰度值的像素密集区域，并计算相应灰度值密集区域的面积及离心距离，以计算密集区域特征权重fu；S4、基于Mean‑shift跟踪算法并结合密集区域特征权重fu，预测跟踪目标在下一帧输入图像中的位置坐标；S5、在视频流图像中每隔若干帧，循环执行所述步骤S2至步骤S4，以对跟踪目标进行更新及跟踪。在本发明中，减低了外界干扰对目标跟踪时的干扰，提高对目标的跟踪效果，克服了单一采用Mean‑shift算法中由于目标与背景灰度值比较接近所导致的跟踪失败的缺陷。

主权项：1.结合密集特征的Mean-shift跟踪方法，其特征在于，包括以下步骤：S1、获取监控区域的视频流图像作为输入图像；S2、通过背景建模法获取背景图像，采用背景差分运算获得跟踪目标区域；S3、获取跟踪目标区域中具有相同灰度值的像素密集区域，并计算相应灰度值密集区域的面积及离心距离，以计算密集区域特征权重fu；S4、基于Mean-shift跟踪算法并结合密集区域特征权重fu，预测跟踪目标在下一帧输入图像中的位置坐标；S5、在视频流图像中每隔若干帧，循环执行所述步骤S2至步骤S4，以对跟踪目标进行更新及跟踪；其中，所述步骤S3具体为：获取相同灰度值u在跟踪目标区域中的灰度值密集区域，并计算相应灰度值密集区域的面积及离心距离du，结合灰度值密集区域的面积及离心距离du，计算灰度值密集区域的密集区域特征权重fu；结合灰度值密集区域的面积及离心距离du以计算灰度值密集区域的密集区域特征权重fu的计算公式如下式所示： 其中，d0为所有灰度值密集区域中离心距离的最小非零值，S为跟踪目标区域的总面积，num为跟踪目标区域中存在的灰度值密集区域个数，du为灰度值密集区域的离心距离，su为灰度值密集区域包含所有的所有单元格的总面积；其中，所述“获取相同灰度值u在跟踪目标区域中的灰度值密集区域”具体为：将跟踪目标区域以设定的单元格为单位进行分割，以形成目标分割图；以单元格为单位对目标分割图进行扫描，若落入跟踪目标区域中的单元格中存在大于一半具有相同灰度值u的像素点数量时，则认定该单元格存在灰度值密集区域；其中，所述步骤S4具体为：基于Mean-shift跟踪算法，统计跟踪目标区域中灰度值u的概率密度qu，并用概率密度qu的集合表征跟踪目标区域的特征，以此构建跟踪目标模型；结合步骤S3所得灰度值密集区域的密集区域特征权重fu，采用密集区域特征加权方式加大目标模型中密集特征的权值,其中： 其中，wi为权值，puy0为下一帧输入图像中候选跟踪目标区域，y0为中心位置，δx是Kronecker函数，bxi用于判断位于xi处的像素的灰度值。

全文数据：一种结合密集特征的Mean-shift跟踪方法技术领域[0001]本发明涉及视频检测技术领域，尤其涉及一种结合密集特征的Mean-shift跟踪方法。背景技术[0002]众所周知，对目标位置的准确跟踪是计算机视频检测技术领域的核心问题，在人机交互、视频监控、增强现实中有广泛的应用。在更高级的任务，如场景理解、动作识别中，目标跟踪也扮演着重要的角色。在跟踪过程中，当跟踪目标的环境变化时，会引起噪声，遮挡以及闭塞问题，为了解决上述问题，现有技术已经公开了诸多算法。[0003]目前，大多数跟踪算法都可以看成每一帧的目标检测问题，即基于tracking-by-detection框架下的问题。该框架下的跟踪算法对外观模型的准确描述很敏感，一旦出现跟踪漂移，错误的跟踪位置必定导致不准确的外观模型，基于不准确的外观模型很难再找回跟踪目标。在外观模型不准确导致目标跟踪错误时，若能及时矫正跟踪位置，则跟踪的准确度会大大提升，跟踪漂移对跟踪算法的影响也会相应下降。[0004]此外，对目标跟踪的现有技术中还有Mean-shift算法。Mean-shift算法采用直方图的方法，在视频序列帧中，对目标区域中的灰度值或者像素值进行概率密度统计，从而建立目标模型。但是上述Mean-shift算法也存在以下缺点。[0005]1由于所建立的目标模型是在初始帧（例如，由摄像机所采集的视频帧），而在后续帧中，可能因为光照、大面积遮挡等外界影响，使得当前目标和初始帧中的目标模型匹配度很小，导致跟踪失败。[0006]2在某一帧中，当前背景的像素分布和所要跟踪的目标像素分布相接近，由于Mean-shift算法是根据目标的像素值模型进行跟踪的，于此情况下，背景会对目标的跟踪产生较大的影响，从而引起较大的跟踪误差，造成跟踪失败。但是，由于Mean-shift算法的鲁棒性较高，目前仍然广泛应用在视频检测等众多领域中。[0007]有鉴于此，有必要对现有技术中的对目标的跟踪方法予以改进，以解决上述问题。发明内容[0008]本发明的目的在于揭示一种基于密集特征的Mean-Shift跟踪方法，用以在保证算法具有强鲁棒性的同时，又能减低外界干扰对目标跟踪时的干扰，提高对目标的跟踪效果，并克服跟踪目标与背景间的灰度值比较接近所导致的跟踪失败的问题。[0009]为实现上述目的，本发明提供了一种结合密集特征的Mean-shift跟踪方法，该方法包括以下步骤：[0010]S1、获取监控区域的视频流图像作为输入图像；[0011]S2、通过背景建模法获取背景图像，采用背景差分运算获得跟踪目标区域；[0012]S3、获取跟踪目标区域中具有相同灰度值的像素密集区域，并计算相应灰度值密集区域的面积及离心距离，以计算密集区域特征权重fu;[0013]S4、基于Mean-Shift跟踪算法并结合密集区域特征权重fu，预测跟踪目标在下一帧输入图像中的位置坐标；[0014]S5、在视频流图像中每隔若干帧，循环执行所述步骤S2至步骤S4,以对跟踪目标进行更新及跟踪。[0015]作为本发明的进一步改进，所述步骤Sl具体为:通过摄像机获取监控区域的视频流图像作为输入图像，所述监控区域位于摄像机的正下方。[0016]作为本发明的进一步改进，所述步骤S2具体为：[0017]首先，以包含当前帧图像在内的前10帧输入图像为基础，通过中值滤波运算获取同一像素位置处出现灰度值的中值作为背景帧图像相应像素位置处灰度值，进而获取背景图像；[0018]然后，将当前帧图像与背景图像进行差分运算，并将差分结果与阈值T进行比较，提取灰度值大于阈值T的像素区域；[0019]最后，使用矩形框框选出跟踪目标区域。[0020]作为本发明的进一步改进，所述阈值T=20,所述矩形框的规格为包含跟踪目标区域的最大矩形框。[0021]作为本发明的进一步改进，所述步骤S3具体为：[0022]获取相同灰度值u在跟踪目标区域中的灰度值密集区域，并计算相应灰度值密集区域的面积及离心距离du，结合灰度值密集区域的面积及离心距离du，计算灰度值密集区域的密集区域特征权重fu。[0023]作为本发明的进一步改进，所述“获取相同灰度值u在跟踪目标区域中的灰度值密集区域”具体为：[0024]将跟踪目标区域以设定的单元格为单位进行分割，以形成目标分割图；[0025]以单元格为单位对目标分割图进行扫描，若落入跟踪目标区域中的单元格中存在大于或者等于一半具有相同灰度值u的像素点数量时，则认定该单元格存在灰度值密集区域。[0026]作为本发明的进一步改进，所述单元格的规格为5X5至IOX10,单位:像素点；[0027]所述相应灰度值密集区域的离心距离du为灰度值密集区域包含所有的所有单元格的中心与跟踪目标区域的中心的空间欧式距离的平均值。[0028]作为本发明的进一步改进，结合灰度值密集区域的面积及离心距离du以计算灰度值u密集区域的密集区域特征权重fu的计算公式如下式所示：[0029][0030]其中，do为所有灰度值密集区域中离心距离的最小非零值，S为跟踪目标区域的总面积，num为跟踪目标区域中存在的灰度值密集区域个数，du为灰度值密集区域的离心距离，Su为灰度值密集区域包含所有的所有单元格的总面积。[0031]作为本发明的进一步改进，所述步骤S4具体为：[0032]基于Mean-shift跟踪算法，统计跟踪目标区域中灰度值u的概率密度qu，并用概率密度qu的集合表征跟踪目标区域的特征，以此构建跟踪目标模型；[0033]结合步骤S3所得灰度值密集区域的密集区域特征权重fu，采用密集特征加权方式加大目标模型中密集区域特征的权值。[0034]作为本发明的进一步改进，所述步骤S5具体为:每隔10〜100帧采用背景建模法获取新的背景图像，循环执行所述步骤S2至步骤S4,以对跟踪目标进行更新及跟踪。[0035]与现有技术相比，本发明的有益效果是：在本发明中，在确保具有强鲁棒性的同时，减低了外界干扰对目标跟踪时的干扰，提高对目标的跟踪效果，克服了单一采用Mean-shift算法中由于目标与背景灰度值比较接近所导致的跟踪失败的缺陷。附图说明[0036]图1为本发明一种结合密集特征的Mean-shift跟踪方法在一种具体实施方式的流程不意图；[0037]图2为图1所示的获取监控区域的视频流图像的工作原理示意图；[0038]图3为本发明所示出的跟踪目标分割图；[0039]图4为将图3中的跟踪目标分割图以单元格为单位划分后的示意图。具体实施方式[0040]下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。[0041]请参图1至图4所示出的本发明一种结合密度特征的Mean-shift跟踪方法的一种具体实施方式。需要说明的是，在本实施方式中，术语“当前帧”与“当前帧图像”具有等同含义。[0042]参图1所示，图1为本发明一种结合密集特征的Mean-shift跟踪方法的流程示意图。在本实施方式中，该结合密集特征的Mean-shift跟踪方法包括以下步骤：[0043]步骤S1、获取监控区域的视频流图像作为输入图像。[0044]参图2所示，本发明一种结合密集特征的Mean-shift跟踪方法是基于摄像机垂直拍摄并适用于室外情况和室内情况。在本实施方式中，该步骤Sl具体为:通过摄像机10获取监控区域30的视频流图像作为输入图像，所述监控区域30位于摄像机10的正下方。[0045]具体的，摄像机10设置在出入口20附近的正上方，行人可沿着箭头201的方向上在出入口20中来回走动。摄像机10所获取的监控区域30可完全覆盖出入口20的全部区域。[0046]在本实施方式中，该监控区域30为矩形，当然也可以为正方形或圆形或者其他形状。摄像机10位于监控区域30的中心点301的正上方，由此我们可以推导出，该监控区域30位于摄像机10的正下方。[0047]步骤S2、通过背景建模法获取背景图像，采用背景差分运算获得跟踪目标区域。[0048]所述步骤S2具体为，以包含当前帧图像在内的前10帧输入图像为基础，通过中值滤波运算获取同一像素位置处出现灰度值的中值作为背景帧图像相应像素位置处灰度值，进而获取背景图像;上述过程的计算公式如下式所示：[0049][0050]其中，Fiv为当前t时刻背景帧输入图像中在坐标（x，y处的像素灰度值，Fai为t时刻输入图像中在坐标x，y处像素灰度值，t取10，median{·}为中值运算符。[0051]然后，将当前帧图像（即当前帧的输入图像与背景图像进行差分运算，并将差分结果与设定阈值T进行比较，提取灰度值大于设定阈值T的像素区域，最后以矩形框框选出跟踪目标所在区域。具体的，在本实施方式中，该阈值τ=20。其中，矩形框的规格为包含跟踪目标区域的最大矩形框。[0052]步骤S3、获取跟踪目标区域中具有相同灰度值的像素密集区域，并计算相应灰度值密集区域的面积及离心距离du，进而计算密集区域特征权重fu。[0053]具体的，以一个5X5像素的单元格为基本单位，一个单元格中包含25个像素点，将跟踪目标区域进行分割，构成一张跟踪目标分割图（如图3所示），该跟踪目标分割图将跟踪目标区域划分为许多小的单元格。相应跟踪目标上具有相同灰度值的像素密集区域，因此也被划分成为多个相邻的特征密度单元格。[0054]图3显示了跟踪目标区域中灰度值u分别取为100及125的像素分布区域。通过对跟踪目标区域的分割，对特征密集区域的寻找就变为对特征密集单元格的寻找。对整张跟踪目标分割图的搜索，以单元格为单位进行扫描或者搜索。当搜索到一个单元格时，如果该单元格中有一种灰度值的像素数目多于或者等于13个（即多于单元格中像素点的一半），则认为该灰度值在该单元格密集，同时也将该单元格以此灰度值进行标记。若该单元格中不存一种灰度值的像素数目多于或者等于13,则认为该单元格内不存在密集灰度值。图4为对应于图3的灰度值密集区域示意图。[0055]本发明以此方法，获取相应灰度值在跟踪目标区域中的密集区域，并计算相应灰度值密集区域的面积及离心距离du。具体的以图4为例，图4中显示了跟踪目标区域中灰度值u分别取为100及125的像素密集区域。对于各像素密集区域，其相应面积由各自所能包含的单元格数量决定。[0056]假定某一种灰度值u密集区域包含单元格数量为N，则相应灰度值密集区域中所有单元格的总面积Su的计算公式为:Su=N*Ao，其中，Ao为一个单元格面积。[0057]对于各灰度值密集区域的离心距离du的计算，本发明取离心距离du为相应灰度值密集区域包含的所有单元格的中心与跟踪目标区域的中心间的空间欧式距离（即欧几里得距离）的平均值。[0058]结合灰度值密集区域的面积及离心距离du以计算灰度值u密集区域的密集区域特征权重fu的计算公式如下式所示：[0059][0060]其中，do为所有灰度值密集区域中离心距的最小非零值，S为跟踪目标区域的总面积，num为跟踪目标区域中存在的灰度值密集区域个数，du为灰度值密集区域的离心距离，Su为灰度值密集区域包含的单元格的总面积。[0061]步骤S4、基于Mean-Shift跟踪算法结合密集区域特征权重fu预测跟踪目标在下一帧输入的位置坐标。[0062]基于Mean-shift跟踪算法，统计跟踪目标区域中灰度值u的概率密度qu，并用概率密度qu的集合表征跟踪目标区域的特征，以此构建跟踪目标模型。具体的跟踪目标模型q如下式所示：[0063]q={qu}u=o,i.....255，[0064]其中：[0065][0066]其中，为相应像素相对于跟踪目标区域的中心位置的空间坐标向量;η为跟踪目标区域中像素数量;kx为一个单调递减的函数，它为距离中心远的像素分配更小的权值。[0067]具体的，在本实施方式中，函数kX为Epanechnikov核函数；为用于判断位于处的像素的灰度值。δX是Kronecker函数，在I时取值为1，否则为〇Χ为归一化系数，归一化系数C的定义如下式所示：[0068][0069]类似地，对于下一帧输入图像中候选跟踪目标区域假设其中心位置为yQ，一般预设为上一帧输入图像中的跟踪目标区域的中心位置），则其特征描述如下式所示：[0070]pyo={puyo}u=o,i.....255，[0071]其中：[0072][0073]其中，取为下一帧目标候选区的像素点位置，yo为下一帧目标候选区中心预设位置，h是目标候选区域的宽度;nh为候选跟踪目标区域中像素数量;归一化常量根据Mean-shift跟踪算法，可计算出与上一帧输入图像中与跟踪目标最相似的灰度值密集区域的实际位置y，实际位置y如下式所示：[0074][0075]其中，[0076][0077]使用Mean-shift算法进行目标跟踪，关键在于目标特征权值Wi的选取。在本实施方式中，可结合步骤S3所得的灰度值密集区域的密集区域特征fu，采用密集特征加权方式加大跟踪目标模型q中密集分布的特征权值（即密集特征的权值），使具有区分度的特征在跟踪目标模型q中起到主要作用，提高在下一帧输入图像中对跟踪目标进行定位的精确度，从而使得本实施例所揭示的跟踪方法在具有较强的鲁棒性的同时也能提高对目标的跟踪效果及效率，并能够有效克服外界的各种干扰。[0078]具体的，在本实施方式中，重新定义权值^如下式所示：[0079][0080]步骤S5、在视频流图像中每隔若干帧，循环执行所述步骤S2至步骤S4,以对跟踪目标进行更新及跟踪。所述步骤S5具体为：每隔10〜100帧采用背景建模法获取新的背景图像，循环执行所述步骤S2至步骤S4,以对跟踪目标进行更新及跟踪。[0081]在本实施方式中，对于步骤Sl所获取的视频流图像，按照每间隔一定帧数，采用步骤S2重新获取跟踪目标区域，再重复步骤S3、S4以达到实时更新目标并进行跟踪的目的。[0082]具体的，本发明每隔10〜100帧即采用背景建模法获取新的背景图像，再采用背景差分运算更新跟踪目标区域;并进一步优选为，每隔100帧采用背景建模法获取新的背景图像，再采用背景差分运算更新跟踪目标区域。[0083]上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。[0084]对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。[0085]此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

权利要求：1.结合密集特征的Mean-shift跟踪方法，其特征在于，包括以下步骤：51、获取监控区域的视频流图像作为输入图像；52、通过背景建模法获取背景图像，采用背景差分运算获得跟踪目标区域；53、获取跟踪目标区域中具有相同灰度值的像素密集区域，并计算相应灰度值密集区域的面积及离心距离，以计算密集区域特征权重fu;54、基于Mean-shift跟踪算法并结合密集区域特征权重fu，预测跟踪目标在下一帧输入图像中的位置坐标；55、在视频流图像中每隔若干帧，循环执行所述步骤S2至步骤S4,以对跟踪目标进行更新及跟踪。2.根据权利要求1所述的结合密集特征的Mean-shift跟踪方法，其特征在于，所述步骤Sl具体为:通过摄像机获取监控区域的视频流图像作为输入图像，所述监控区域位于摄像机的正下方。3.根据权利要求1所述的结合密集特征的Mean-shift跟踪方法，其特征在于，所述步骤S2具体为：首先，以包含当前帧图像在内的前10帧输入图像为基础，通过中值滤波运算获取同一像素位置处出现灰度值的中值作为背景帧图像相应像素位置处灰度值，进而获取背景图像；然后，将当前帧图像与背景图像进行差分运算，并将差分结果与阈值T进行比较，提取灰度值大于阈值T的像素区域；最后，使用矩形框框选出跟踪目标区域。4.根据权利要求3所述的集合密度特征的Mean-shift跟踪方法，其特征在于，所述阈值T=20,所述矩形框的规格为包含跟踪目标区域的最大矩形框。5.根据权利要求1所述的结合密集特征的Mean-shift跟踪方法，其特征在于，所述步骤S3具体为：获取相同灰度值u在跟踪目标区域中的灰度值密集区域，并计算相应灰度值密集区域的面积及离心距离du，结合灰度值密集区域的面积及离心距离du，计算灰度值密集区域的密集区域特征权重fu。6.根据权利要求5所述的结合密集特征的Mean-shift跟踪方法，其特征在于，所述“获取相同灰度值u在跟踪目标区域中的灰度值密集区域”具体为：将跟踪目标区域以设定的单元格为单位进行分割，以形成目标分割图；以单元格为单位对目标分割图进行扫描，若落入跟踪目标区域中的单元格中存在大于或者等于一半具有相同灰度值u的像素点数量时，则认定该单元格存在灰度值密集区域。7.根据权利要求5所述的结合密集特征的Mean-shift跟踪方法，其特征在于，所述单元格的规格为5X5至10X10，单位:像素点；所述相应灰度值密集区域的离心距离du为灰度值密集区域包含的单元格的中心与跟踪目标区域的中心的空间欧式距离的平均值。8.根据权利要求5所述的结合密集特征的Mean-shift跟踪方法，其特征在于，结合灰度值密集区域的面积及离心距离du以计算灰度值密集区域的密集区域特征权重fu的计算公式如下式所示：msuf=,edus,numII,num=0其中，do为所有灰度值密集区域中离心距离的最小非零值，S为跟踪目标区域的总面积，num为跟踪目标区域中存在的灰度值密集区域个数，du为灰度值密集区域的离心距离，^为灰度值密集区域包含所有的所有单元格的总面积。9.根据权利要求1所述的结合密集特征的Mean-shift跟踪方法，其特征在于，所述步骤S4具体为：基于Mean-shift跟踪算法，统计跟踪目标区域中灰度值u的概率密度qu，并用概率密度qu的集合表征跟踪目标区域的特征，以此构建跟踪目标模型；结合步骤S3所得灰度值密集区域的密集区域特征权重fu，采用密集区域特征加权方式加大目标模型中密集特征的权值。10.根据权利要求1所述的结合密集特征的Mean-shift跟踪方法，其特征在于，所述步骤S5具体为:每隔10〜100帧采用背景建模法获取新的背景图像，循环执行所述步骤S2至步骤S4,以对跟踪目标进行更新及跟踪。

百度查询： 江苏慧眼数据科技股份有限公司 一种结合密集特征的Mean-shift跟踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD