申请/专利权人：广赛布托有限公司

申请日：2018-09-29

公开（公告）日：2023-05-23

公开（公告）号：CN109584268B

主分类号：G06T7/246

分类号：G06T7/246;G06T7/73

优先权：["20170929 JP 2017-189397"]

专利状态码：有效-授权

法律状态：2023.05.23#授权;2019.04.30#实质审查的生效;2019.04.05#公开

摘要：本发明提供一种移动体跟踪装置、移动体跟踪方法以及计算机可读记录介质。在使用图像数据进行的移动体的跟踪中，即使作为目标的移动体在外观上显著特征不明显，此外在帧图像中存在多个与作为目标的移动体相同的图像的情况下，也能够高精度地跟踪移动体。根据图像数据来评价给定环境例如乒乓球下的运动模型例如球的活动遵照运动法则，在很多情况下球位于球台上等，即使在作为目标的移动体在外观上显著特征不明显，此外在帧图像中存在多个与作为目标的移动体相同的图像的情况下，也能够高精度地跟踪移动体。

主权项：1.一种移动体跟踪装置，其使用图像数据来跟踪在给定环境下的将被使用图案匹配方法来检测的物体的活动，其特征在于，具备：位置信息生成部，其生成在所有图像帧中的每个图像帧中的物体的位置信息；候选位置保持部，其保持上述所有图像帧中的每个上述图像帧中的上述物体的多个候选的上述位置信息；位置预测部，其根据运动模型来计算在第二图像帧中的预测位置信息，上述运动模型根据第一图像帧中的跟踪目标的位置和速度来确定，上述第一图像帧和上述第二图像帧是连续的并且是从上述所有图像帧中选出的；候选提取部，其根据由上述位置信息生成部根据上述位置信息以及上述第二图像帧中的上述跟踪目标的上述预测位置信息，针对各个组合计算表示位置一致度的似然得分，并根据上述似然得分来提取上述第二图像帧中的一个以上的上述候选，将提取出的上述候选的位置信息输出到上述候选位置保持部；目标位置确定部，其基于根据位置得分与运动得分的组合而求出的表示上述跟踪目标的评价得分，从上述候选提取部提取出的上述候选的位置信息中确定上述第二图像帧中的作为上述跟踪目标的上述物体的位置信息，上述位置得分以及运动得分是根据上述运动模型而计算出的得分，以及移动体跟踪部，其追寻上述第一图像帧和上述第二图像帧中的上述物体的位置信息，由此来跟踪上述物体的活动。

全文数据：移动体跟踪装置、移动体跟踪方法及计算机可读记录介质技术领域本发明涉及一种移动体跟踪装置、移动体跟踪方法以及计算机可读记录介质。背景技术近年来，随着动态图像拍摄技术的进步，能够在日常的各种场合简单地拍摄图像尤其是动态图像。由此需求并发明了一种通过图像解析技术从拍摄到的图像尤其是动态图像中跟踪物体的行动的装置。作为以往已知的使用图像来跟踪移动体的发明，例如在专利文献1中记载了一种装置，其通过评价颜色的行动程度来检测并跟踪移动体。另外，在专利文献2中记载了一种装置，其检测帧图像之间的像素的移动量，并将表示移动量最大的像素位置的图像进行叠加，由此来检测移动体的轨迹从而跟踪移动体。然而，在专利文献1所记载的装置中，通过评价颜色的行动程度来检测并跟踪移动体，因此，例如关于乒乓球、高尔夫球等色彩、形状、局部配置等外观上显著特征不明显的移动体，难以不依赖于它们的外观特征进行跟踪。另外，例如即使是排球、足球等色彩、形状、局部配置等在外观上具有特征的移动体，在检测出多个候选的情况下如果无法将目标物确定为一个则难以进行跟踪。在专利文献2所记载的装置中，根据帧图像之间的像素的移动量来检测移动体的轨迹从而跟踪移动体，但是，例如关于乒乓球等，除了在比赛中正在使用的球以外，还有在练习时使用而在地板上滚动的球、裁判员等所持的备用的球等，很多时候在多个帧图像中存在多个与作为跟踪目标的球相同的图像，另外，也有可能将球以外的具有类似特征的物体误检测为跟踪对象。在这种情况下难以高精度地跟踪移动体。如专利文献1、专利文献2所示，在通过着眼于色彩、形状、局部配置等外观特征或像素的图像解析来进行移动体跟踪的移动体跟踪技术中，难以跟踪外观特征不明显的移动体。专利文献1：国际公表第2012127618号公报专利文献2：国际公表第2016021143号公报发明内容为了解决该问题，本发明提供一种基于以下的移动体跟踪技术的解决手段，该移动体跟踪技术通过着眼于移动体的运动特征的图像解析来进行移动体跟踪。本发明的移动体跟踪装置使用图像数据来跟踪在给定环境下的物体的活动，其具备：位置信息生成部，其根据图像帧内的上述图像数据生成成为跟踪目标候选的物体的位置信息；候选位置保持部，其针对每个上述图像帧保持可能为跟踪目标的上述物体的多个候选的上述位置信息；位置预测部，其对于由上述候选位置保持部保持上述位置信息的第一图像帧的上述候选，根据运动模型来计算在第二图像帧中的预测位置信息，上述运动模型是由基于上述给定环境的特有信息即坐标系、上述跟踪目标存在的位置条件、与上述第一图像帧连续的上述第二图像帧中的预测位置计算式、基于上述跟踪目标的存在概率分布的位置得分计算式以及基于上述跟踪目标的速度的运动得分计算式而决定的运动模型；候选提取部，其根据由上述位置信息生成部根据上述第二图像帧内的上述图像数据生成的上述位置信息以及上述位置预测部计算出的上述第二图像帧中的上述预测位置信息，针对各个组合计算表示位置一致度的似然得分，并根据上述似然得分来提取上述第二图像帧中的一个至两个以上的上述候选，将提取出的上述候选的位置信息输出到上述候选位置保持部；目标位置确定部，其基于根据位置得分与运动得分的组合而求出的表示可能为上述跟踪目标的评价得分，从上述候选提取部提取出的上述候选的位置信息中确定上述图像帧中的作为上述跟踪目标的上述物体的位置信息，上述位置得分以及运动得分是根据由上述给定环境决定的上述运动模型而计算出的得分，以及移动体跟踪部，其在连续的上述图像帧中追寻由上述目标位置确定部确定出的上述物体的位置信息，由此来跟踪上述物体的活动。在此，给定环境是指放置了要跟踪的物体的环境，是在使用图像数据来预测要跟踪的物体的位置时，除了经典力学牛顿力学的运动法则以外还具有为了提高预测精度而应该考虑的特有信息的环境。在后文中详细说明。另外，运动模型是指在使用图像数据来预测要跟踪的物体的位置时所使用的与给定环境下的物体的运动有关的模型。由以下来决定：经典力学牛顿力学的运动法则、以及除此以外的给定环境下的特有信息即坐标系、跟踪目标存在的位置条件、与第一图像帧连续的第二图像帧中的预测位置计算式、基于跟踪目标的存在概率分布的位置得分计算式以及基于跟踪目标的速度的运动得分计算式。在后文中详细说明。在本发明的移动体跟踪装置中，上述候选提取部能够对于作为上述位置预测部计算上述预测位置信息的基础的上述第一图像帧的上述候选相同的在上述第二图像帧中的上述物体的候选数量决定上限。在本发明的移动体跟踪装置中，上述候选提取部能够提取以上述第一图像帧的所有上述候选中的各个候选为基础的在上述第二图像帧中的至少一个上述候选。在本发明的移动体跟踪装置中，上述候选提取部能够从上述候选中排除上述似然得分不在阈值以上的上述第二图像帧中的上述候选。另外，在本发明的移动体跟踪方法中，使用图像数据来跟踪在给定环境下的物体的活动，其具有：位置信息生成步骤，根据图像帧内的上述图像数据生成成为跟踪目标候选的物体的位置信息；候选位置保持步骤，针对每个上述图像帧保持可能为跟踪目标的上述物体的多个候选的上述位置信息；位置预测步骤，对于在上述候选位置保持步骤保持上述位置信息的第一图像帧的上述候选，根据运动模型来计算在第二图像帧中的预测位置信息，上述运动模型是由基于上述给定环境的特有信息即坐标系、上述跟踪目标存在的位置条件、与上述第一图像帧连续的上述第二图像帧中的预测位置计算式、基于上述跟踪目标的存在概率分布的位置得分计算式以及基于上述跟踪目标的速度的运动得分计算式而决定的运动模型；候选提取步骤，其根据在上述位置信息生成步骤中根据上述第二图像帧内的上述图像数据生成的上述位置信息以及在上述位置预测步骤计算出的上述第二图像帧中的上述预测位置信息，针对各个组合计算表示位置一致度的似然得分，并根据上述似然得分来提取上述第二图像帧中的一个至两个以上的上述候选，将提取出的上述候选的位置信息输出到候选位置保持部；目标位置确定步骤，其基于根据位置得分与运动得分的组合而求出的表示可能为上述跟踪目标的评价得分，从在上述候选提取步骤提取出的上述候选的位置信息中确定上述图像帧中的作为上述跟踪目标的上述物体的位置信息，上述位置得分以及运动得分是根据由上述给定环境决定的上述运动模型而计算出的得分，以及移动体跟踪步骤，其在连续的上述图像帧中追寻在上述目标位置确定步骤确定出的上述物体的位置信息，由此来跟踪上述物体的活动。另外，在本发明的存储了移动体跟踪程序的计算机可读记录介质中，该移动体跟踪程序使计算机发挥使用图像数据来跟踪在给定环境下的物体的活动的功能，上述移动体跟踪程序使计算机作为以下各部发挥功能：位置信息生成部，其根据图像帧内的上述图像数据生成成为跟踪目标候选的物体的位置信息；候选位置保持部，其针对每个上述图像帧保持可能为跟踪目标的上述物体的多个候选的上述位置信息；位置预测部，其对于由上述候选位置保持部保持上述位置信息的第一图像帧的上述候选，根据运动模型来计算在第二图像帧中的预测位置信息，上述运动模型是由基于上述给定环境的特有信息即坐标系、上述跟踪目标存在的位置条件、与上述第一图像帧连续的上述第二图像帧中的预测位置计算式、基于上述跟踪目标的存在概率分布的位置得分计算式以及基于上述跟踪目标的速度的运动得分计算式而决定的运动模型；候选提取部，其根据由上述位置信息生成部根据上述第二图像帧内的上述图像数据生成的上述位置信息以及上述位置预测部计算出的上述第二图像帧中的上述预测位置信息，针对各个组合计算表示位置一致度的似然得分，并根据上述似然得分来提取上述第二图像帧中的一个至两个以上的上述候选，将提取出的上述候选的位置信息输出到上述候选位置保持部；目标位置确定部，其基于根据位置得分与运动得分的组合而求出的表示可能为上述跟踪目标的评价得分，从上述候选提取部提取出的上述候选的位置信息中确定上述图像帧中的作为上述跟踪目标的上述物体的位置信息，上述位置得分以及运动得分是根据由上述给定环境决定的上述运动模型而计算出的得分，以及移动体跟踪部，其在连续的上述图像帧中追寻由上述目标位置确定部确定出的上述物体的位置信息，由此来跟踪上述物体的活动。基于通过着眼于移动体的运动特征的图像解析来跟踪移动体的移动体跟踪技术，解决了通过着眼于色彩、形状、局部配置等外观特征或像素的现有的图像解析来跟踪移动体的移动体跟踪技术的课题。由此，能够高精度地跟踪在通过以往的图像解析来跟踪移动体的移动体跟踪技术中难以跟踪的球类运动中的球那样的外观特征不明显的移动体。如上所述，在日常的各种场合能够简单地拍摄图像尤其是动态图像，因此要求一种使用图像解析技术从拍摄到的图像尤其是动态图像中跟踪物体的行动的装置，从使用照相机等捕捉到的图像尤其是动态图像中将某个物体设为跟踪目标，并在给定的环境中掌握相对位置以及行动速度及其方向等是重要的。例如，球类运动中的球的位置和行动将决定其胜负，特别是期望弄清楚与边界线那样的环境信息之间的关系。另外，记录球的速度、轨迹对于选手的训练是有效的。并且，通过着眼于在给定环境下的移动体的运动特征而并非着眼于跟踪目标的外观特征，即使像素数等画质、每单位时间的帧数等为普通照相机等的性能例如，每单位时间的帧数为60fps左右，也能够高精度地对跟踪目标进行跟踪。因此，不需要使用高性能、高品质的照相机等特殊的照相机等。附图说明图1是具备移动体跟踪装置的装置的框图。图2是图1所示的装置的硬件结构图。图3示意性地表示使用照相机拍摄到的乒乓球的图像。图4是表示移动体跟踪装置的动作的流程图。图5示意性地表示在说明移动体跟踪装置的动作时使用的标记。图6是表示移动体跟踪装置的候选提取部的动作的流程图。图7是表示移动体跟踪装置的目标位置确定部的动作的流程图。图8是表示第二实施方式的基于似然得分的候选提取处理的流程图。图9示意性地表示第二实施方式的候选提取部所进行的基于似然得分的候选提取处理。图10A是表示第三实施方式的基于似然得分的候选提取处理的流程图前半部分。图10B是表示第三实施方式的基于似然得分的候选提取处理的流程图后半部分。图11是示意性地表示第三实施方式的候选提取部所进行的基于似然得分的候选提取处理。具体实施方式参照附图说明本发明的实施方式。此外，省略重复的说明，在各附图中对相同或者相当的部分赋予相同的附图标记。第一实施方式本实施方式的移动体跟踪装置是使用图像来跟踪移动体的装置。本实施方式的移动体跟踪装置适合用于在乒乓球、高尔夫球、棒球、排球等球类运动等中对球的活动高精度地进行跟踪的装置，该装置高精度地跟踪在预定的区域内遵照运动法则进行运动的色彩、形状、局部配置等在外观上显著特征不明显的移动体。这只是例子，并非仅限用于运动运动。图1是具备移动体跟踪装置1的装置2的框图。图1表示的装置2例如为智能手机、信息便携终端、数字照相机、游戏机终端、电视机等电器产品，具有图2所示的硬件结构。如图2所示，装置2在物理上构成为包含中央运算装置CPU201、输入装置202、输出装置203、主存储装置RAMROM204、辅助存储装置205等的计算机系统。具体地说，输入装置202由照相机、触摸屏、键盘等构成，输出装置203由显示器、打印机等构成。装置2也可以为具备通信模块等与网络连接的结构。另外，移动体跟踪装置1也可以构成为包含中央运算装置CPU201、输入装置202、输出装置203、主存储装置RAMROM204、辅助存储装置205等的计算机系统。通过在图2所示的中央运算装置CPU201、主存储装置RAMROM204等中读入预定的计算机软件，通过中央运算装置CPU201的控制使输入装置202、输出装置203进行动作，并且与主存储装置RAMROM204、辅助存储装置205进行数据读写，由此来实现移动体跟踪装置1和装置2的各功能。如图1所示，装置2具备照相机21、检测部22、移动体跟踪装置1以及显示部23。另外，移动体跟踪装置1具备信息输入部10、位置信息生成部11、候选位置保持部12、位置预测部13、候选提取部14、目标位置确定部15以及移动体跟踪部16。照相机21例如使用摄像元件等，具有拍摄图像或动态图像的功能。照相机21可以是单目也可以是多目。照相机21具有以下功能：将拍摄到的多个图像或动态图像作为图像帧向检测部输出。检测部22具有以下功能：从由照相机21输入的图像帧内的图像数据中检测与作为跟踪目标的物体的特征一致的候选。例如使用作为图案匹配方法的SSDSumofSquaredDifference：方差和、SADSumofAbsoluteDifference：绝对误差和、NCCNormalizedCrossCorrelation：归一化互相关等统计学的学习方法等来检测候选。检测部22具有以下功能：向移动体跟踪装置1的信息输入部10输出与从图像帧内的图像数据中检测出的候选有关的信息。移动体跟踪装置1具有以下功能：根据从检测部22输入的与从图像帧内的图像数据中检测出的候选有关的信息，确定并追寻成为跟踪目标的物体在图像帧内的位置信息，由此跟踪成为跟踪目标的物体。移动体跟踪装置1具有将确定出的成为跟踪目标的物体在各帧内的位置信息输出到显示部23的功能。信息输入部10具有以下功能：根据从检测部22输入的与从图像帧内的图像数据中检测出的候选有关的信息，将需要的信息输出到位置信息生成部11。作为需要的信息，至少具有用于确定图像帧的信息以下称为图像帧编号、用于确定候选位置的信息以下称为位置信息。信息输入部10具有将图像帧编号输出到位置预测部13的功能。另外，信息输入部10可以具有以下功能：按照一定的间隔提取图像帧以下称为限时释放将需要的信息输出到位置信息生成部11。位置信息生成部11具有以下功能：根据从信息输入部10输入的与从图像帧内的图像数据中检测出的候选有关的信息，生成各候选的位置信息。例如在照相机21为单目的情况下设定二维的坐标轴，在照相机21为多目的情况下设定三维的坐标轴来生成各候选的位置信息坐标。位置信息生成部11具有以下功能：在候选的位置信息中反映对于移动体的跟踪带来影响的与位置有关的条件。例如为乒乓球的跟踪中的球台的坐标区域等。位置信息生成部11具有将生成的位置信息输出到候选提取部14的功能。候选位置保持部12具有以下功能：保持从候选提取部14输入的与上位候选有关的信息。稍后说明候选提取部14的功能和上位候选的定义。候选位置保持部12具有以下功能：作为与上位候选有关的信息，至少保持图像帧编号、上位候选的位置信息以及似然得分。稍后说明似然得分。位置预测部13具有以下功能：询问候选位置保持部12来取得与图像帧第一图像帧中的上位候选有关的信息，其中，上述图像帧第一图像帧是与通过从信息输入部10输入的图像帧编号指定的图像帧第二图像帧连续的图像帧。在此，连续的图像帧是指在两个图像帧之间不存在其它图像帧的状态，图像帧编号不必一定连续。例如，存在以下等情况：即使两个图像帧连续，但是因为对原本存在于它们之间的图像帧进行了限时释放的处理，因此图像帧编号不连续。另外，连续的图像帧既可以是时刻在前的连续的图像帧，也可以是时刻在后的连续的图像帧。在随着时间的流逝进行移动体跟踪的情况下成为时刻在前的连续的图像帧，在追溯时间的流逝进行移动体跟踪的情况下成为时刻在后连续的图像帧。此外，关于连续的图像帧，在本专利申请所涉及的其它记载中也是相同的。位置预测部13具有以下功能：根据从候选位置保持部12取得的信息，对于连续的图像帧第一图像帧的各个上位候选，计算在该图像帧第二图像帧中的预测位置信息。例如根据上位候选的位置和速度计算预测位置信息。另外，例如定义以下的运动模型，即如果是乒乓球则在计算中考虑由于在球台上进行弹跳使得速度发生变化等由于环境引起的特有信息。在本实施例中，根据经典力学牛顿力学的运动法则，此外还根据给定环境下的特有信息即坐标系、跟踪目标存在的位置条件、与第一图像帧连续的第二图像帧中的预测位置计算式、基于跟踪目标的存在概率分布的位置得分计算式以及基于跟踪目标的速度的运动得分计算式来决定上述运动模型。位置预测部13具有将计算出的预测位置信息输出到候选提取部14的功能。候选提取部14具有以下功能：根据从位置信息生成部11输入的与从图像帧第二图像帧内的图像数据检测出的候选有关的位置信息以及从位置预测部13输入的在相同的图像帧第二图像帧中的预测位置信息，计算似然得分。在此，似然得分是指对于与候选有关的位置信息与预测位置信息的各个组合表示位置一致度的得分，例如，各个距离越小则得分越大。候选提取部14具有以下功能：询问位置预测部13来取得计算似然得分所需的预测位置信息。候选提取部14具有以下功能：将从似然得分的上位开始所决定的数量的候选设为上位候选，并将其位置信息输出到目标位置确定部15。另外，候选提取部14具有将上位候选的位置信息等输出到候选位置保持部12的功能。目标位置确定部15具有以下功能：根据从候选提取部14输入的上位候选的位置信息来计算评价得分。在此，评价得分是表示可能为跟踪目标的得分。评价得分例如通过位置得分与运动得分的组合来定义。在此，位置得分是指根据成为跟踪目标的物体的存在概率分布来进行评分而得到的得分。例如，在成为跟踪目标的物体为乒乓球的情况下，球台的上部存在球的概率高，因此位置得分高，球台的下部存在球的概率低，因此位置得分低。另外，在此，运动得分是指根据成为跟踪目标的物体的速度进行评分而得到的得分。在给定的环境下除了经典力学牛顿力学的运动法则以外，还对于应该考虑的与成为跟踪目标的物体的运动有关的特有信息进行评分。具体地说，决定以如下等方式来计算运动得分的计算式：决定给定环境下的速度上限值，在为上限值以上的速度的物体中使运动得分低；在给定的环境下物体在盘面等进行反射的情况下，如果物体的速度适合于考虑了反射的条件，则使该物体的运动得分高。例如在成为跟踪目标的物体为乒乓球的情况下，在速度大小为30ms以下的情况下运动得分低，当在球台附近进行了反射运动时运动得分高。作为评价得分的定义，可以简单地将位置得分和运动得分进行相加，也可以在进行加权后进行相加或相乘等来进行定义。目标位置确定部15具有以下功能：确定评价得分最上位的候选位置来作为该图像帧中的成为跟踪目标的物体的位置。目标位置确定部15具有以下功能：将所确定的成为跟踪目标的物体的位置信息输出到移动体跟踪部16。移动体跟踪部16具有以下功能：追寻从目标位置确定部15输入的各图像帧中的所确定的成为跟踪目标的物体的位置信息来进行跟踪。移动体跟踪部16具有以下功能：将所追寻的成为跟踪目标的物体在各帧中的位置信息输出到显示部23。显示部23具有以下功能：例如在显示器等中连续地显示从移动体跟踪装置1的移动体跟踪部16输入的成为跟踪目标的物体在各帧中的位置信息，由此来显示成为跟踪目标的物体的轨迹。接着，说明本实施方式的移动体跟踪装置1的动作。此外，考虑到使说明容易理解，作为本发明的移动体跟踪装置的动作例子，说明跟踪乒乓球的移动体跟踪装置。此外，在此通过将乒乓球设为给定环境的例子来进行说明，但是稍后说明给定的环境为排球、棒球、高尔夫球时的实施例。说明在将乒乓球设为给定的环境时应该考虑的特征。图3示意性地表示由照相机21拍摄到的乒乓球的图像。乒乓球在色彩、形状、局部配置等外观方面显著特征不明显，因此具有以下特征：在检测图像内的乒乓球时，根据检测部22的检测精度有可能错误地检测观众脸部等乒乓球以外的物体304。另外，具有以下特征：除了检测到在比赛中使用的作为跟踪目标物体的乒乓球301以外，还检测到备用球302、在地板上滚动的球303等跟踪目标物体以外的物体。因此，需要将在比赛中使用的球301以外误检测到的候选304、虽然是乒乓球但不是跟踪目标物体的候选302、303排除来跟踪成为跟踪目标的物体。作为在将乒乓球设为给定的环境时应该考虑的特征，例如具有以下特征：需要应对由于运动员所使用的乒乓球的变更等，成为跟踪目标的物体变更为与到目前为止使用的球不同的球。作为在将乒乓球设为给定的环境时应该考虑的特征，如图3所示，具有以下特征：作为跟踪目标的乒乓球存在于球台上部的概率高。另外，球的运动具有遵照运动法则的特征，但是具有以下特征：频繁地进行抛物运动以及与球台碰撞时改变朝向反弹的运动301，另一方面，难以产生停止302、低速的直线前进滚动运动303。在确定成为跟踪目标的物体时，通过考虑这些特征使得精度提高。图4是表示本实施方式的移动体跟踪装置1的动作的流程图。此外，考虑到使说明容易理解，说明为在执行图4的步骤之前，移动体跟踪装置1的候选位置保持部12保持了与第一图像帧中的上位候选有关的信息。图5示意性地表示在说明本实施方式的移动体跟踪装置1的动作时使用的标记。t0帧与t帧是连续的图像帧。Pnt0是t0帧中的上位候选的第n个。Vnt0是Pnt0的速度。Qnt是t帧中的预测候选的第n个，预测为以Pnt0为基础的在t帧中的位置。Amt是在t帧中检测出的所有候选的第m个。Dmnt是Qnt与Amt的距离。这些标记的含义在本专利申请的其他记载中也是相同的。如图4所示，首先，信息输入部10进行以下处理：在输入了与从图像帧第二图像帧内的图像数据检测出的候选有关的信息之后，从输入的信息中提取需要的信息至少为图像帧编号和位置信息并输出到位置信息生成部11和位置预测部13S401。此时，也可以一同进行限时释放的处理S401。当S401的处理结束时，转移到位置信息生成处理S403和位置预测处理S407。在S403的处理中，位置信息生成部11进行将从信息输入部10输入的与候选有关的位置信息变换为适合于以后处理的坐标系中的位置信息。在本实施方式的跟踪乒乓球的例子中，将照相机21设为多目，通过以下的三维坐标系来进行说明，在该三维坐标系中，将原点设为从球台的中心垂下的垂线与地板的交点，将X轴设为球台的长边方向，将Y轴设为球台的短边方向，将Z轴设为与球台垂直的方向，将朝上设为正，将朝下设为负。另外，关于在比赛中使用的球台的区域，按照坐标系成为-1.370≤X≤1.370、-0.7625≤Y≤0.7625、Z＝0.76。当S403的处理结束时，转移到候选检测处理S409。在S407的处理中，位置预测部13进行取得候选位置信息D405的处理，即取得与图像帧第一图像帧中的上位候选有关的位置信息，其中，上述图像帧第一图像帧与通过从信息输入部10输入的图像帧编号指定的图像帧第二图像帧连续。接着，进行以下处理：计算与第一图像帧的各个上位候选有关的在第二图像帧中的预测位置信息。当将第一图像帧设为t0帧，将第二图像帧设为t帧时，在本实施方式的跟踪乒乓球的例子中，通过以下的数学式来求出预测位置Qnt。在此，数学式中的单位系统采取MKS单位系统，以下也相同。Qnt＝Pnt0+Vnt0其中，满足以下所有条件的情况为球位于球台上方的情况，考虑到弹跳，通过以下数学式来求出预测位置Qnt。此外，Qnt.X表示Qnt的X坐标，Qnt.Y表示Qnt的Y坐标，Qnt.Z表示Qnt的Z坐标，以下采用相同的标记方法。在Pnt0.Z0.76，并且-1.370≤Qnt.X≤1.370，并且-0.7625≤Qnt.Y≤0.7625的情况下Qnt＝Qnt.X，Qnt.Y，|Qnt.Z-0.76|+0.76当S407的处理结束时，转移到候选提取处理S409。在S409的处理中，候选提取部14进行以下处理：根据从位置信息生成部11输入的与从第二图像帧内的图像数据检测出的候选有关的位置信息以及从位置预测部13输入的在相同的第二图像帧中的预测位置信息来计算似然得分，从而提取第二图像帧中的上位候选，并且作为候选位置信息D405而输出。在后文中详细说明该处理。当S409的处理结束时，转移到目标位置确定处理S411。在S411的处理中，目标位置确定部15进行以下处理：根据从候选提取部14输入的上位候选的位置信息来计算评价得分，将评价得分最上位的候选位置确定为该图像帧中的成为跟踪目标的物体的位置。在后文中详细说明该处理。当S411的处理结束时转移到移动体跟踪处理S413。在S413的处理中，移动体跟踪部16进行以下处理：追寻从目标位置确定部15输入的各个图像帧中的所确定的成为跟踪目标的物体的位置信息来进行跟踪。当S413的处理结束时，转移到显示处理S415。在S415的处理中，显示部23进行以下处理：连续地显示从移动体跟踪部16输入的成为跟踪目标的物体在各帧的位置信息，由此来显示成为跟踪目标的物体的轨迹。当S415的处理结束时，转移到结束判断处理S417。在S417的处理中，判断是否对从检测部22输入给信息输入部10的所有的图像帧执行了处理。当在S417的处理中判断为并未对所有的图像帧执行处理时，再次转移到S401的处理。在S401的处理中，在输入了与从下一个未处理的图像帧内的图像数据中检测出的候选有关的信息后，执行S401至S417的处理。如此反复执行S401至S417的处理直到对所有的图像帧执行处理。另一方面，当在S417的处理中判断为对所有的图像帧执行了处理时，结束图4表示的控制处理。接着，详细说明图4所示的子例程的各处理。首先，使用图6详细说明候选提取处理S409。图6是表示本实施方式的移动体跟踪装置1的候选提取部14的动作的流程图。如上所述，在候选提取处理S409中，候选提取部14根据从位置信息生成部11输入的与从第二图像帧内的图像数据检测出的候选有关的位置信息以及从位置预测部13输入的相同的第二图像帧中的预测位置信息来计算似然得分，从而提取第二图像帧的上位候选。在本实施例中，将提取的上位候选的数量设为自然数N来进行说明。如图6所示，首先，候选提取部14设定m＝1、n＝1来作为初始值S601。在S603的处理中，候选提取部14取得在S403的处理中得到的所有候选的第m个Amt。在S605的处理中，候选提取部14从在S407的处理中得到的预测候选中取得第n个Qnt。在S607的处理中，候选提取部14计算Amt与Qnt的组合的似然得分Lmnt以下，在本专利申请的记载中，将似然得分同样地标记为Lmnt，并保持结果D619。根据Amt与Qnt的距离Dmnt，通过以下的数学式来求出Lmnt。Lmnt＝exp-Dmnt2在S609的处理中，候选提取部14判断Qnt是否为在S407的处理中得到的预测候选的最后一个。在判断为并非是预测候选的最后一个的情况下，在对n加1的处理S611后，再次转移到S605的处理。这样，反复执行S605至S609的处理直到对所有的预测候选执行处理。另一方面，当在S609的处理中判断为是预测候选的最后一个时，转移到S613的处理。在S613的处理中，候选提取部14判断Amt是否为在S409的处理中得到的候选的最后一个。在判断为并非是候选的最后一个的情况下，在对m加1的处理S615后，再次转移到S603的处理。这样，反复执行S603至S613的处理直到对所有的候选执行处理。另一方面，当在S613的处理中判断为是预测候选的最后一个的情况下，转移到基于似然得分的候选提取处理S617。在基于似然得分的候选提取处理S617中，候选提取部14根据似然得分提取上位N组的Amt、Qnt、Lmnt的组合来作为候选。候选提取部14结束候选提取处理而转移到主例程。接着，使用图7详细说明目标位置确定处理S411。图7是表示本实施方式的移动体跟踪装置1的目标位置确定部15的动作的流程图。在S701的处理中，目标位置确定部15依次取得在S409的处理中得到的候选。在S703的处理中，目标位置确定部15计算位置得分Sp。在本实施方式的跟踪乒乓球的例子中，在坐标为以下所示的各情况下，通过以下的数学式来求出位置得分Sp。在-1.370≤X≤1.370，并且-0.7625≤Y≤0.7625，并且Z≥0.76的情况下Sp＝1.0在-1.370≤X≤1.370，并且-0.7625≤Y≤0.7625，并且Z≤0.76的情况下Sp＝0.0除了上述情况以外，在-0.7625≤Y≤0.7625的情况下Sp＝exp-|X|-1.3702在上述任何情况以外的情况下Sp＝exp-2|Y|-0.7625|X|-1.3702在S705的处理中，目标位置确定部15计算运动得分Sm。在本实施方式的跟踪乒乓球的例子中，在坐标为以下表示的各情况下，通过以下的数学式来求出运动得分Sm。在Vz＝0.0的情况下，Sm＝0.001在上述以外的情况下，Sm＝min{1.0，1-|V30-1|}在S707的处理中，目标位置确定部15根据位置得分和运动得分来计算评价得分。在本实施方式的跟踪乒乓球的例子中，通过将位置得分与运动得分相加来计算评价得分。在S709的处理中，目标位置确定部15判断在S707的处理中计算出的评价得分与到目前为止的评价得分相比是否为最大。在判断为最大的情况下，转移到S711的处理而将目标位置D715替换为判断为评价得分最大的Amt。在判断为并非最大的情况下，转移到S713的处理。在S713的处理中，目标位置确定部15判断候选是否为最后的候选。在判断为并非最后的情况下，再次转移到S701的处理。这样，反复执行S701至S713的处理直到对所有的候选执行处理。另一方面，在判断为最后的情况下，将判断为评价得分最大的Amt确定为目标位置D715，结束目标位置确定处理而转移到主例程。接着，说明用于使计算机系统作为移动体跟踪装置1而发挥功能的移动体跟踪程序。计算机系统的结构如图2所示。移动体跟踪程序具备主模块、输入模块以及运算处理模块。主模块为综合控制图像处理的部分。输入模块使计算机系统进行动作以取得图像帧内的图像数据。运算处理模块具备位置信息生成模块、候选位置保持模块、位置预测模块、候选提取模块、目标位置确定模块以及移动体跟踪模块。通过执行主模块、输入模块以及运算处理模块而实现的功能分别与移动体跟踪装置1的信息输入部10、位置信息生成部11、候选位置保持部12、位置预测部13、候选提取部14、目标位置确定部15以及移动体跟踪部16的功能相同。例如通过ROM等存储介质或者半导体存储器来提供移动体跟踪程序。另外，也可以经由网络来提供移动体跟踪程序。如上所述，在本实施方式的移动体跟踪装置1中，位置信息生成部11根据从信息输入部10输入的与从图像帧第二图像帧内的图像数据检测出的候选有关的信息，生成各候选的位置信息，通过位置预测部13计算在该图像帧第二图像帧的预测位置，通过候选提取部14根据上述预测位置以及从候选位置保持部12取得的第一图像帧中的上位候选，计算第二图像帧中的预定数量的多个上位候选，并输出到候选位置保持部12来保持。如此，针对各图像帧将预定数量的多个上位候选保持在候选位置保持部12，由此能够在具有以下特征的环境下进行恰当的跟踪目标物体的判别，该特征为除了检测到在比赛中使用的作为跟踪目标物体的球以外，还检测到备用球、在地板上滚动的球等跟踪目标物体以外的物体。另外，在本实施方式的移动体跟踪装置1中，目标位置确定部15根据评价得分来确定上述图像帧中的作为上述跟踪目标的物体的位置信息，评价得分通过位置得分与运动得分的组合来定义。通过移动体跟踪部16在连续的上述图像帧中追寻所确定的物体的位置信息，由此跟踪上述物体的活动。如此，通过根据给定的环境例如乒乓球下的位置得分与运动得分的组合来计算评价得分，即使在由于色彩、形状、局部配置等外观方面显著特征不明显从而检测出多个候选的情况下，也能够高精度地确定成为跟踪目标的物体。实施例在说明本实施方式的移动体跟踪装置1的动作时，考虑到使说明容易理解，作为本发明的移动体跟踪装置的动作例子，说明了跟踪乒乓球的移动体跟踪装置，将其作为实施例1，通过与实施例1进行对比的方式，说明跟踪排球的例子实施例2、跟踪棒球的投球的例子实施例3、跟踪高尔夫球的例子实施例4。实施例1与实施例2至实施例4相比，本实施方式的移动体跟踪装置1的图1所示的结构相同，在作为图2所示的装置2来实现这一点上也相同。基于给定环境的条件不同，因此处理内容不同。具体地说，在以下点不同。在位置信息生成部11对于从输入信息部10输入的位置信息进行变换的处理中适用的坐标系不同。位置信息生成部11在位置信息的生成中反映的对于移动体的跟踪带来影响的与位置有关的条件不同。例如，如果给定的环境为乒乓球则将表示球台的各边与高度的坐标设为与位置有关的条件，如果给定的环境为排球则将表示球场各边的坐标设为与位置有关的条件。位置预测部13计算预测位置的数学式不同。通过基于经典力学牛顿力学的运动法则以及除此以外的在给定环境下的特有信息即运动模型而决定的数学式来计算预测位置。目标位置确定部15计算位置得分的数学式不同。位置得分是根据成为跟踪目标的物体的存在概率分布进行评分而得到的得分。在后文中说明计算位置得分的具体数学式，如下是每个给定环境的考虑方法。在成为跟踪目标的物体为乒乓球的情况下，球台上部球的存在概率高，因此位置得分高，球台下部球的存在概率低，因此位置得分低。在成为跟踪目标的物体为排球的情况下，球场上部球的存在概率高，因此位置得分高。在成为跟踪目标的物体为棒球投球的情况下，连结投球区土墩至本垒的区域的上部球的存在概率高，因此位置得分高。在成为跟踪目标的物体为高尔夫球的情况下，在球的击出方向的飞行距离大于球的高度时计算位置得分。目标位置确定部15计算运动得分的数学式不同。通过以下的方式等来决定计算运动得分的数学式：决定给定环境下的速度的上限值，在为上限值以上的速度的物体中使运动得分低，在给定环境下物体在盘面等上进行反射的情况下，如果物体的速度适合于考虑了反射的条件，则使该物体的运动得分高，在设置在地板的物体中使运动得分极小。关于运动模型的上述区别点，对于实施例1至实施例4在表中进行了归纳。在表1中表示实施例1，在表2中表示实施例2，在表3中表示实施例3，在表4中表示实施例4。运动模型是指在使用图像数据来对要跟踪的物体的位置进行预测时使用的与给定环境下的物体运动有关的模型，由经典力学牛顿力学的运动法则以及除了该法则以外应该考虑的给定环境下的特有信息构成。在实施例1至实施例4的跟踪对象球的位置预测中，成为除了运动法则以外还应用了在分别对应的表中所记载的条件的运动模型。[表1][表2][表3][表4]第二实施方式在第二实施方式的移动体跟踪装置中，图1表示的结构与第一实施方式的移动体检测装置1相同，在作为图2所示的装置2来实现这一点上也相同。在功能方面，候选提取部14的功能与第一实施方式的移动体检测装置1不同。因此，以候选提取部14为中心进行说明，省略与第一实施方式重复的说明。第二实施方式的候选提取部14具有以下功能：根据从位置信息生成部11输入的与从图像帧第二图像帧内的图像数据检测出的候选有关的位置信息以及从位置预测部13输入的相同的图像帧第二图像帧中的预测位置信息来计算似然得分。候选提取部14具有以下功能：询问位置预测部13来取得用于计算似然得分所需的预测位置信息。候选提取部14具有以下功能：从似然得分的上位开始将预定数量的候选设为上位候选，将其位置信息输出到目标位置确定部15。另外，候选提取部14具有以下功能：将上位候选的位置信息等输出到候选位置保持部12。在具有这些功能这一点上，与第一实施方式的候选提取部14相同。第二实施方式的候选提取部14具有以下功能：在提取上位候选时，对于作为位置预测部13计算预测位置信息的基础的图像帧第一图像帧中的候选相同的基于预测位置信息的候选数量设定上限。这一点与第一实施方式的候选提取部14不同。上述不同点基于图6表示的基于似然得分的候选提取处理S617的不同。图8是表示第二实施方式的基于似然得分的候选提取处理S617的流程图。如图8所示，首先，候选提取部14设定n＝1来作为初始值S801。在S803的处理中，候选提取部14取得Amt、Qnt、Lmnt的组合来作为数据。候选提取部14按照似然得分Lmnt的降序将数据进行分类，从而按照Lmnt的降序来排列以Qnt为计算基础的数据。在S805的处理中，候选提取部14从似然得分的上位开始保留自然数S个以Qnt为基础的候选。在S807的处理中，候选提取部14判断Qnt是否为在S407的处理中得到的预测候选的最后一个。在判断为并非是预测候选的最后一个的情况下，在对n加1的处理S809之后，再次转移到S803的处理。这样，反复执行S803至S807的处理直到对所有的预测候选执行处理。另一方面，当在S807的处理中判断为预测候选的最后一个的情况下，转移到S811的处理。在S811的处理中，候选提取部14在从在S805的处理中保留的候选中提取了似然得分的上位N个Amt、Qnt、Lmnt的组合来作为上位候选之后，结束基于似然得分的候选提取处理而转移到主例程。图9示意性地表示第二实施方式的候选提取部14所进行的基于似然得分的候选提取处理S617。在图9中，对于每个预测候选Qnt，在各列中从左向右以似然得分Lmnt的降序排列了数据。在S805的处理中，候选提取部14从似然得分的上位开始直到自然数S个为止，保留为以Qnt为基础的候选，在图9中是S＝4时的例子，表示从候选中排除了阴影部分的数据。在S811的处理中，候选提取部14从在S805的处理中保留的候选中提取似然得分的上位N个上位候选，在图9中相当于从没有阴影的部分的数据候选中提取似然得分的上位N个上位候选。如图9所示，第二实施方式的候选提取部14从针对各预测候选Qnt均等地保留的候选中提取上位候选，因此向特定的预测候选Qnt的偏向减小。由此，除了在有力候选附近存在的候选以外还保留上位候选。因此，例如在由于运动员所使用的球的变更等使得成为跟踪目标的物体变更为与到目前为止所使用的球不同的球的情况下、或者对于暂时误检测到的球以外的物体进行跟踪的情况下等，能够返回到正确的跟踪目标物体来继续进行跟踪。第三实施方式在第三实施方式的移动体跟踪装置中，图1所示的结构与第一实施方式的移动体检测装置1相同，在作为图2所示的装置2来实现这一点上也相同。在功能方面，候选提取部14的功能与第一实施方式的移动体检测装置1不同。因此，以候选提取部14为中心进行说明，省略与第一实施方式重复的说明。第三实施方式的候选提取部14具有以下功能：根据从位置信息生成部11输入的与从图像帧第二图像帧内的图像数据检测出的候选有关的位置信息以及从位置预测部13输入的相同图像帧第二图像帧内的预测位置信息，计算似然得分。候选提取部14具有以下功能：询问位置预测部13来取得用于计算似然得分所需的预测位置信息。候选提取部14具有以下功能：从似然得分的上位开始将预定数量的候选设为上位候选，将其位置信息输出到目标位置确定部15。另外，候选提取部14具有以下功能：将上位候选的位置信息等输出到候选位置保持部12。在具有这些功能这一点上，与第一实施方式的候选提取部14相同。第三实施方式的候选提取部14具有以下功能：在提取上位候选时，关于作为位置预测部13计算预测位置信息的基础的图像帧第一图像帧的所有候选，在似然得分为阈值以上这一条件下，提取以上述各个候选作为基础的至少一个第二图像帧内的候选。这一点，与第一实施方式的候选提取部14不同。上述区别点基于图6表示的基于似然得分的候选提取处理S617的不同。图10A和图10B是表示第三实施方式的基于似然得分的候选提取处理S617的流程图。如图10A所示，首先，候选提取部14设定n＝1来作为初始值S1001。在S1003的处理中，候选提取部14取得Amt、Qnt、Lmnt的组合来作为数据。候选提取部14按照似然得分Lmnt的降序将数据进行分类，从而按照Lmnt的降序排列以Qnt为计算基础的数据。在S1005的处理中，候选提取部14输出在S1003的处理中生成的Amt、Qnt、Lmnt的组合的数据排列D1007。在S1009的处理中，候选提取部14判断Qnt是否为在S407的处理中得到的预测候选的最后一个。在判断为不是预测候选的最后一个的情况下，在对n加1的处理S1011后，再次转移到S1003的处理。这样，反复执行S1003至S1009的处理直到对所有的预测候选执行处理。另一方面，当在S1009的处理中判断为是预测候选的最后一个的情况下，转移到图10B所示的S1013的处理。如图10B所示，候选提取部14再次设定n＝1、j＝1来作为初始值S1013。在S1015的处理中，候选提取部14从数据排列D1007中，对于预测候选Qnt按照似然得分Lmnt的降序来取得第j个Amt、Qnt、Lmnt的组合的数据。在S1017的处理中，候选提取部14针对在S1015的处理中取得的数据，判断Lmnt是否为阈值以上。在判断为阈值以上的情况下，作为上位候选来提取在S1015的处理中取得的Amt、Qnt、Lmnt的组合S1019，然后转移到s1021的处理。另一方面，在判断为不是阈值以上的情况下，转移到s1021的处理。在S1021的处理中，候选提取部14判断到目前为止提取的上位候选的数量是否小于N。在判断为上位候选的数量小于N的情况下，转移到s1023的处理。另一方面，在判断为上位候选的数量不小于N的情况下，结束基于似然得分的候选提取处理而转移到主例程。在S1023的处理中，候选提取部14判断Qnt是否为在S407的处理中得到的预测候选的最后一个。在判断为不是预测候选的最后一个的情况下，在对n加1的处理S1025后，再次转移到S1017的处理。这样，反复执行S1017至S1023的处理直到对所有的预测候选执行处理。另一方面，当在S1013的处理中判断为是预测候选的最后一个的情况下，转移到S1027的处理。在S1027的处理中，候选提取部14判断j对于数据排列D1007的预测候选Qnt是否为最末尾。在判断为j对于预测候选Qnt不是最末尾的情况下，在对j加1的处理S1029后，再次转移到S1017的处理。这样，反复执行S1017至S1027的处理，直到j对于预测候选Qnt成为数据排列的最末尾为止。另一方面，当在S1027的处理中判断为j对于预测候选Qnt为最末尾的情况下，结束基于似然得分的候选提取处理而转移到主例程。图11示意性地表示第三实施方式的候选提取部14所进行的基于似然得分的候选提取处理S617。在图11中，对于每个预测候选Qnt，在各列中从左向右按照似然得分Lmnt的降序排列了数据。在图11中示意性地表示了通过图10A所示的从S1001至S1011的处理生成的数据排列D1007。在S1023的处理中对于图11的各列从第一行向下方，且在S1027的处理中对于图11的各行从第一列向左依次移动来在S1017的处理中判断似然得分是否为阈值以上。在图11中，没有阴影的部分相当于似然得分为阈值以上。如图11的说明那样，第三实施方式的候选提取部14从针对各预测候选Qnt均等地保留的候选中提取上位候选，因此向特定的预测候选Qnt的偏向减小。另外，不会将似然得分小于阈值的候选设为上位候选，因此在能够排除可能性低的候选例如图11的Q3t这一点上优于第二实施方式。由此，除了在有力候选附近存在的候选以外还保留上位候选。因此，例如在由于运动员所使用的球的变更等使得成为跟踪目标的物体变更为与到目前为止所使用的球不同的球的情况下、或者对于暂时误检测到的球以外的物体进行跟踪的情况下等，能够返回到正确的跟踪目标物体来继续进行跟踪。附图标记说明1：移动体跟踪装置；10：信息输入部；11：位置信息生成部；12：候选位置保持部；13：位置预测部；14：候选提取部；15：目标位置确定部；16：移动体跟踪部；2：具备移动体跟踪装置的装置；21：照相机；22：检测部；23：显示部；201：中央运算装置CPU；202：输入装置；203：输出装置；204：主存储装置RAMROM；205：辅助存储装置；301：成为跟踪目标的物体在比赛中使用的球；302：不是目标的物体备用球；303：不是目标的物体地板上滚动的球；304：不是目标的物体观众的面部。

权利要求：1.一种移动体跟踪装置，其使用图像数据来跟踪在给定环境下的物体的活动，其特征在于，具备：位置信息生成部，其根据图像帧内的上述图像数据生成成为跟踪目标候选的物体的位置信息；候选位置保持部，其针对每个上述图像帧保持可能为跟踪目标的上述物体的多个候选的上述位置信息；位置预测部，其对于由上述候选位置保持部保持上述位置信息的第一图像帧的上述候选，根据运动模型来计算在第二图像帧中的预测位置信息，上述运动模型是由基于上述给定环境的特有信息即坐标系、上述跟踪目标存在的位置条件、与上述第一图像帧连续的上述第二图像帧中的预测位置计算式、基于上述跟踪目标的存在概率分布的位置得分计算式以及基于上述跟踪目标的速度的运动得分计算式而决定的运动模型；候选提取部，其根据由上述位置信息生成部根据上述第二图像帧内的上述图像数据生成的上述位置信息以及上述位置预测部计算出的上述第二图像帧中的上述预测位置信息，针对各个组合计算表示位置一致度的似然得分，并根据上述似然得分来提取上述第二图像帧中的一个至两个以上的上述候选，将提取出的上述候选的位置信息输出到上述候选位置保持部；目标位置确定部，其基于根据位置得分与运动得分的组合而求出的表示可能为上述跟踪目标的评价得分，从上述候选提取部提取出的上述候选的位置信息中确定上述图像帧中的作为上述跟踪目标的上述物体的位置信息，上述位置得分以及运动得分是根据由上述给定环境决定的上述运动模型而计算出的得分，以及移动体跟踪部，其在连续的上述图像帧中追寻由上述目标位置确定部确定出的上述物体的位置信息，由此来跟踪上述物体的活动。2.根据权利要求1所述的移动体跟踪装置，其特征在于，上述候选提取部对于上述第一图像帧的上述候选相同的在上述第二图像帧中的上述物体的候选数量决定上限，上述第一图像帧的上述候选是作为上述位置预测部计算上述预测位置信息的基础。3.根据权利要求1所述的移动体跟踪装置，其特征在于，上述候选提取部提取以上述第一图像帧的所有上述候选中的各个候选为基础的在上述第二图像帧中的至少一个上述候选。4.根据权利要求3所述的移动体跟踪装置，其特征在于，上述候选提取部从上述候选中排除上述似然得分不在阈值以上的上述第二图像帧中的上述候选。5.根据权利要求1～4中的任意一项所述的移动体跟踪装置，其特征在于，作为跟踪目标的上述物体为球类运动中的球。6.一种移动体跟踪方法，其使用图像数据来跟踪在给定环境下的物体的活动，其特征在于，具有：位置信息生成步骤，根据图像帧内的上述图像数据生成成为跟踪目标候选的物体的位置信息；候选位置保持步骤，针对每个上述图像帧保持可能为跟踪目标的上述物体的多个候选的上述位置信息；位置预测步骤，对于在上述候选位置保持步骤保持上述位置信息的第一图像帧的上述候选，根据运动模型来计算在第二图像帧中的预测位置信息，上述运动模型是由基于上述给定环境的特有信息即坐标系、上述跟踪目标存在的位置条件、与上述第一图像帧连续的上述第二图像帧中的预测位置计算式、基于上述跟踪目标的存在概率分布的位置得分计算式以及基于上述跟踪目标的速度的运动得分计算式而决定的运动模型；候选提取步骤，其根据在上述位置信息生成步骤中根据上述第二图像帧内的上述图像数据生成的上述位置信息以及在上述位置预测步骤计算出的上述第二图像帧中的上述预测位置信息，针对各个组合计算表示位置一致度的似然得分，并根据上述似然得分来提取上述第二图像帧中的一个至两个以上的上述候选，将提取出的上述候选的位置信息输出到候选位置保持部；目标位置确定步骤，其基于根据位置得分与运动得分的组合而求出的表示可能为上述跟踪目标的评价得分，从在上述候选提取步骤提取出的上述候选的位置信息中确定上述图像帧中的作为上述跟踪目标的上述物体的位置信息，上述位置得分以及运动得分是根据由上述给定环境决定的上述运动模型而计算出的得分，以及移动体跟踪步骤，其在连续的上述图像帧中追寻在上述目标位置确定步骤确定出的上述物体的位置信息，由此来跟踪上述物体的活动。7.一种存储了移动体跟踪程序的计算机可读记录介质，该移动体跟踪程序使计算机发挥使用图像数据来跟踪在给定环境下的物体的活动的功能，其特征在于，上述移动体跟踪程序使计算机作为以下各部发挥功能：位置信息生成部，其根据图像帧内的上述图像数据生成成为跟踪目标候选的物体的位置信息；候选位置保持部，其针对每个上述图像帧保持可能为跟踪目标的上述物体的多个候选的上述位置信息；位置预测部，其对于由上述候选位置保持部保持上述位置信息的第一图像帧的上述候选，根据运动模型来计算在第二图像帧中的预测位置信息，上述运动模型是由基于上述给定环境的特有信息即坐标系、上述跟踪目标存在的位置条件、与上述第一图像帧连续的上述第二图像帧中的预测位置计算式、基于上述跟踪目标的存在概率分布的位置得分计算式以及基于上述跟踪目标的速度的运动得分计算式而决定的运动模型；候选提取部，其根据由上述位置信息生成部根据上述第二图像帧内的上述图像数据生成的上述位置信息以及上述位置预测部计算出的上述第二图像帧中的上述预测位置信息，针对各个组合计算表示位置一致度的似然得分，并根据上述似然得分来提取上述第二图像帧中的一个至两个以上的上述候选，将提取出的上述候选的位置信息输出到上述候选位置保持部；目标位置确定部，其基于根据位置得分与运动得分的组合而求出的表示可能为上述跟踪目标的评价得分，从上述候选提取部提取出的上述候选的位置信息中确定上述图像帧中的作为上述跟踪目标的上述物体的位置信息，上述位置得分以及运动得分是根据由上述给定环境决定的上述运动模型而计算出的得分，以及移动体跟踪部，其在连续的上述图像帧中追寻由上述目标位置确定部确定出的上述物体的位置信息，由此来跟踪上述物体的活动。

百度查询： 广赛布托有限公司 移动体跟踪装置、移动体跟踪方法及计算机可读记录介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD