申请/专利权人：上海熙菱信息技术有限公司

申请日：2019-07-02

公开（公告）日：2022-11-25

公开（公告）号：CN110413166B

主分类号：G06F3/0481

分类号：G06F3/0481;G06F3/0487;H04N21/8352;H04N21/8547

优先权：

专利状态码：有效-授权

法律状态：2022.11.25#授权;2019.11.29#实质审查的生效;2019.11.05#公开

摘要：本发明公开了一种历史视频实时线性跟踪的方法，涉及视频图像处理领域，包括如下步骤：步骤1、初始化，库加载；步骤2、历史视频线性跟踪处理；步骤3、资源释放，库卸载；步骤4、结束。步骤2中引入了人为因素，根据需要对视频进行单帧快速播放，并进行目标物的提取，在目标出现的位置打上对应的标记，当目标出现转折或者突变的时候再次在转折点通过移动目标标注进行跟踪。通过本发明的实施，提升了复杂场景下目标跟踪算法的精度，不仅能解决复杂画面下目标跟踪错误或者目标跟踪失踪的问题，不受错误时间戳信息影响，还具有方法简易，易于推广应用。

主权项：1.一种历史视频实时线性跟踪的方法，其特征在于，包括如下步骤：步骤1、初始化，库加载；所述步骤1的初始化内容包括跟踪队列初始化，历史视频路径初始化，编码库初始化和处理环境初始化；步骤2、历史视频线性跟踪处理；所述步骤2具体包括如下步骤：步骤2.1、历史视频是否正在播放，如果是转步骤2.2，否则转步骤2.12；步骤2.2、进行视频预标注，得到预标注视频；步骤2.3、下载所述预标注视频；步骤2.4、隐藏播放控件，显示标注窗体；步骤2.5、在所述标注窗体中加载所述预标注视频和带刻度的视频播放进度条，对所加载的所述预标注视频进行播放和分析；步骤2.6、查看播放中的所述预标注视频是否需要进行视频标注，如果需要进行视频标注则转步骤2.7，否则转所述步骤2.12；步骤2.7、暂停播放所述预标注视频，记录所述视频播放进度条上的时间信息，得到目标时间标记；定义目标ID；在画面上用目标图形进行标记，所述目标图形涵盖目标所在的范围，得到目标图形标记，所述目标图形标记包含所述目标图形所在的区域坐标信息；绑定所述目标ID、所述目标图形标记和所述目标时间标记，并存放到关系映射表中；步骤2.8、拖动所述视频播放进度条，根据预览图片定位所述预标注视频；步骤2.9、运行跟踪处理算法；所述步骤2.9包括如下步骤：步骤2.9.1、判断鼠标是否点击，且鼠标所点击的位置在图片范围内，如果是则转到步骤2.9.2，否则转到所述步骤2.12；步骤2.9.2、判断鼠标所点击的位置是否在已有的所述目标图形标记内，如果是则转步骤2.9.3，否则转步骤2.9.4；步骤2.9.3、根据鼠标所点击的位置所在的所述目标图形标记，找到所述关系映射表中所述目标图形标记对应的所述目标ID，更新所述目标图形标记的区域坐标信息和所述目标时间标记，将选中标记位置位；步骤2.9.4、在图像上画所述目标ID对应的所述目标图形，所述目标图形涵盖目标所在的范围，得到所述目标图形标记，所述目标图形标记包含所述目标图形所在的区域坐标信息，记录所述目标的时间信息，得到所述目标时间标记；绑定所述目标ID、所述目标图形标记和所述目标时间标记，并存放到关系映射表中，将选中标记位置位；步骤2.9.5、将所在视频帧添加到关键帧列表，作为参考帧；步骤2.9.6、判断所述视频播放进度条更新的同时，所述目标图形标记的图形比例及位置是否更新，如果是则转步骤2.9.7，否则转所述步骤2.9.1；步骤2.9.7、根据所述目标图形标记的偏移量计算所述目标图形标记的步进及尺寸变化比例；步骤2.9.8、绑定更新后的视频帧和其对应的所述目标图形标记，并存放在缓冲区中；步骤2.9.9、确定是否进行队列视频的跟踪，如果是则转步骤2.9.10，否则转所述步骤2.12；步骤2.9.10、查找所述队列视频中被跟踪的目标信息；步骤2.9.11、播放所述队列视频中的视频，进行所述目标的跟踪；步骤2.9.12、确定是否保存跟踪信息，如果是则转步骤2.9.13，否则转所述步骤2.12；步骤2.9.13、对所述队列视频中的数据进行重新编码后保存步骤2.10、视频标注是否结束，是转步骤2.11，否则转所述步骤2.8；步骤2.11、保存标注后的视频；步骤2.12、所述步骤2结束；步骤3、资源释放，库卸载；步骤4、结束。

全文数据：一种历史视频实时线性跟踪的方法技术领域本发明涉及视频图像处理领域，尤其涉及一种历史视频实时线性跟踪的方法。背景技术随着安防行业标准的不断更新及AI算法、人工智能等的推行。自动化、智能化已成为安防及相关行业的趋势。安全化、自动化、智能化技术的不断更新，推动了国家对安防行业平台之间的兼容性和智能化要求不断提升。随着智能化、安全化范围不断的扩大，基于视频分析算法的应用已成为安防行业发展的方向。通常视频流通过网络传输给用户，用户将网络接收到的码流进行分析处理后并结合平台业务逻辑对视频数据进行结构化或者摘要处理等，以方便民警快速提取有用信息并找到目标。目前应用比较广泛的视频跟踪算法是一些算法厂商提供的智能追踪算法，上述智能追踪算法的优点是能自动提取特征信息并根据视频前后帧信息的关联，计算目标在下一刻出现的位置。但是如果视频流信息量较大，人流量、过往车辆过多、或出现相似目标的时候，会增加在画面播放过程中的跟踪错误或者目标跟踪丢失的现象。因此，本领域的技术人员致力于开发一种历史视频实时线性跟踪的方法，不仅能解决复杂画面下目标跟踪错误或者目标跟踪失踪的问题，还具有不受错误时间戳信息影响，易于推广应用的优点。发明内容有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是现有技术易受错误时间戳信息影响，在处理复杂画面时，会发生目标跟踪错误或者目标跟踪失踪的问题。为实现上述目的，本发明提供了一种历史视频实时线性跟踪的方法，其特征在于，包括如下步骤：步骤1、初始化，库加载；步骤2、历史视频线性跟踪处理；步骤3、资源释放，库卸载；步骤4、结束。进一步地，所述步骤1的初始化内容包括跟踪队列初始化，历史视频路径初始化，编码库初始化和处理环境初始化。进一步地，所述步骤2具体包括如下步骤：步骤2.1、历史视频是否正在播放，如果是转步骤2.2，否则转所述步骤2.12；步骤2.2、进行视频预标注，得到预标注视频；步骤2.3、下载所述预标注视频；步骤2.4、隐藏播放控件，显示标注窗体；步骤2.5、在所述标注窗体中加载所述预标注视频和带刻度的视频播放进度条，对所加载的所述预标注视频进行播放和分析；步骤2.6、查看播放中的所述预标注视频是否需要进行视频标注，如果需要进行视频标注则转步骤2.7，否则转所述步骤2.12；步骤2.7、暂停播放所述预标注视频，记录所述视频播放进度条上的时间信息，得到目标时间标记；定义目标ID；在画面上用目标图形进行标记，所述目标图形涵盖目标所在的范围，得到目标图形标记，所述目标图形标记包含所述目标图形所在的区域坐标信息；绑定所述目标ID、所述目标图形标记和所述目标时间标记，并存放到关系映射表中；步骤2.8、拖动所述视频播放进度条，根据预览图片定位所述预标注视频；步骤2.9、运行跟踪处理算法；步骤2.10、视频标注是否结束，是转步骤2.11，否则转所述步骤2.8；步骤2.11、保存标注后的视频；步骤2.12、所述步骤2结束。进一步地，所述步骤2.9包括如下步骤：步骤2.9.1、判断鼠标是否点击，且鼠标所点击的位置在图片范围内，如果是则转到步骤2.9.2，否则转到所述步骤2.12；步骤2.9.2、判断鼠标所点击的位置是否在已有的所述目标图形标记内，如果是则转步骤2.9.3，否则转步骤2.9.4；步骤2.9.3、根据鼠标所点击的位置所在的所述目标图形标记，找到所述关系映射表中所述目标图形标记对应的所述目标ID，更新所述目标图形标记的区域坐标信息和所述目标时间标记，将选中标记位置位；步骤2.9.4、在图像上画所述目标ID对应的所述目标图形，所述目标图形涵盖目标所在的范围，得到所述目标图形标记，所述目标图形标记包含所述目标图形所在的区域坐标信息，记录所述目标的时间信息，得到所述目标时间标记；绑定所述目标ID、所述目标图形标记和所述目标时间标记，并存放到关系映射表中，将选中标记位置位；步骤2.9.5、将所在视频帧添加到关键帧列表，作为参考帧；步骤2.9.6、判断所述视频播放进度条更新的同时，所述目标图形标记的图形比例及位置是否更新，如果是则转步骤2.9.7，否则转所述步骤2.9.1；步骤2.9.7、根据所述目标图形标记的偏移量计算所述目标图形标记的步进及尺寸变化比例；步骤2.9.8、绑定更新后的视频帧和其对应的所述目标图形标记，并存放在缓冲区中；步骤2.9.9、确定是否进行队列视频的跟踪，如果是则转步骤2.9.10，否则转所述步骤2.12；步骤2.9.10、查找所述队列视频中被跟踪的所述目标信息；步骤2.9.11、播放所述队列视频中的视频，进行所述目标的跟踪；步骤2.9.12、确定是否保存跟踪信息，如果是则转步骤2.9.13，否则转所述步骤2.12；步骤2.9.13、对所述队列视频中的数据进行重新编码后保存。进一步地，所述步骤2.9.7中计算所述目标图形标记的偏移量以所述步骤2.9.5中的所述参考帧为基准。进一步地，所述步骤2.9.5和所述步骤2.9.8中的所述视频帧包含视频时间信息、图像位置信息。进一步地，所述步骤2.2包括如下步骤：步骤2.2.1、在播放进度条上进行左标记，并记录所述左标记的位置对应的时间点信息；步骤2.2.2、拖动所述播放进度条，根据预览的图像，快速找到目标消失的位置，然后在播放进度条上进行右标记，并记录所述右标记的位置对应的时间点信息；步骤2.2.3、更新完成预标注视频的标注的状态。进一步地，所述步骤2.2中进行视频预标注时，隐藏原有的控制窗体，仅显示历史视频的所述播放进度条。进一步地，所述步骤2.3包括如下步骤：步骤2.3.1、对所述预标注视频进行多倍速下载，并记录所述预标注视频下载的位置及文件信息，获取下载进度；步骤2.3.2、查看所述下载进度，若下载完成转所述步骤2.4，否则转所述步骤2.3.1。进一步地，所述步骤2.7中，所述目标图形的具体形状由使用者设定。与现有技术相比，通过本发明的实施，达到了以下明显的技术效果：1、本发明所提出的一种历史视频实时线性跟踪的方法，介入了人为因素，根据需要对视频进行单帧快速播放，并进行目标物的提取，在目标出现的位置打上对应的标记，当目标出现转折或者突变的时候再次在转折点通过移动目标标注进行跟踪，不仅能解决复杂画面下目标跟踪错误或者目标跟踪失踪的问题，还具有不受错误时间戳信息影响；2、本发明所提出的一种历史视频实时线性跟踪的方法，提升了复杂场景下目标跟踪算法的精度，且方法简易，易于推广应用。以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。附图说明图1是本发明的一个较佳实施例的整体流程示意图；图2是本发明的一个较佳实施例的历史视频线性跟踪处理流程示意图；图3是本发明的一个较佳实施例的运行跟踪处理算法流程示意图；图4是本发明的一个较佳实施例的视频跟踪开始效果示意图；图5是本发明的一个较佳实施例的视频跟踪结束效果示意图。具体实施方式以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。本实施例提供了一种历史视频实时线性跟踪的方法，如图1所示，包括如下步骤：步骤1、初始化，库加载；初始化内容包括跟踪队列初始化，历史视频路径初始化，编码库初始化和处理环境初始化；步骤2、历史视频线性跟踪处理；步骤3、资源释放，库卸载；步骤4、结束。如图2所示，步骤2具体包括如下步骤：步骤2.1、历史视频是否正在播放，如果是转步骤2.2，否则转步骤2.12；步骤2.2、进行视频预标注，得到预标注视频；步骤2.2具体包括如下步骤：步骤2.2.1、隐藏原有的控制窗体，仅显示历史视频的播放进度条，在播放进度条上进行左标记，并记录左标记的位置对应的时间点信息；步骤2.2.2、拖动播放进度条，根据预览的图像，快速找到目标消失的位置，然后在播放进度条上进行右标记，并记录右标记的位置对应的时间点信息；步骤2.2.3、更新完成预标注视频的标注的状态；步骤2.3、下载预标注视频；步骤2.3具体包括如下步骤：步骤2.3.1、对预标注视频进行多倍速下载，并记录预标注视频下载的位置及文件信息，获取下载进度；步骤2.3.2、查看下载进度，若下载完成转步骤2.4，否则转步骤2.3.1。步骤2.4、隐藏播放控件，显示标注窗体；步骤2.5、在标注窗体中加载预标注视频和带刻度的视频播放进度条，对所加载的预标注视频进行播放和分析；步骤2.6、查看播放中的预标注视频是否需要进行视频标注，如果需要进行视频标注则转步骤2.7，否则转步骤2.12；步骤2.7、暂停播放预标注视频，记录视频播放进度条上的时间信息，得到目标时间标记；定义目标ID；在画面上用目标图形进行标记，目标图形的具体形状由使用者设定，本实施例优选为矩形，目标图形涵盖目标所在的范围，得到目标图形标记，目标图形标记包含目标图形所在的区域坐标信息；绑定目标ID、目标图形标记和目标时间标记，并存放到关系映射表中；步骤2.8、拖动视频播放进度条，根据预览图片定位预标注视频；步骤2.9、运行跟踪处理算法；步骤2.10、视频标注是否结束，是转步骤2.11，否则转步骤2.8；步骤2.11、保存标注后的视频；步骤2.12、步骤2结束。如图3所示，步骤2.9包括如下步骤：步骤2.9.1、判断鼠标是否点击，且鼠标所点击的位置在图片范围内，如果是则转到步骤2.9.2，否则转到步骤2.12；步骤2.9.2、判断鼠标所点击的位置是否在已有的目标图形标记内，如果是则转步骤2.9.3，否则转步骤2.9.4；步骤2.9.3、根据鼠标所点击的位置所在的目标图形标记，找到关系映射表中目标图形标记对应的目标ID，更新目标图形标记的区域坐标信息和目标时间标记，将选中标记位置位；步骤2.9.4、在图像上画目标ID对应的目标图形，目标图形涵盖目标所在的范围，得到目标图形标记，目标图形标记包含目标图形所在的区域坐标信息，记录目标的时间信息，得到目标时间标记；绑定目标ID、目标图形标记和目标时间标记，并存放到关系映射表中，将选中标记位置位；步骤2.9.5、将所在视频帧添加到关键帧列表，作为参考帧，视频帧包含视频时间信息、图像位置信息；步骤2.9.6、判断视频播放进度条更新的同时，目标图形标记的图形比例及位置是否更新，如果是则转步骤2.9.7，否则转步骤2.9.1；步骤2.9.7、以步骤2.9.5中的参考帧为基准得到目标图形标记的偏移量，根据目标图形标记的偏移量计算目标图形标记的步进及尺寸变化比例；步骤2.9.8、绑定更新后的视频帧和其对应的目标图形标记，并存放在缓冲区中，视频帧包含视频时间信息、图像位置信息；步骤2.9.9、确定是否进行队列视频的跟踪，如果是则转步骤2.9.10，否则转步骤2.12；步骤2.9.10、查找队列视频中被跟踪的目标信息，目标信息包括目标ID、目标图形标记、目标时间标记；步骤2.9.11、播放队列视频中的视频，进行目标的跟踪；步骤2.9.12、确定是否保存跟踪信息，如果是则转步骤2.9.13，否则转步骤2.12；步骤2.9.13、对队列视频中的数据进行重新编码后保存。运用本实施例进行目标跟踪时，需要先对下载的视频进行分析，防止时间戳有问题的视频在播放过程中出现卡顿及定位失败，加载视频成功后对预标注视频进行视频标注时，可以在步骤2.7或步骤2.9.4中对目标转折点或者突变点进行人工标注和调整，调整完成后进行视频的目标跟踪，如图2和图3所示为跟踪的效果图。以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

权利要求：1.一种历史视频实时线性跟踪的方法，其特征在于，包括如下步骤：步骤1、初始化，库加载；步骤2、历史视频线性跟踪处理；步骤3、资源释放，库卸载；步骤4、结束。2.如权利要求1所述的一种历史视频实时线性跟踪的方法，其特征在于，所述步骤1的初始化内容包括跟踪队列初始化，历史视频路径初始化，编码库初始化和处理环境初始化。3.如权利要求2所述的一种历史视频实时线性跟踪的方法，其特征在于，所述步骤2具体包括如下步骤：步骤2.1、历史视频是否正在播放，如果是转步骤2.2，否则转所述步骤2.12；步骤2.2、进行视频预标注，得到预标注视频；步骤2.3、下载所述预标注视频；步骤2.4、隐藏播放控件，显示标注窗体；步骤2.5、在所述标注窗体中加载所述预标注视频和带刻度的视频播放进度条，对所加载的所述预标注视频进行播放和分析；步骤2.6、查看播放中的所述预标注视频是否需要进行视频标注，如果需要进行视频标注则转步骤2.7，否则转所述步骤2.12；步骤2.7、暂停播放所述预标注视频，记录所述视频播放进度条上的时间信息，得到目标时间标记；定义目标ID；在画面上用目标图形进行标记，所述目标图形涵盖目标所在的范围，得到目标图形标记，所述目标图形标记包含所述目标图形所在的区域坐标信息；绑定所述目标ID、所述目标图形标记和所述目标时间标记，并存放到关系映射表中；步骤2.8、拖动所述视频播放进度条，根据预览图片定位所述预标注视频；步骤2.9、运行跟踪处理算法；步骤2.10、视频标注是否结束，是转步骤2.11，否则转所述步骤2.8；步骤2.11、保存标注后的视频；步骤2.12、所述步骤2结束。4.如权利要求3所述的一种历史视频实时线性跟踪的方法，其特征在于，所述步骤2.9包括如下步骤：步骤2.9.1、判断鼠标是否点击，且鼠标所点击的位置在图片范围内，如果是则转到步骤2.9.2，否则转到所述步骤2.12；步骤2.9.2、判断鼠标所点击的位置是否在已有的所述目标图形标记内，如果是则转步骤2.9.3，否则转步骤2.9.4；步骤2.9.3、根据鼠标所点击的位置所在的所述目标图形标记，找到所述关系映射表中所述目标图形标记对应的所述目标ID，更新所述目标图形标记的区域坐标信息和所述目标时间标记，将选中标记位置位；步骤2.9.4、在图像上画所述目标ID对应的所述目标图形，所述目标图形涵盖目标所在的范围，得到所述目标图形标记，所述目标图形标记包含所述目标图形所在的区域坐标信息，记录所述目标的时间信息，得到所述目标时间标记；绑定所述目标ID、所述目标图形标记和所述目标时间标记，并存放到关系映射表中，将选中标记位置位；步骤2.9.5、将所在视频帧添加到关键帧列表，作为参考帧；步骤2.9.6、判断所述视频播放进度条更新的同时，所述目标图形标记的图形比例及位置是否更新，如果是则转步骤2.9.7，否则转所述步骤2.9.1；步骤2.9.7、根据所述目标图形标记的偏移量计算所述目标图形标记的步进及尺寸变化比例；步骤2.9.8、绑定更新后的视频帧和其对应的所述目标图形标记，并存放在缓冲区中；步骤2.9.9、确定是否进行队列视频的跟踪，如果是则转步骤2.9.10，否则转所述步骤2.12；步骤2.9.10、查找所述队列视频中被跟踪的所述目标信息；步骤2.9.11、播放所述队列视频中的视频，进行所述目标的跟踪；步骤2.9.12、确定是否保存跟踪信息，如果是则转步骤2.9.13，否则转所述步骤2.12；步骤2.9.13、对所述队列视频中的数据进行重新编码后保存。5.如权利要求4所述的一种历史视频实时线性跟踪的方法，其特征在于，所述步骤2.9.7中计算所述目标图形标记的偏移量以所述步骤2.9.5中的所述参考帧为基准。6.如权利要求5所述的一种历史视频实时线性跟踪的方法，其特征在于，所述步骤2.9.5和所述步骤2.9.8中的所述视频帧包含视频时间信息、图像位置信息。7.如权利要求6所述的一种历史视频实时线性跟踪的方法，其特征在于，所述步骤2.2包括如下步骤：步骤2.2.1、在播放进度条上进行左标记，并记录所述左标记的位置对应的时间点信息；步骤2.2.2、拖动所述播放进度条，根据预览的图像，快速找到目标消失的位置，然后在播放进度条上进行右标记，并记录所述右标记的位置对应的时间点信息；步骤2.2.3、更新完成预标注视频的标注的状态。8.如权利要求7所述的一种历史视频实时线性跟踪的方法，其特征在于，所述步骤2.2中进行视频预标注时，隐藏原有的控制窗体，仅显示历史视频的所述播放进度条。9.如权利要求8所述的一种历史视频实时线性跟踪的方法，其特征在于，所述步骤2.3包括如下步骤：步骤2.3.1、对所述预标注视频进行多倍速下载，并记录所述预标注视频下载的位置及文件信息，获取下载进度；步骤2.3.2、查看所述下载进度，若下载完成转所述步骤2.4，否则转所述步骤2.3.1。10.如权利要求9所述的一种历史视频实时线性跟踪的方法，其特征在于，所述步骤2.7中，所述目标图形的具体形状由使用者设定。

百度查询： 上海熙菱信息技术有限公司 一种历史视频实时线性跟踪的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD