申请/专利权人：中国科学院自动化研究所

申请日：2017-03-27

公开（公告）日：2020-09-15

公开（公告）号：CN107038683B

主分类号：G06T3/40(20060101)

分类号：G06T3/40(20060101);G06T5/50(20060101);G06T7/269(20170101)

优先权：

专利状态码：有效-授权

法律状态：2020.09.15#授权;2017.09.05#实质审查的生效;2017.08.11#公开

摘要：本发明提供了一种运动目标的全景成像方法，对运动目标采集高清视频，运用图像拼接技术从而生成运动目标的高清全景图像。本方法主要包括特征点提取、特征点光流计算与分析、前景帧和背景帧分离以及图像融合等步骤。本发明可以克服火车等狭长目标运动时，全景成像和高清成像难以兼顾的问题，通过在运行中的火车一侧采集高清视频序列，应用本发明中的方法即可拼接出火车车身的高清全景图像，为后续的基于视觉的火车车型分析、车号识别、车速测量等提供了基础条件。

主权项：1.运动目标的全景成像方法，其特征在于，包括步骤：S1、采集运动目标的视频序列，在所述视频序列的各帧中设置感兴趣区，并在所述感兴趣区中提取特征点；S2、计算各相邻帧间特征点的位移；S3、对所述特征点的位移进行方向约束和位移合成，得到各相邻帧间运动目标的位移；S4、基于运动目标的位移，去除所述视频序列中的背景帧，并对去除了背景帧的视频序列的前景帧部分进行图像融合，得到全景图；步骤S3中的方向约束指特征点光流的方向与先验方向的角度的范围满足-arctan110～arctan110，所述先验方向为采集装置采集所述视频序列时的摆放方向；步骤S3中的位移合成指：采用mean-shift算法对方向约束后的特征点进行密度分析，以密度峰值位置为中心取邻域，该邻域包含K个特征点的位移数据，求算术平均，得到运动目标在各相邻帧间的位移：其中，i的范围为1～K，K为正整数。

全文数据：运动目标的全景成像方法技术领域[0001]本发明涉及图像拼接技术领域，尤其涉及一种运动目标的全景成像方法。背景技术[0002]通过计算机视觉技术来测量火车的运行速度，识别火车车型和车号等为铁道交通管理提供了极大的便利。而这些技术的前提是获取火车车身的高清全景图像。在对行驶中的火车目标成像时，由于目标尺寸较大，且形状狭长火车车身的长度通常为高度的百倍级），而普通相机成像视野有限，难以一次性获取目标的高清全貌信息。因此，如果能通过采集连续的包含火车局部的高清视频序列，然后利用图像拼接技术还原目标的高清全貌，就可以为火车等大尺寸狭长目标高清成像提供一种十分有效的途径。[0003]图像拼接具有广泛的应用场景，是计算机视觉领域的重要研究方向之一。图像拼接的主要任务是将两幅及以上的具有部分重叠的图像进行无缝拼接从而得到大尺寸或者宽视角的图像。图像拼接技术包含图像配准和图像融合到两个主要环节。图像融合部分常用的算法包括直接平均法，加权求和法和距离权重法，由于其实现较为简单，且算法时间复杂度不高，现有的几种方法已经能达到较为理想的效果，所以总体来讲算法是较为成熟的。图像配准部分是整个图像拼接技术的核心部分，它直接关系到图像拼接算法的成功率和运行速度。目前，常用的图像配准算法包括基于灰度的块模板匹配和基于局部特征点（SURF、ORB等）的特征点匹配。基于灰度的块模板匹配本质上是一种暴力匹配的算法，其计算开销巨大，同时极容易受角度、光照、遮挡等外界条件的影响，鲁棒性较差。基于图像金字塔结构的块模板匹配采用了由粗到细的配准思想，首先在较低分辨率的图像上匹配，然后将该匹配结果作为起点在较高分辨率尺度上继续匹配，提高了匹配效率，但仍然存在对角度、光照以及遮挡等敏感的缺陷。基于局部特征点的匹配方法分别在待配准的两幅图像中提取局部特征点，然后对这些特征点进行匹配。基于局部特征点的匹配在常规的图像配准中应用较多，是一种效率较高，鲁棒性较好的图像配准方法。然而，火车车身光滑，纹理较少，且各部分相似度很大，这些特性使得基于局部特征点的匹配成功率并不高。发明内容[0004]一要解决的技术问题[0005]本发明的目的在于提供一种运动目标的全景成像方法，从而解决上述的至少一项技术问题。[0006]二技术方案[0007]本发明提供了一种运动目标的全景成像方法，包括步骤：[0008]S1、采集运动目标的视频序列，在所述视频序列的各帧中设置感兴趣区，并在所述感兴趣区中提取特征点；[0009]S2、计算各相邻帧间特征点的位移；[0010]S3、对所述特征点的位移进行方向约束和合成，得到各相邻帧间运动目标的位移；[0011]S4、基于运动目标的位移，去除所述视频序列中的背景帧，并对去除了背景帧的视频序列进行图像融合，得到全景图。[0012]优选地，步骤S3中的方向约束可以指特征点光流的方向与先验方向的角度的范围满足-arctan110〜arctan110，所述先验方向为采集装置采集所述视频序列时的摆放方向。[0013]优选地，步骤S3中的合成可以指:采用mean-shift算法对方向约束后的特征点进行密度分析，以密度峰值位置为中心取邻域，该邻域包含K个特征点的位移数据，求算术平均，得到运动目标在各相邻帧间的位移其中，i的范围为1〜K，K为正整数。[0014]优选地，所述运动目标的视频序列可以为经过灰度化处理的视频序列。[0015]优选地，所述感兴趣区可以为包含运动目标部分的矩形区域。[0016]优选地，所述特征点包括Harris角点。[0017]优选地，步骤S2中采用稀疏光流法进行所述特征点的位移的计算。[0018]优选地，所述稀疏光流法包括图像金字塔结构的稀疏光流法。[0019]优选地，步骤S4中去除背景帧的方法为聚类法，所述聚类法包括K-Means二类聚类。[0020]优选地，图像融合的公式为其中D为各相邻帧间重叠区域的宽度，d为Xl，yi到各相邻帧间重叠区域的边界的距离，OSd彡D，（x，y为像素的坐标。[0021]三有益效果[0022]本发明相较于现有技术的优点为：[0023]1、利用相机采集到的高清视频序列，运用图像拼接技术对其中运动目标进行高清全景成像，算法成功率尚，时间复杂度较低。[0024]2、本发明基于稀疏光流法，主要分为特征点提取、光流计算与分析、前景帧和背景帧分离、图像融合等步骤。本发明可以克服运动目标等狭长目标全景成像和高清成像难以兼顾的问题，通过在运动目标的一侧采集视频序列，应用本发明中的方法即可拼接出运动目标的高清全景图像，为基于视觉的运动目标智能分析、识别、速度测量等提供了基础条件。附图说明[0025]图1为本发明实施例的步骤流程示意图；[0026]图2A为本发明实施例的在视频帧中设置感兴趣区的示意图；[0027]图2B为本发明实施例在感兴趣区中选取特征点的示意图；[0028]图2C为本发明实施例对特征点进行光流分析的示意图；[0029]图3为本发明实施例对特征点的位移进行方向约束以及基于mean-shift的密度峰值邻域发现的示意图；[0030]图4为本发明实施例的图像融合示意图。具体实施方式[0031]本发明提供了一种运动目标的全景成像方法，运动目标包括行驶的火车、行驶的汽车或者其他处于运动状态的物体。采集装置包括相机、摄影机或者其他可以拍照摄像的装置。在本发明中，采集装置采集运动目标的连续的包含其各局部信息的视频序列，无缝拼接出高清的包含运动目标整体信息的全景图像，同时达到了较高的图像拼接成功率，提升了算法的运行效率。[0032]又因为各相邻帧之间的时间间隔一致，且时间间隔很短，因此可以将运动目标的运动速度近似为运动目标的位移。[0033]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。[0034]图1为本发明实施例的步骤流程示意图，如图1所示，本发明实施例提供了一种运动目标的全景成像方法，包括步骤：[0035]S1、采集运动目标的视频序列，在所述视频序列的各帧中设置感兴趣区，并在所述感兴趣区中提取特征点；[0036]S2、计算各相邻帧间特征点的位移；[0037]S3、对所述特征点的位移进行方向约束和合成，得到各相邻帧间运动目标的位移；[0038]S4、基于运动目标的位移，去除所述视频序列中的背景帧，并对去除了背景帧的视频序列进行图像融合，得到全景图。[0039]下面实施例以输入大小为1920*1080,帧数为631的可见光三通道火车视频序列为例，进行火车全景图生成，主要流程包括：[0040]首先，进行步骤S1、采集火车的视频序列，在所述视频序列的各帧中设置感兴趣区，并在所述感兴趣区中提取特征点。其中，Sl具体包括以下子步骤：[0041]S11、采集火车视频序列，将采集装置例如相机安装在铁轨一侧的固定位置，同时，相机经过水平仪的调节，光轴处于水平位置且与火车的行驶方向垂直，相机成像面矩形的底边保持水平。[0042]S12、设置感兴趣区，图2A为本发明实施例在视频帧中设置感兴趣区的示意图，如图2A所示，为避免背景对火车目标的运动分析产生干扰，影响结果的正确性，须设置一个感兴趣区（ROI，该区域仅仅包含前景车身部分。由于之前对相机位姿的约束，同时普通铁轨的坡度不超过千分之十，故火车在图像中基本处于水平位置，所以我们在视频帧的特定位置选取与坐标轴平行的矩形框作为ROI，以确保刚好包含车身部分即可。[0043]313、从视频序列中依次抽取相邻帧打1^4、打11168这里以第207、208帧为例），对frameA和frameB进行灰度化处理，本实施例采用的灰度化方法为：[0044]I=0.299R+0.587G+0.114B[0045]其中RGB三个分量的系数来源于RGB颜色空间转YUV颜色空间的转换方程。[0046]S14、提取特征点，在frameA的感兴趣区ROI中自动提取一些便于什么跟踪的特征点，在frameA的ROI中提取一些便于跟踪的特征点，这里采用Harris角点。提取Harris角点的方法为:计算每一个像素的邻域的一阶导数自相关矩阵的特征值，特征值大的像素点优先被选取为角点。图2B为本发明实施例在感兴趣区中选取特征点的示意图，如图2B所示，计算Harris角点采用的邻域的尺度为3*3,特征点的数量不宜过少或者过多，对于1920*1080的图像，一般为50〜500比较合适。[0047]其次，进行步骤S2、计算各相邻帧间特征点的位移，具体可以为：[0048]稀疏光流法计算相邻帧间特征点的位移，基于上述特征点，运用稀疏光流法OpticalFlow分析这些特征点在frameB中相对于frameA中位置的位移。这里采用了Lucas-Kanade稀疏光流法。光流法的假设之一是目标的运动是连续的“小”运动，而火车的运动速度较快，因此在相邻帧间，这一点并不能完全满足。本发明不限于某种特定的光流法，同时，为了提高特征点跟踪的正确率以及计算速度，以及克服帧间运动的不连续性，可以使用基于图像金字塔结构的光流法，金字塔的类型不做限制，金字塔的层数不做限制。本发明实施例中，首先在图像金字塔的最高层计算光流，用得到的结果作为下一层金字塔的起始点，重复这个过程直到到达金字塔的最底层。这样可以克服光流法假设中运动连贯性假设不满足的影响，从而实现对帧间较大位移的准确跟踪。这里的图像金字塔采用高斯金字塔，金字塔层数为5。图2C为本发明实施例对特征点进行光流分析的示意图，如图2C所示，运用金字塔层数为5的高斯金字塔的稀疏光流法对选择的特征点分析，特征点从frameA运动到frameB，光流方向不一，大致偏向水平方向或者与水平方向之间存在夹角。[0049]然后进行步骤S3、对所述特征点的位移进行方向约束和合成，得到各相邻帧间运动目标的位移，具体可以为：[0050]对所述特征点的位移进行方向约束和合成，得到相邻帧间，运动目标的位移。对上述位移进行方向约束，过滤掉光流方向与先验方向偏离较大的位移数据，然后对剩下的位移数据进行筛选与合成，得到运动目标的位移，即为火车在frameA和frameB间的位移。首先过滤掉与先验方向偏离较大的位移，由前所述，相机在采集视频序列时摆放的方向是水平的，而火车也近似水平，故光流的先验方向为水平方向，运动方向明显偏离这一先验方向的位移数据可被认为是对最终结果有误的错误结果而首先过滤掉。由先验方向对速度方向进行约束，约束范围不限于某个特定的范围。速度筛选不限于某种特定方法，筛选的目的在于进一步剔除不合适的数据，挑选出最能代表火车目标运动速度的数据。合成即将前面挑选出的速度合成为一个速度，作为最终火车在相邻帧间的运动速度。速度合成方法不限于特定方法。[0051]这里过滤的范围为-arctan110〜arctan110，即对于u，v其位移约束结果为：[0053]其中，（u，v为位移的二维矢量，u为水平方向，V为垂直方向。[0054]然后对剩下的位移数据进行筛选与合成。基于样本数据在真值处具有最大密度这一假设，这里我们采用mean-shift算法对数据进行密度分析，图3为本发明实施例对特征点的位移进行方向约束以及基于mean-shift的密度峰值邻域发现的示意图，如图3所示，通过不断的迭代计算，我们可以得到一个稳定收敛的密度峰值，以该密度峰值位置为中心取邻域，该邻域包含K个特征点的位移数据，将这些位移求算术平均，得到一个位移值，即为最终的火车目标在frameA和frameB间的位移：[0056]其中，i的范围为1〜K，K为正整数。[0057]此外，重复前述的步骤，直到计算出视频中所有相邻帧间火车的位移。[0058]最后进行步骤S4、基于运动目标的位移，去除所述视频序列中的背景帧，并对去除了背景帧的视频序列进行图像融合，得到全景图，可以包括以下步骤：[0059]S41、基于所有相邻帧间的位移，对其进行2类聚类，聚类的目的在于区分视频序列开头和结尾部分的不包含车体信息的背景帧与中间的包含车体信息的前景帧，便于后续的图像融合。聚类方法不限于某种特定方法，这里采用K-Means二类聚类。[0060]S42、对火车进行图像融合，对前景帧部分进行图像融合生成最终的火车全景图即可。图4为本发明实施例的图像融合示意图，如图4所示，图像融合方法不限于某种特定方法，这里采用的图像融合方法为距离权重法：[0062]其中D为如^与如^重叠区域的宽度，d为Xl，yi到ROI1构成重叠区域的边界的距离，0彡杉D，（x，y为像素的坐标。[0063]以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

权利要求：1.运动目标的全景成像方法，其特征在于，包括步骤：51、采集运动目标的视频序列，在所述视频序列的各帧中设置感兴趣区，并在所述感兴趣区中提取特征点；52、计算各相邻帧间特征点的位移；53、对所述特征点的位移进行方向约束和合成，得到各相邻帧间运动目标的位移；54、基于运动目标的位移，去除所述视频序列中的背景帧，并对去除了背景帧的视频序列进行图像融合，得到全景图。2.根据权利要求1所述的方法，其特征在于，步骤S3中的方向约束指特征点光流的方向与先验方向的角度的范围满足-arctan110〜arctan110，所述先验方向为采集装置采集所述视频序列时的摆放方向。3.根据权利要求1所述的方法，其特征在于，步骤S3中的合成指:采用mean-shift算法对方向约束后的特征点进行密度分析，以密度峰值位置为中心取邻域，该邻域包含K个特征点的位移数据，求算术平均，得到运动目标在各相邻帧间的位移^中，i的范围为1〜K，K为正整数。4.根据权利要求1所述的方法，其特征在于，所述运动目标的视频序列为经过灰度化处理的视频序列。5.根据权利要求1所述的方法，其特征在于，所述感兴趣区为包含运动目标部分的矩形区域。6.根据权利要求1所述的方法，其特征在于，所述特征点包括Harris角点。7.根据权利要求1所述的方法，其特征在于，步骤S2中采用稀疏光流法进行所述特征点的位移的计算。8.根据权利要求7所述的方法，其特征在于，所述稀疏光流法包括图像金字塔结构的稀疏光流法。9.根据权利要求1所述的方法，其特征在于，步骤S4中去除背景帧的方法为聚类法，所述聚类法包括K-Means二类聚类。10.根据权利要求1所述的方法，其特征在于，图像融合的公式为其中，D为各相邻帧间重叠区域的宽度，d为X1，y^到各相邻帧间重叠区域的边界的距离，0彡d彡D，（X，y为像素的坐标。

百度查询： 中国科学院自动化研究所 运动目标的全景成像方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD