申请/专利权人：北京理工大学

申请日：2019-11-21

公开（公告）日：2021-04-27

公开（公告）号：CN110866938B

主分类号：G06T7/215(20170101)

分类号：G06T7/215(20170101);G06T7/269(20170101)

优先权：

专利状态码：有效-授权

法律状态：2021.04.27#授权;2020.03.31#实质审查的生效;2020.03.06#公开

摘要：本发明提出了一种全自动视频运动目标分割方法，属于计算机视觉处理技术领域。本方法旨在提取视频中运动物体的精确区域，将其与背景进行分离，是实现视频编辑、视频内容表示的重要环节。通过使用双流网络同时提取视频帧信息和运动信息，通过相邻帧运动信息获得的粗糙的结果，指导视频帧的分割。本发明方法，相比于现有的技术，充分挖掘了运动信息，在使用注意力机制充分利用运动信息的同时节省了空间的消耗，精度高。

主权项：1.一种全自动视频运动目标分割方法，其特征在于，包括以下步骤：步骤一：预处理光流图像，获取光流信息，生成光流图片；步骤二：提取光流图片和视频帧的特征；设提取出的光流图片特征为X∈Rc*h*w，其中，c＝256，表示获得的光流图片特征的数量，h表示光流图片特征图高度，w表示光流图片特征图宽度，h为输入图像高度的18，w为输入图像宽度的18；提取出的视频帧特征为Ylow∈Rc1*h1*w1，Yhigh∈Rc*h*w，其中，Ylow为视频帧的底层特征，c1为256，表示底层特征的特征图的数量，h1表示底层特征图的高度，w1表示底层特征图的宽度，h1为输入图像高度的14，w1为输入图像宽度的14，Yhigh为视频帧的高层特征；步骤三：对双流网络中的运动信息进行粗分割；对双流网络中获取的光流特征X，采用全卷积方式进行粗分割，得到视频目标分割的粗分割结果X＇∈R2*h*w；其中，2表示最后获得的特征图的数量，其中一个表示属于前景的概率分布，使用X＇pos表示，另一个表示属于背景的概率分布，使用X＇neg表示：X'＝fflowX1其中，fflow·表示对光流特征进行全卷积分割；步骤四：使用运动信息粗分割结果，指导表观信息进行分割；对于粗分割指导精确分割部分，使用两个注意力模块，即空间注意力模块和通道注意力模块，两个注意力模块中的查询向量，均为粗分割中的结果；空间注意力模块：使用运动信息提取的前景概率图，对Yhigh进行加权： 其中，表示使用空间注意力模块加权之后的结果，X′pos表示属于前景的概率分布；通道注意力模块：分别使用运动信息粗分割的前景和背景，对视频帧的特征进行加权： 其中，ghigh_pos·表示使用粗分割前景概率图对视频帧进行通道注意力操作，表示其结果；ghigh_neg·表示使用粗分割背景概率图与视频帧进行通道注意力操作的结果，表示其结果；表示最终通道注意力的结果；步骤五：对视频帧中的Yhigh与粗分割X'处理之后的结果进行分割，分割方式与步骤三对运动信息进行粗分割的方法相同； 其中，Y＇high∈R2*h*w，表示对与的和进行全卷积分割之后的结果，fhigh·表示全卷积操作；步骤六：优化底层特征，获取分割结果；先使用高层特征分割结果Y'high对底层特征进行注意力操作，然后对最终的特征图进行分割，得到精准的分割结果；步骤七：使用高层特征分割结果和底层特征，进行注意力操作； 其中，表示使用视频帧高层特征分割的前景概率图与底层特征在通道上进行注意力操作的结果；glow_pos·表示使用视频帧高层特征分割的前景概率图与底层特征在通道上进行注意力操作，表示其结果；glow_neg·表示使用视频帧高层特征分割的背景概率图与底层特征在通道上进行注意力操作，表示其结果；表示底层特征进行通道注意力之后的最终结果；upsample·表示将前景概率图上采样到h1*w1；表示视频帧高层特征分割的前景概率图；步骤八：对底层特征处理后的结果进行分割；分割方式与对运动信息进行粗分割的方法相同，即： 其中，Y′∈R2*h1*w1，表示最终分割结果；cat·表示将底层特征与高层特征按通道合并；步骤九：使用条件随机场CRF算法，对最终分割结果进行优化；对最终分割结果进行上采样恢复到输入图像的原始大小，然后使用条件随机场CRF算法对分割结果进行优化。

全文数据：

权利要求：

百度查询： 北京理工大学 一种全自动视频运动目标分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD