申请/专利权人：中南大学

申请日：2021-12-01

公开（公告）日：2024-04-30

公开（公告）号：CN114120202B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/26;G06V10/52;G06V10/774;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2022.03.18#实质审查的生效;2022.03.01#公开

摘要：本发明公开了一种基于多尺度目标模型和特征融合的半监督视频目标分割方法，包括：获取视频分割相关数据集以及对应的分割标签；构建特征提取模块，提取视频图像中所包含的信息；构建多尺度目标模型，捕获不同尺度的目标外观细节，同时提升推理速度；构建由特征融合模块、通道注意力模块以及细化残差模块构成的分割解码器，突出视频的帧间目标变化，并将目标外观信息恢复至高分辨率，得到对应帧的目标分割结果；构建缓存池用于多尺度目标模型的参数更新，逐帧对视频序列进行推理，得到视频目标分割结果。本发明方法能够有效提升对视频中小目标、难分割目标的分割精度，同时可保证视频目标分割的快速性。

主权项：1.一种基于多尺度目标模型和特征融合的半监督视频目标分割方法，其特征在于包括以下步骤：1获取数据集与分割标签：获取半监督视频目标分割数据集与对应的分割标签；2构建分割模型，具体包括以下步骤：2-a构建特征提取器，其中共包括一层卷积模块和四层残差模块，视频图像依次经过卷积模块及四层残差模块，分别得到残差模块对应的中间特征图xr1、xr2、xr3、xr4；第一层残差模块包括一个池化层和三个残差卷积模块，每个残差卷积模块内包括三个卷积模块，第一层残差模块的输出为中间特征图xr1；第二层残差模块包括四个残差卷积模块，每个残差卷积模块内包括三个卷积模块，第二层残差模块的输出为中间特征图xr2；第三层残差模块包括六个残差卷积模块，每个残差卷积模块内包括三个卷积模块，第三层残差模块的输出为中间特征图xr3；第四层残差模块包括三个残差卷积模块，每个残差卷积模块内包括三个卷积模块，第四层残差模块的输出为中间特征图xr4；2-b构建多尺度目标模型，该模型由两个独立的目标模型Tl和Th构成，两者各包括一个1×1卷积模块和一个3×3卷积模块，将步骤2-a得到的中间特征图xr2和xr3分别作为Tl和Th的输入；目标模型Tl和Th中的1×1卷积模块都是对特征进行降维；目标模型Tl中的3×3卷积模块得到低维目标外观信息csl，目标模型Th中的3×3卷积模块得到高维目标外观信息csh；2-c构建分割解码器，其中包括四层解码结构，第一层解码结构包括一个特征融合模块，一个通道注意力模块，一个细化残差模块和一个全局池化模块；第二、三、四层解码结构均包括一个特征融合模块，一个通道注意力模块和一个细化残差模块；其中特征融合模块的作用是将步骤2-b中多尺度目标模型得到的目标外观信息与步骤2-a中提取的中间特征图进行融合，来捕捉不同视频帧之间目标的动态变化，该模块包括尺度转换和自适应融合两个部分，其中尺度转换部分将目标外观信息与中间特征图映射到同一尺度并拼接到一起，自适应融合部分计算拼接后的特征图中的各特征通道权重并进行适应性加权；通道注意力模块的作用是将不同层的特征图进行通道注意力优化；细化残差模块的作用是对特征图进行进一步细化，优化目标细节；2-d将步骤2-a中得到的中间特征图xr4与步骤2-b得到的多维信息csl和csh输入到步骤2-c构建的第一层解码结构内的特征融合模块中，得到融合特征图s4，对s4进行全局池化操作，其结果与s4一起输入到第一层解码结构内的通道注意力模块，再经过细化残差模块，得到目标特征图o4；将步骤2-a中得到的中间特征图xr3与步骤2-b得到的多维信息csl和csh输入到步骤2-c构建的第二层解码结构内的特征融合模块中，得到融合特征图s3，将s3与第一层解码结构输出的目标特征图o4一起输入到第二层解码结构内的通道注意力模块中，再经过细化残差模块，得到目标特征图o3；将步骤2-a中得到的中间特征图xr2与步骤2-b得到的多维信息csl和csh输入到步骤2-c构建的第三层解码结构内的特征融合模块中，得到融合特征图s2，将s2与第二层解码结构输出的目标特征图o3一起输入到第三层解码结构内的通道注意力模块中，再经过细化残差模块，得到目标特征图o2；将步骤2-a中得到的中间特征图xr1与步骤2-b得到的多维信息csl和csh输入到步骤2-c构建的第四层解码结构内的特征融合模块中，得到融合特征图s1，将s1与第三层解码结构输出的目标特征图o2一起输入到第四层解码结构内的通道注意力模块中，再经过细化残差模块，得到目标特征图o1；将目标特征图o1进行上采样，得到分割结果完成分割模型的构建；3训练分割模型：利用步骤1得到的数据集训练步骤2构建完成的分割模型，该模型中的特征提取器使用预训练模型，不更新模型参数；使用交叉熵作为分割模型的损失函数得到损失值，并使用Adam算法更新分割模型内除特征提取器外的模型参数，直到损失值不再下降，得到训练好的分割模型；4推理：将测试视频数据逐帧输入至分割模型；输入初始帧后，使用步骤2-a中构建的特征提取器提取特征，并初始化缓存池M，缓存池M用于存储步骤2-a中得到的中间特征图xr2和xr3、步骤2-d中得到的分割结果以及每帧的样本权重θ；接着按顺序输入其余帧，使用步骤2-a中构建的特征提取器提取特征，使用步骤2-b中构建的多尺度目标模型提取目标外观信息，使用2-c中构建的包含特征融合模块的分割解码器捕捉帧间动态变化并细化特征信息，得到对应帧的分割结果，将分割结果与步骤2-a中得到的中间特征图存入缓存池M；更新缓存池样本权重θ，达到缓存池容量上限后，删除权重最小的样本；5视频目标分割：获取推理阶段中测试视频序列的各帧分割结果，与原图进行混合加权融合，并制作成视频流，得到视频目标分割结果。

全文数据：

权利要求：

百度查询： 中南大学 一种基于多尺度目标模型和特征融合的半监督视频目标分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD