申请/专利权人：青岛科技大学

申请日：2021-12-28

公开（公告）日：2024-04-23

公开（公告）号：CN114220061B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/74;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2022.04.08#实质审查的生效;2022.03.22#公开

摘要：本发明公开了一种基于深度学习的多目标跟踪方法，所述方法包括对视频图像序列执行特征提取的过程，所述特征提取的过程包括：将视频图像序列中相邻的两视频帧作为原始输入，获取所述原始输入对应的原始张量，将所述原始张量输入至多特征提取网络，获得多特征图；将所述多特征图输入时空融合网络，获得时空特征增强的时空融合特征图，实现对视频图像序列的特征提取；所述多特征提取网络为残差网络架构，包括有多个多特征提取模块，每个所述多特征提取模块包括通道子模块、动作子模块、特征相关子模块及残差网络的残差块。本发明通过对特征提取骨干网络中的残差块进行改进，提高提取特征的显著性，进而提高目标跟踪的精度。

主权项：1.一种基于深度学习的多目标跟踪方法，其特征在于，所述方法包括对视频图像序列执行特征提取的过程，所述特征提取的过程包括：将视频图像序列中相邻的两视频帧作为原始输入，获取所述原始输入对应的原始张量，将所述原始张量输入至多特征提取网络，获得多特征图；将所述多特征图输入时空融合网络，将时序信息与空间信息融合，获得时空特征增强的时空融合特征图，实现对视频图像序列的特征提取；所述多特征提取网络为残差网络架构，包括有多个多特征提取模块，每个所述多特征提取模块包括通道子模块、动作子模块、特征相关子模块及残差网络的残差块；所述多特征提取网络采用下述方法获得所述多特征图：所述通道子模块对所述原始张量执行空间平均池化处理、卷积处理和激活处理，生成通道掩码，所述通道掩码与所述原始张量融合，获得与所述原始张量维度相同的通道特征；所述动作子模块对所述原始张量进行特征提取，获得帧间目标运动变化张量，对所述帧间目标运动变化张量执行空间平均池化处理、卷积处理和激活处理，生成动作掩码，所述动作掩码与所述原始张量融合，获得与所述原始张量维度相同的动作特征；所述特征相关子模块对所述原始张量执行卷积处理和相关操作处理，获得与所述原始张量维度相同的特征相关特征；将所述通道特征、所述动作特征、所述特征相关特征及所述原始张量进行融合，获得融合特征，将所述融合特征输入所述残差网络的残差块进行特征提取，再将所述残差网络的残差块提取的特征与所述原始张量进行融合，获得所述多特征图；所述通道子模块对所述原始张量执行空间平均池化处理、卷积处理和激活处理，生成通道掩码，所述通道掩码与所述原始张量融合，获得与所述原始张量维度相同的通道特征，具体包括：所述通道子模块对所述原始张量执行空间平均池化处理，获得输入特征的全局空间特征；利用1*1卷积压缩所述全局空间特征的通道数并重构特征，然后再次利用1*1卷积对通道数进行还原，获得还原后特征张量；利用激活函数激活所述还原后特征张量，生成所述通道掩码；将所述通道掩码与所述原始张量进行点积运算的融合，获得所述通道特征；所述动作子模块对所述原始张量进行特征提取，获得帧间目标运动变化张量，对所述帧间目标运动变化张量执行空间平均池化处理、卷积处理和激活处理，生成动作掩码，所述动作掩码与所述原始张量融合，获得与所述原始张量维度相同的动作特征，具体包括：所述动作子模块将所述原始张量分离为前一帧图像张量和当前帧图像张量，对所述前一帧图像张量和所述当前帧图像张量分别执行维度信息不变的图像特征提取，将所述当前帧图像张量经特征提取后的结果执行卷积操作，然后与所述前一帧图像张量经特征提取的结果相减，获得所述帧间目标运动变化张量；对所述帧间目标运动变化张量执行空间平均池化处理，获得目标运动全局空间特征；利用1*1卷积处理所述目标运动全局空间特征，获得还原后特征张量；利用激活函数激活所述还原后特征张量，生成所述动作掩码；将所述动作掩码与所述原始张量进行点积运算的融合，获得所述动作特征。

全文数据：

权利要求：

百度查询： 青岛科技大学 一种基于深度学习的多目标跟踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD