申请/专利权人：南昌工程学院

申请日：2023-11-15

公开（公告）日：2024-02-09

公开（公告）号：CN117252904B

主分类号：G06T7/246

分类号：G06T7/246;G06V10/44;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.02.09#授权;2024.01.05#实质审查的生效;2023.12.19#公开

摘要：本发明提出一种基于长程空间感知与通道增强的目标跟踪方法与系统，该方法在孪生双分支网络结构目标跟踪框架下，基于长程空间感知构和通道注意力分别构建特征提取网络和特征融合网络，利用特征提取网络分别提取模板特征和搜索特征，将模板特征送入特征融合网络中，利用通道映射之间的相互依赖来增强目标图像特征的语义表示，得到卷积权重，根据卷积权重信息结合模板特征和模板目标图像预测，将预测结果与搜索特征进行融合，得到得分图，将得分图中最高得分区域作为最终的跟踪结果。本发明利用通道映射之间的相互依赖来增强目标图像特征的语义表示来增强局部细节，抑制不相关区域，可获得具有判别性的背景前景特征和丰富的通道信息，提高跟踪效果。

主权项：1.一种基于长程空间感知与通道增强的目标跟踪方法，其特征在于，所述方法包括如下步骤：步骤1、在孪生双分支网络结构目标跟踪框架下，基于长程空间感知构建得到特征提取网络，基于通道注意力构建特征融合网络；步骤2、利用大规模数据集对特征提取网络和特征融合网络进行训练，得到训练后的特征提取网络和训练后的特征融合网络；步骤3、利用训练后的特征提取网络分别对模板目标图像和搜索区域图像进行特征提取，得到包含目标图像信息的模板特征和搜索特征；步骤4、将模板特征送入训练后的特征融合网络中进行通道注意力计算，以强化重要特征的注意力，弱化不重要特征的注意力，得到深层目标图像特征；将模板目标图像进行混合卷积操作，得到浅层目标图像特征，将深层目标图像特征与浅层目标图像特征进行融合，以利用通道映射之间的相互依赖来增强目标图像特征的语义表示，得到卷积权重；步骤5、将模板特征、卷积权重与模板目标图像引入到模型预测器中进行预测，得到预测结果，将预测结果与给定的标签进行比较学习，经过迭代优化后，得到最终的卷积权重，并利用最终的卷积权重得到最终的预测结果；步骤6、将最终的预测结果与搜索特征进行融合，得到得分图；步骤7、将得分图中的最高分数区域作为目标的候选区域，并将其位置作为判定依据得到跟踪目标；在所述步骤3中，利用训练后的特征提取网络分别对模板目标图像和搜索区域图像进行特征提取的方法具体包括如下步骤：采用递归的设计结构，利用线性投影操作对输入特征进行通道映射为两路通道分支，得到两组不同的投影特征；计算不同阶段的门控特征，利用递归的方式对两组不同的投影特征进行迭代交互，逐阶段增强图像特征的长程空间交互能力，以获得丰富的长程空间信息，得到包含目标图像信息的特征；将模板目标图像和搜索区域图像分别作为两个不同的输入特征依次重复上述操作，得到包含目标图像信息的模板特征和搜索特征；采用递归的设计结构，利用线性投影操作对输入特征进行通道映射为两路通道分支，得到两组不同的投影特征的计算过程存在如下关系式： ；其中，表示所输入的特征，，表示实数矩阵，表示特征的通道数最大值，表示特征图的高度最大值，表示特征图的宽度最大值，表示线性投影层，表示进行递归操作的通道特征，表示进行门控卷积的个通道的特征，，，，表示特征线性变换的卷积，表示特征映射中的通道数，表示执行递归操作的次数，表示到特征映射中的通道数；计算不同阶段的门控特征，利用递归的方式对两组不同的投影特征进行迭代交互过程存在如下关系式： ； ；其中，表示作为保证训练稳定性的比例因子，表示一组深度卷积层，表示迭代完成后得到的最后一阶的特征，表示递归操作中实现通道输出映射的线性投影层，表示通道输出映射的包含目标图像信息的特征，表示进行门控卷积的第阶通道的特征。

全文数据：

权利要求：

百度查询： 南昌工程学院 基于长程空间感知与通道增强的目标跟踪方法与系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD