申请/专利权人：深圳龙岗智能视听研究院

申请日：2020-12-16

公开（公告）日：2024-04-12

公开（公告）号：CN112509009B

主分类号：G06T7/246

分类号：G06T7/246;G06V10/44;G06V10/80;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2021.04.02#实质审查的生效;2021.03.16#公开

摘要：本发明提供了一种基于自然语言信息辅助的目标追踪方法，包括对图像进行视觉特征和自然语言特征描述，并提取目标和候选区域的视觉特征和对目标进行描述的自然语言特征；基于初始的视觉特征构建视觉追踪模型，以及基于初始的自然语言追踪模型构建自然语言的响应模型；以及利用融合了多层特征的图像特征检测器确定视觉特征的响应，以及利用自然语言特征检测器检测候选图像同时获取候选图像对自然语言特征的响应。本方法结合自然语言信息和视觉信息优势，利用自然语言提供的高层次语义特征辅助视觉特征，使目标追踪更加稳定。

主权项：1.一种基于自然语言信息辅助的目标追踪方法，其特征在于，包括以下步骤：S1：对图像进行视觉特征和自然语言特征描述，并提取目标和候选区域的视觉特征和对目标进行描述的自然语言特征，在步骤S1中利用预训练好的卷积神经网络（CNN）提取目标和候选区域的所述视觉特征，以及利用长短记忆网络（LSTM）提取对目标进行描述的所述自然语言特征；S2：基于初始的目标视觉特征构建视觉追踪模型，以及基于初始的自然语言追踪模型构建自然语言的响应模型，在步骤S2中构建所述自然语言的响应模型，用于寻找图片中与第一帧图片中目标描述最高的响应区域，其语言特征也被排列成一维的特征向量；构建所述视觉追踪模型，将从第一帧提取的目标视觉特征作为目标的模板特征，并将目标视觉特征排列成一维的特征向量；以及S3：利用融合了多层特征的图像特征检测器确定视觉特征的响应，以及利用自然语言特征检测器检测候选区域同时获取候选区域对自然语言特征的响应；在步骤S3中，对于新来的图像帧，利用视觉特征对图像进行检测，将目标的视觉特征与候选区域的视觉特征进行对比，检测出前10个相似度高的图块作为输出；将输出的10个图块进行自然语言属性的检测，从10个图块中检测响应最高的作为目标的图块；输出目标在新一帧中的位置，得到新的图像；对于新来的一帧图像，重复上述操作。

全文数据：

权利要求：

百度查询： 深圳龙岗智能视听研究院 一种基于自然语言信息辅助的目标追踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD