申请/专利权人：南京信息技术研究院

申请日：2022-06-08

公开（公告）日：2024-04-23

公开（公告）号：CN115063717B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/82;G06V10/80;G06T7/20;G06N3/0455;G06N3/0499;G06N3/08;G06T5/00

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2022.10.04#实质审查的生效;2022.09.16#公开

摘要：本发明公开一种基于重点区域实景建模的视频目标检测与跟踪方法，将重点区域卫星定位信息转化成三维全景地图；对三维全景地图提取高层特征，根据重点区域天气信息对对应视频流进行处理得到清晰的重点区域实景建模视频帧，将一系列帧输入骨干网络提取高级特征再通过空洞残差网络，将目标检测任务化大为小，使用跨模态注意力模块进行多模态信息融合，通过叠加连续帧的特征图得到特征融合图，进而获得连续的目标时空特征，同时结合之前画面帧获得的跟踪边界框，最后匹配目标框和跟踪框实现检测与跟踪任务。本发明对重点区域进行实时实景建模，有效解决重点区域的复杂人流车流造成的目标遮挡与错误跟踪问题，使得算法具有更好的鲁棒性。

主权项：1.一种基于重点区域实景建模的视频目标检测与跟踪方法，其特征在于：包括以下步骤：步骤一、输入重点区域的卫星定位信息L，通过逆地理编码函数得到重点区域的3维全景地图BMAP，然后对重点区域的3维全景地图进行稀疏点采样，得到重点区域的实景建模数据集b＝ΩBMAP；接着，将获取到的实景建模数据输入到刚性不变特征提取器来获取实景建模数据的高层特征S；步骤二、将步骤一所得重点区域的卫星定位信息L输入天气查询函数Υ.中，得到天气信息W_dic后输入雨雾判断器来判断重点区域是否为良好天气；若非良好天气，则将重点区域的视频流输入到多阶段渐进式图像恢复模块，来进行图像预处理来获取纯净的视频数据；步骤三、将进行预处理之后的视频数据转换为图片并输入到骨干网络ResNet50中得到高层语义特征C5；接着，利用空洞残差编码器对骨干网络输出的高层语义特征C5进行编码，并将空洞残差编码器输出的特征输入到空洞残差模块中，以此来捕获不同感受野特征，最终得到多种感受野的融合特征P5；步骤四、将步骤三所得融合特征P5与步骤一所得实景建模数据的高层特征S进行融合，即：使用跨模态注意模块获取两种模态的注意力；然后再使用多层感知机网络进行非线性拟合，接着，利用得到的当前帧特征图叠加前一帧的特征图，得到连续两帧的特征融合图步骤五、将步骤四特征融合图拉伸后得到编码器的输入特征点向量C为特征融合图的通道数，结合参考特征点与其偏移量得到最终的采样点向量；利用查询向量与得到的最终关键值采样点向量，得到当前帧的特征图的Transformer编码器输出，然后利用目标查询与关键值采样点向量获得当前帧解码器输出的目标特征，同时利用前一帧的目标特征作为当前帧的跟踪查询向量vqt，同样经过解码器后获得跟踪特征D为跟踪解码器；步骤六、将步骤五中目标特征和跟踪特征通过前馈神经网络分别得到检测框以及跟踪框，利用匈牙利匹配方法将检测框与跟踪框建立匹配关系，得到最终跟踪结果。

全文数据：

权利要求：

百度查询： 南京信息技术研究院 一种基于重点区域实景建模的视频目标检测与跟踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD