申请/专利权人：浙江大学;杭州海康威视数字技术股份有限公司

申请日：2020-11-16

公开（公告）日：2021-02-09

公开（公告）号：CN112348102A

主分类号：G06K9/62(20060101)

分类号：G06K9/62(20060101);G06K9/00(20060101);G06F16/783(20190101)

优先权：

专利状态码：在审-实质审查的生效

法律状态：2021.03.02#实质审查的生效;2021.02.09#公开

摘要：本发明公开了一种基于查询的自底向上视频定位方法和系统。首先，获取查询内容Query和待定位视频Ref，其次将查询内容Query特征与待定位视频Ref的特征融合到一个全新的特征图中。最后特征图通过深度学习方法检测出查询内容Query所对应的真实视频片段GT‑v位于待定位视频Ref中的起始位置和终止位置。本发明方法根据查询内容Query可以准确而又高效的识别真实视频片段GT‑v在待定位视频Ref的起始位置和终止位置。

主权项：1.一种基于查询的自底向上视频定位方法，其特征在于，包括如下步骤：1将查询内容Query的Glove特征和待定位视频Ref的C3D特征输入到图卷积网络中融合得到新的特征图其中T是待定位视频的长度，即视频帧数，D是单视频帧的特征向量的长度；2将特征图输入到边界回归网络中预测出每一视频帧与真实视频片段GT-v左右边界的偏移量left-d，right-d；同时，将特征图输入到置信度分类网络中预测出每一视频帧的置信度s；3利用帧在待定位视频Ref上的位置和其预测的左右边界的偏移量left-d，right-d，计算出每一视频帧的预测视频片段在Ref上的起始位置和终止位置start，end；4获取置信度s大于最大置信度设定的百分比，且与最大置信度对应的帧预测的起止位置start，end有重叠交叉的帧，将这些帧所对应的起止位置start，end放入到临时池中；最终取临时池中最小的起始位置和最大的终止位置作为最终预测的起止位置；5在网络训练环节，网络结构损失函数L分为边界回归损失和置信度分类损失两部分；使用梯度下降算法对L进行优化，并更新网络权重，返回步骤1迭代训练不断提升每一视频帧的分类准确率同时减少其预测的左右边界值和真实的左右边界值之间的差距；迭代训练结束后，得到最终的图卷积网络、边界回归网络和置信度分类网络的权重；保存训练好的网络。

全文数据：

权利要求：

百度查询： 浙江大学;杭州海康威视数字技术股份有限公司 一种基于查询的自底向上视频定位方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD