申请/专利权人：北京工业大学

申请日：2023-04-28

公开（公告）日：2023-08-25

公开（公告）号：CN116645521A

主分类号：G06V10/44

分类号：G06V10/44;G06V20/40;G06V20/52;G06V10/82;G06V10/62;G06V10/776;G06N3/0442;G06N3/045;G06N3/0464

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.09.12#实质审查的生效;2023.08.25#公开

摘要：一种基于MSGRU‑TRF的视频异常检测方法涉及计算机视觉以及模式识别领域。本发明针对视频提出新的MSGRU‑TRF网络，包含三个模块。基于GRU的多尺度时间特征学习模块在多尺度卷积网络中加入GRU结构，既利用了多尺度卷积网络对输入数据多尺度建模的特点，又加强了对输入数据时间上的建模。本发明通过时间分辨率特征映射模块将视频特征的时间分辨率信息映射到特征学习网络辅助网络学习到视频的更多信息。本发明提出自适应k模块来改进传统的Top‑k损失函数，通过为不同的输入视频定制k的值，为网络训练带来更多的灵活性。本发明对真实世界长短不一的监控视频有很好的时间尺度建模作用，在视频异常检测方面有较高的准确率。

主权项：1.一种基于MSGRU-TRF的视频异常检测方法，其特征在于，包括以下步骤：1预处理首先，将原始的长视频数据切分成单帧的视频帧图像；其次，将切分好的视频帧分成32个固定片段；对每个视频进行视频级别的弱监督标注；最后，利用预训练好的I3D特征提取器初步提取视频的运动特征，得到网络输入所需的特征向量；另外，计算出视频的时间分辨率信息作为网络的额外输入；2构造MSGRU-TRF网络所构建的网络结构为：多尺度GRU时间特征学习网络，三层膨胀卷积层即DC1、DC2、DC3，一层卷积层C1，三层GRU层即GRU1、GRU2、GRU3，第一次特征融合F1，一层GRU层GRU4，第二次特征融合F2，一层GRU层GRU5，两层全联接层即FC1、FC2，第三次特征融合F3，模块输出；时间分辨率特征映射模块，两层全联接层即FC5、FC6；自适应k模块，两层全联接层即FC1、FC2，第四次特征聚合即F4，两层全联接层即FC3、FC4，自适应k模块输出；最后形成一个基于GRU的多尺度时间信息与时间分辨率信息结合学习的网络MSGRU-TRF；3利用MSGRU-TRF网络实现基于无监督视频异常检测训练过程：对训练集中的原始长视频切分成单帧视频帧，将切分好的视频帧分成32个固定片段并对每个视频进行片段级别的弱监督标注；利用预训练好的I3D特征提取器初步提取视频的运动特征，得到网络输入所需的特征向量；另外，计算出视频的时间分辨率信息作为网络的额外输入；将预处理后的视频特征和时间分辨率特征分别输入MSGRU-TRF网络的多尺度GRU时间特征学习模块和时间分辨率特征映射模块，视频特征通过多尺度GRU时间特征学习模块后将得到包含每个片段的异常分数的分数矩阵；时间分辨率信息通过时间分辨率特征映射模块和自适应k模块后将得到用于计算Top-k损失函数的k值和用于计算Adaptive-k损失函数的特征向量；通过最小化输入的异常视频的异常分数最高的k个片段的均值和正常视频的异常分数最大值的差值来进行网络优化；并利用自适应k模块根据视频特定的时间分辨率信息定制的k值来辅助损失函数优化；最后，使用自适应k模块输出特征与预设值特征进行MSE损失函数计算来限制生成极端大小的k值；测试过程：将测试集中的原始长视频切分成单帧视频帧，利用预训练好的I3D特征提取器初步提取视频的运动特征，得到网络输入所需的特征向量；然后直接输入到训练好MSGRU-TRF网络中，得到片段级别的异常分数，片段中的每一帧的异常分数都与该片段的异常分数相同；通过视频异常分数和groudtruth异常标注可以计算出视频整体异常检测的准确率AUC；通过比较异常分数与所设阈值之间的差异，来判定该输入的视频帧是否属于异常；对生成的异常分数同时进行与弱监督标注的交叉墒损失计算和视频间的Top-k损失计算，并辅助以平滑损失项，异常判定阈值取0.65。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于MSGRU-TRF的视频异常检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD