申请/专利权人：南京邮电大学

申请日：2022-03-15

公开（公告）日：2024-04-05

公开（公告）号：CN114612836B

主分类号：G06V20/40

分类号：G06V20/40;G06V20/52;G06V10/774;G06V10/82;G06N3/0442;G06N3/0455;G06N3/0464;G06N3/0475;G06N3/084;H04N17/00

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2022.06.28#实质审查的生效;2022.06.10#公开

摘要：本发明提供一种基于记忆增强未来视频帧预测的监控视频异常检测方法，属于视频异常检测技术领域。该方法，首先搭建并优化学习异常检测模型，异常检测模型包括生成器网络和判别器网络；其中，生成器网络包括编码器、记忆模块和解码器，生成下一时刻的视频帧，即未来视频帧；判别器网络通过计算未来视频帧的异常分数，使用异常分数作为判断未来视频帧是否异常的标准；通过强度损失、梯度损失、光流损失、对抗损失和交叉熵损失对搭建的异常检测模型进行优化学习；然后对监控视频中的异常事件进行检测；该方法能显著提高监控视频中的异常检测精度；生成器网络具有较高的通用性和鲁棒性，能够嵌入到大多数异常检测方法中，提高其异常检测的性能。

主权项：1.一种基于记忆增强未来视频帧预测的监控视频异常检测方法，其特征在于，包括：搭建并优化学习异常检测模型，异常检测模型包括生成器网络和判别器网络；生成器网络包括编码器、记忆模块和解码器，将视频帧输入编码器后，编码器进行卷积、池化操作并进行特征通道的自适应调整后，获得编码特征，编码器将获得的编码特征分别输出给记忆模块和解码器；记忆模块依据与输入的编码特征的相似性来调整内存项目的寻址权重，通过内存项目和寻址权重的线性组合生成查询特征，并将查询特征输入到解码器中；将输入的查询特征和编码特征进行特征融合，进而解码器生成下一时刻的视频帧，即未来视频帧；判别器网络通过计算未来视频帧的异常分数，使用异常分数作为判断未来视频帧是否异常的标准；通过强度损失、梯度损失、光流损失、对抗损失和交叉熵损失对搭建的异常检测模型进行优化学习；其中，搭建并优化学习异常检测模型，具体为，S1、在数据集上选取训练样本和测试样本，训练样本为具有三通道的彩色视频帧图像X＝x1,x2,x3,…xt，其中，t表示一次输入模型的视频帧数量，视频帧的尺寸表示为H×W×C；S2、将训练样本的连续视频帧输入到编码器，获得编码特征y；S3、将步骤S2得到的编码特征y输入到记忆模块，依据与内存项目的相似性来调整其寻址权重ri，通过记忆模块中的内存项目和寻址权重的线性组合，生成查询特征y'；S4、将步骤S2所得编码特征y和步骤S3所得查询特征y'进行特征融合，在实现信息对称和抑制梯度的消失的同时，得到特征表示u，进而解码器输出t+1时刻的未来视频帧：x't+1＝FDu,θd，其中，FD表示解码器，θd表示解码器的参数；S5、计算步骤S4所得未来视频帧x't+1和真实视频帧xt+1之间的强度损失Lden，计算步骤S4所得未来视频帧x't+1和真实视频帧xt+1之间的梯度损失Lgrad，通过轻量级光流估计网络LiteFlownet计算未来视频帧x't+1、真实视频帧xt+1和真实视频帧xt之间的光流损失Lop，通过最小二乘生成对抗网络LeastSquaresGAN计算未来视频帧x't+1和真实视频帧xt+1之间的对抗损失；S6、计算寻址权重ri的交叉熵损失Lmem；S7、根据步骤S5所得强度损失Lden、梯度损失Lgrad、光流损失Lop、对抗损失和步骤S6所得交叉熵损失Lmem，计算模型整体损失L，对异常检测模型进行反向传播优化参数；由优化学习后的异常检测模型，对监控视频中的异常事件进行检测。

全文数据：

权利要求：

百度查询： 南京邮电大学 基于记忆增强未来视频帧预测的监控视频异常检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD