申请/专利权人：南京邮电大学

申请日：2024-02-02

公开（公告）日：2024-04-30

公开（公告）号：CN117690191B

主分类号：G06V40/20

分类号：G06V40/20;G06V20/40;G06V10/764;G06V10/80;G06N3/048

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2024.03.29#实质审查的生效;2024.03.12#公开

摘要：本发明公开了一种用于智能监控系统的弱监督异常行为智能检测方法，涉及异常行为检测技术领域，本发明结合弱监督伪标签生成和跨模态交互的思想设计网络结构，以解决弱监督下精细的片段标签缺失的问题，提高网络对弱监督异常行为识别的准确性，其损失函数兼顾帧级识别和视频级识别的需求，且对噪声鲁棒，可以应用到智能监控设备异常行为检测的任务中。

主权项：1.一种用于智能监控系统的弱监督异常行为智能检测方法，其特征在于，包括以下步骤：步骤1、提取视频模态的特征、提取音频模态的特征；步骤2、采用自注意力网络分别对视频模态的特征和音频模态的特征进行自注意力增强；步骤3、将步骤2得到的自注意力增强后的特征输入多层感知器中提取高级语义特征，得到视频与音频模态高级语义特征；步骤4、激活函数归一化视频与音频模态高级语义特征均值，获得片段级别的异常行为伪标签；步骤5、分别将步骤3中获得的视频与音频模态高级语义特征归一化得到背景抑制的门控信息，以视频模态的门控信息增强步骤2中获得的音频模态的特征，得到背景增强后的音频模态的特征，以音频模态的门控信息增强步骤2中获得的视频模态的特征，得到背景增强后的视频模态的特征；步骤6、将步骤5中背景增强后的音频模态的特征与视频模态的特征进行跨模态注意力增强，获得音频模态与视频模态融合的特征，并利用多层感知器得到最终的多模态异常行为概率值；跨模态注意力增强中，以步骤2获得的自注意力增强后的视频模态的特征Attentionv、自注意力增强后的音频模态的特征Attentiona计算视频模态流的键向量矩阵Kv、音频模态流的键向量矩阵Ka和视频模态流的值向量矩阵Vv、音频模态流的值向量矩阵Va，以步骤5获得的背景增强后的音频模态的特征、背景增强后的视频模态的特征计算视频模态流和音频模态流的查询向量矩阵Qv、Qa，通过交换音频模态流与视频模态流的键向量矩阵和值向量矩阵进行跨模态增强；步骤7、将步骤4获得的片段级别的异常行为伪标签作为噪声标签，与步骤6获得的多模态异常行为概率值进行损失值计算；其中，损失值是采用噪声损失函数计算得到的，噪声损失函数由平均绝对误差MAE和归一化交叉熵NCE加权和组成；步骤8、以多实例学习方式计算步骤6中多模态异常行为概率值与视频级标签的损失值；步骤9、将步骤7与步骤8的损失值求加权和作为损失值，步骤2至步骤6为弱监督下多模态异常行为检测网络模型，对弱监督下多模态异常行为检测网络模型进行训练。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种用于智能监控系统的弱监督异常行为智能检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD