申请/专利权人：大连大学

申请日：2023-12-20

公开（公告）日：2024-03-22

公开（公告）号：CN117746291A

主分类号：G06V20/40

分类号：G06V20/40;G06V20/52;G06V10/762;G06V10/764;G06V10/82;G06N3/0464;G06N3/09

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明公开了基于聚类指导学习的视频异常检测方法，包括步骤如下：该方法在U‑Net框架基础上设计了一种高效且性能优秀的视频自动编码器，该编码器将卷积操作替换为基于SwinTransformerST的自注意力操作以更好的捕捉图像帧信息，U‑Net自编码器结构将其中的跳越连接层结构删除，卷积结构替换为SwinTransformer模块，编码器部分增加SwinTransformer框架下的patchembed结构以减小计算量；利用I3DBlock增强ST框架的学习能力与收敛速度。同时设计了一种双尺度深度聚类模块对图像帧的特征信息与空间结构信息进行压缩表示，很好的限制了编码器的泛化能力。此外，本发明的模型提供重构与预测两种异常检测方法。

主权项：1.基于聚类指导学习的视频异常检测方法，其特征在于，包括步骤如下：搭建基本的U-Net自编码器结构，将其中的跳越连接层结构删除，卷积结构替换为SwinTransformer模块，编码器部分增加SwinTransformer框架下的patchembed结构；搭建I3D模块，确定所述I3D模块中每一个卷积核的大小以及输出通道数，将该模块与SwinTransformer模块以残差形式进行融合得到IST模块；随后应用3D卷积对所述IST模块输出的特征图进行空间下采样；获取第N层编码的输出特征图XN；将输出特征图XN拆分为T×H×W个C维特征向量其中1≤t≤T，1≤h≤H，1≤w≤W，它们分别代表视频片段的时间，空间高度与空间宽度索引，对特征向量进行特征深度聚类；利用聚类中心点得到输出的特征向量，将所述特征向量进行拼接生成特征图；将特征图输入空间聚类模块，该空间聚类模块存在C簇聚类中心，每簇M个聚类点的集合特征图在通道方向上被切割为C个待聚类簇，每簇有T个H×W维的特征子图其中1≤c≤C，代表第c簇特征子图；获取深度聚类的目标函数；在重建阶段使用一个反卷积核进行时间上采样恢复原来的特征图；在预测阶段使用卷积核进行时间下采样得到预测的特征图。

全文数据：

权利要求：

百度查询： 大连大学 基于聚类指导学习的视频异常检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD