申请/专利权人：东北大学

申请日：2021-10-27

公开（公告）日：2024-04-26

公开（公告）号：CN113989927B

主分类号：G06V40/20

分类号：G06V40/20;G06V20/40;G06V30/19;G06N3/0442;G06N3/0464;G06N3/08;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2022.02.18#实质审查的生效;2022.01.28#公开

摘要：本发明公开了一种基于骨骼数据的视频群体暴力行为识别方法及系统，涉及行为识别技术领域。该方法及系统基于从待识别视频内容中获取的骨骼数据，构建并训练一个深度学习模型，对视频进行特征提取和内容理解，识别个体与个体之间交互行为的分解动作，根据分解动作识别结果的时序关系，判断行为是否属于暴力。克服了现有方法无法很好应用骨骼数据，忽略时序信息和个体间交互信息的缺点，且将群体行为转化为双人交互行为，减少了数据计算量，对行为类别的判断更加容易。

主权项：1.一种基于骨骼数据的视频群体暴力行为识别方法，其特征在于，所述方法包括如下步骤：步骤1：对原始视频流进行抽样，获得视频帧样本；步骤2：从视频帧样本中提取原始骨骼数据，获得骨骼数据样本；步骤3：分别提取每一帧骨骼数据样本的关键特征，并根据关键特征确定每一帧中的两组关键子数据，其中每一组子数据均包括两个人物个体的数据；步骤4：以预设的数据长度f帧为单位对步骤3处理后的骨骼数据样本整体进行滑窗式切分或者填充，切分成若干个等长度的单位数据或者补充为与预设的数据长度相等的单位数据；步骤5：使用神经网络逐单位数据进行处理，提取包含在每一单位数据中的骨骼数据样本的时空特征，并依据所述时空特征自动计算出各单位数据的分类评分；步骤6：依据分类评分对每一单位数据进行二分类，判断其是否属于群体暴力行为，最后输出整个骨骼数据样本对应的各个窗口数据的识别结果；所述步骤5包括如下步骤：步骤5.1：使用双人图卷积网络融合包含了两个人物个体的骨骼数据的节点特征和拓扑结构，获得数据的空间特征图；所述双人图卷积网络由三个图卷积层顺序堆叠构成，前一图卷积层的输出数据为后一图卷积层的输入数据，最后一个图卷积层的输出特征就是双人图卷积网络计算出的空间特征图；所述双人图卷积网络的输入信息为每一帧骨骼数据样本中每组关键子数据中的两个人物个体的骨骼数据的节点特征和拓扑结构；所述骨骼数据的节点特征为骨骼数据中各个关节的坐标；所述骨骼数据的拓扑结构为每组关键子数据中两个人物个体的骨骼数据的各个关节的连接结构；获得所述骨骼数据的拓扑结构的方法为：首先对于每组关键子数据中的每个个体，按照人体骨骼结构连接该个体的各个关节；然后将第一个人物个体的双手关节和双脚关节都分别与第二个人物个体的所有关节相连接，同样地，将第二个人物个体的双手关节和双脚关节也都分别与第一个人物个体的所有关节相连接，获得双人骨骼图；再然后计算出双人骨骼图的对称化拉普拉斯算子，该拉普拉斯算子就是所述骨骼数据的拓扑结构；步骤5.2：使用最大池化层对双人图卷积网络输出的空间特征图进行数据压缩；步骤5.3：使用LSTM网络提取数据压缩处理后的空间特征图的时序信息，获得时空特征图；步骤5.4：将通过LSTM网络获得的时空特征图沿一维展开获得特征向量；步骤5.5：使用两个线性层和一个激活层按照如下公式对步骤5.4获得的特征向量进行处理，获得仅包含类别信息的类别特征向量；H1＝σH0W0+b0,H2＝H1W1+b1其中，H0是线性层1接收的特征向量；H1是线性层1计算得到的特征向量；W0和W1分别是线性层1和线性层2的权重，b0和b1分别是线性层1和线性层2的偏移值，σ是激活层使用的线性整流函数ReLU；H2是线性层2计算得到的仅包含类别信息的类别特征向量Z＝z0,z1，其中z0是暴力类别的激活值，z0越大就越可能是暴力行为；z1是非暴力类别的激活值，z1越大就越可能是非暴力行为；步骤5.6：使用Softmax函数将类别特征向量映射到0,1区间，获得最终的分类评分s0和s1，s0表示所计算的骨骼数据属于群体暴力行为的概率，s1表示所计算的骨骼数据不属于群体暴力行为的概率。

全文数据：

权利要求：

百度查询： 东北大学 一种基于骨骼数据的视频群体暴力行为识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD