申请/专利权人：华南理工大学;华南理工大学珠海现代产业创新研究院

申请日：2022-02-22

公开（公告）日：2024-04-26

公开（公告）号：CN114581843B

主分类号：G06V20/52

分类号：G06V20/52;G06V20/40;B66B29/00;G06V10/778

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2022.06.21#实质审查的生效;2022.06.03#公开

摘要：本发明公开了一种基于深度学习的扶梯乘客危险行为识别方法，通过位于扶梯楼层板上方的摄像机拍摄含有乘客的扶梯视频段，使用目标检测、跟踪及关节点提取算法获得骨架序列，对骨架序列进行归一化、插帧处理制作数据集，同时将2S‑AGCN网络进行改进以提高骨架关节点连接的合理性，增强模型拟合能力，以用于对骨架序列进行行为分类，并对训练集进行数据扩增后训练该网络模型，在测试阶段，使用插帧及归一化方法保证数据分布与训练集一致，且根据连续多帧的分类结果决定当前帧乘客的行为类别，最终得到稳定的扶梯乘客危险行为识别结果。本发明可以快速准确的判断扶梯上是否存在乘客出现危险行为，保护乘客的人身安全不受威胁。

主权项：1.一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于，包括以下步骤：1获取位于扶梯楼层板上方的摄像机拍摄的含有乘客的扶梯视频段，将所有的扶梯视频段进行处理生成所需的数据集，再将数据集按比例划分原始训练集和原始验证集，并进行乘客异常行为类别标注；2对原始训练集和原始验证集进行坐标归一化，将所有乘客的关节坐标统一到同一数据分布下，得到归一化后的训练集和验证集；3对归一化后的训练集进行数据扩增，加入噪声生成新的图像并赋予相应的标签，作为最终训练集；4使用最终训练集训练改进的2S-AGCN网络，并使用归一化后的验证集验证模型精度以选取最优模型参数，其中对2S-AGCN网络的改进是使用自适应的多阶邻接矩阵融合方法，以及使用自学习的邻接矩阵获取骨架中关节点的连接关系；改进的2S-AGCN网络的具体改进如下：4.1使用自适应多阶邻接矩阵融合方法：假设骨架图先验的连接关系，即先验邻接矩阵为则k阶邻接矩阵其中表示先验邻接矩阵的k次幂，最终使用的自适应多阶邻接矩阵其中H表示最高阶次数，是最大阶次为H的自适应多阶邻接矩阵，αk为k阶邻接矩阵对应的权值，该权值初始化为1，然后随着模型的训练自适应调整，因此，最终得到的自适应多阶矩阵是多阶矩阵的加权和，而权值是经过所有的训练数据统计得到的，能够有效提升网络模型的效果；4.2使用自学习邻接矩阵：由步骤4.1得到自适应多阶邻接矩阵设置一个与行列数目完全一致的自学习邻接矩阵BH，且BH初始化为0阵，该矩阵的元素全部为可训练参数，能够根据训练数据获得中不存在的连接关系，则最终用于特征提取的邻接矩阵为其中β为一个可学习参数，初始值为0，保证训练前期骨架连接关系偏向于先验邻接矩阵，训练后期骨架连接关系偏向于自学习的邻接矩阵，从而能够得到更优的邻接矩阵，即得到更合理的骨架连接关系，有效提高模型的分类性能；5对待检测视频的每一帧进行乘客骨架提取并跟踪，将得到的所有乘客的骨架序列送入训练好的改进2S-AGCN网络进行行为分类，并根据连续的多个骨架序列识别结果得到最终的乘客行为类别。

全文数据：

权利要求：

百度查询： 华南理工大学;华南理工大学珠海现代产业创新研究院 一种基于深度学习的扶梯乘客危险行为识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD