申请/专利权人：东北大学

申请日：2020-12-29

公开（公告）日：2024-04-09

公开（公告）号：CN112633209B

主分类号：G06V40/20

分类号：G06V40/20;G06V20/40;G06V10/44;G06V10/764;G06V10/80;G06V10/82;G06N3/042;G06N3/045;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2021.04.27#实质审查的生效;2021.04.09#公开

摘要：本发明公开了一种基于图卷积神经网络的人类动作识别方法，准备人类动作视频数据，并进行标注，并根据不同种类的动作对视频标签进行标注；使用openpose姿态估计算法对人类动作视频数据进行骨骼关键点特征的提取，然后通过骨骼点主流网络计算相邻帧骨骼关键点变化速度并进行特征拼接；对骨骼关键点进行筛选并通过角度分支网络计算筛选的骨骼关键点的夹角并进行特征拼接；将拼接好的数据传入图神经网络；将图卷积从空间域扩展到时间域；使用一个交叉注意力模型来增强网络的性能；人类动作识别。本发明能够将输入的视频中的人类所表现的动作识别出来并输出，并具有良好的易用性和鲁棒性，为人工智能技术在动作识别领域实际落地奠定一定的基础。

主权项：1.一种基于图卷积神经网络的人类动作识别方法，其特征在于，包括如下步骤：步骤1：准备人类动作视频数据，并进行标注，并根据不同种类的动作对视频标签进行标注；步骤2：使用openpose姿态估计算法对人类动作视频数据进行骨骼关键点特征的提取，然后通过骨骼点主流网络计算相邻帧骨骼关键点变化速度并进行特征拼接；对骨骼关键点进行筛选并通过角度分支网络计算筛选的骨骼关键点的夹角并进行特征拼接；步骤2.1：首先对视频进行裁剪，保证每个视频中人类位于视频中央；步骤2.2：使用openpose姿态估计算法进行人体骨骼关键点提取，对视频S取15个等分点S＝T1,...,T2,...,T3,...,T4,...,T5,...,T6,....,T15，将每个点的骨骼关键点数据保存下来，每次提取出18个骨骼关键点，分别代表人体的18个部位，将单帧视频的长度设置为L，视频宽度设为W，对提取的骨骼关键点坐标进行归一化处理，用Tn表示第n帧的骨骼关键点数据，那么归一化后的Tn： 其中xn为第n个骨骼关键点的横坐标，yn为第n个骨骼关键点的纵坐标，Tn即为归一化后的第n帧的骨骼关键点坐标；步骤2.3：计算相邻帧关键点变化速度，速度Vn：Vn＝x1n-x1n-1,y1n-y1n-1,x2n-x2n-1,y2n-y2n-1,...,x18n-x18n-1,y18n-y18n-1；其中x和y的具体意义与步骤2.2中相同；获得速度V之后进行特征拼接，拼接后的总特征Dn：Dn＝CancateTn,T′n,Vn；其中Tn和T′n分别表示在n时刻侧面和前面获得的归一化骨骼关键点坐标，Cancate函数表示对括号内变量进行拼接；步骤2.4：对openpose提取的的骨骼关键点进行筛选，保存左膝盖、右膝盖、左腰、右腰、左肩膀、右肩膀、左手肘、右手肘；步骤2.5：计算夹角：1膝盖： 2腰： 3肩膀： 4手肘： 步骤3：将拼接好的数据传入图神经网络；步骤4：将图卷积从空间域扩展到时间域；步骤5：使用一个交叉注意力模型来增强网络的性能；步骤5.1：交叉注意力通过骨骼关节角度网络分支的特征图来增强主网络流的表达能力，其公式为：fattention＝1+Attention*fout；步骤5.2：Attention的计算方法为：Attention＝gfself,fcross*fout其中fself是主网络输出特征图的自注意力权重，fcross为关节角度和主网络数据的交叉注意力权重，二者相加为主网络特征图增加权重，其中g表示将二者维度变换到fout的维度并相加，其中fcross为： 其中vT,N,d为主网络特征图，其中N为主网络数据骨骼关节点的数量，d表示每个关节点的特征维度；aT,k,m为关节角度网络特征图，k表示骨骼关节角度数据的关节数量，m为其维度；步骤6：构建由九个时空卷积模块加全局池化层，和Softmax层组成的图卷积神经网络，全局池化层作用为对图结构中的节点特征进行汇总，以将节点级的特征升级为图级别的特征，再通过Softmax层输出人类动作视频中人的动作编号。

全文数据：

权利要求：

百度查询： 东北大学 一种基于图卷积神经网络的人类动作识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD