申请/专利权人：山东大学

申请日：2024-02-01

公开（公告）日：2024-04-23

公开（公告）号：CN117671738B

主分类号：G06V40/10

分类号：G06V40/10;G06V40/20;G06V20/40;G06V10/44;G06V10/764;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2024.03.26#实质审查的生效;2024.03.08#公开

摘要：本发明涉及一种姿态识别系统，具体地说，涉及基于人工智能的人体姿态识别系统。其包括肢体动作捕捉单元基于深度感知模块捕捉肢体动作变化，获取包含肢体深度信息的视频流；数据帧采集单元用于将连续的视频流分割成单个独立的数据帧；识别输出单元基于骨骼空间特征模型，根据骨骼节点的三维信息判断人体姿态。引入深度信息实现二维坐标向三维坐标的转换，得到骨骼节点的三维坐标信息，提高骨骼节点定位的精度，使动作捕捉、行为分析具有更高的精度，将历史帧的骨骼节点信息纳入当前帧骨骼节点的特征向量中，反映骨骼关节在时间序列上的运动轨迹和速度变化，从而更准确地描述和理解复杂的时空动作模式，有效提升模型对动作识别和理解的能力。

主权项：1.基于人工智能的人体姿态识别系统，其特征在于：包括肢体动作捕捉单元（1），所述肢体动作捕捉单元（1）基于深度感知模块捕捉肢体动作变化，获取包含肢体深度信息的视频流；数据帧采集单元（2），所述数据帧采集单元（2）用于将连续的视频流分割成单个独立的数据帧；骨骼节点提取模块（3），所述骨骼节点提取模块（3）基于OpenPose模型从数据帧中提取骨骼节点信息，并通过肢体深度信息对骨骼节点信息进行三维重建，得到骨骼节点的三维信息；识别输出单元（4），所述识别输出单元（4）基于骨骼空间特征模型，根据骨骼节点的三维信息判断人体姿态；所述骨骼节点提取模块（3）中，骨骼节点的三维信息构建的具体步骤为：S1.1、基于OpenPose模型得到数据帧中的某一个骨骼节点信息二维坐标;S1.2、通过深度感知模块，获得二维坐标为的骨骼节点对应的深度值Z，以及深度感知模块的焦距F（，）和光心坐标C;S1.3、将二维坐标为进行三维坐标映射；所述S1.3中，三维坐标的映射表达式为： ；其中，表示三维骨骼节点坐标；表示神经网络模型；表示模型的参数；使用均方误差作为损失函数： ；其中，表示训练样本的数量；表示第个样本的相机坐标系下的三维骨骼节点坐标；表示第个样本；考虑深度感知模块内参数对坐标变换的影响，并将深度感知模块的焦距F和光心坐标C参数引入至损失函数：则优化后的损失函数为： ；其中，表示旋转矩阵；表示平移向量；表示将相机坐标系下的三维骨骼节点坐标，进行旋转和平移变换，得到相应的世界坐标系下的坐标；表示平衡原有坐标预测误差与相机参数误差之间权重的系数；表示针对相机参数和的损失项；则三维坐标的映射表达式更新为： ；其中，表示深度感知模块的焦距；表示光心坐标；并使用梯度下降算法最小化损失函数，更新模型参数，则梯度下降的更新规则为： ；其中，表示使用训练数据训练得到的最优参数值；表示学习率；表示损失函数关于的梯度；给定一个新的二维坐标和深度值，通过向前传播计算网络输出，得到对应的三维骨骼节点坐标的预测值： ；其中，表示三维骨骼节点坐标的预测值；表示新的相机焦距；表示新的相机平心坐标；表示经过训练得到的最优神经网络模型的最优参数值；所述识别输出单元（4）包括匹配模块，匹配模块用于将模型输出的特征向量与数据库中存储的模板特征进行比较，找出最接近的真实姿态标签，其中，所述识别输出单元（4）中骨骼空间特征模型的构建步骤为：S2.1、将骨骼节点提取模块（3）收集的包含骨骼节点的三维信息，作为训练数据，并将三维信息标记相应的人体姿态标签，构建动捕数据库；S2.2、从原始骨骼节点坐标中构建特征向量，并引入时空特征；S2.3、基于训练数据构建并训练三维骨骼空间特征模型；S2.4、将预处理后的训练数据输入三维骨骼空间特征模型进行训练，通过损失函数优化参数；S2.5、训练得到的三维骨骼空间特征模型通过匹配模块实现人体姿态的实时识别；所述S2.1中，动捕数据库包括骨骼节点的三维信息库、人体姿态标签库；其中，骨骼节点的三维信息库包括骨骼节点的坐标、方向和角度信息；人体姿态标签库包括动作标签、姿势标签和动作序列标签；所述S2.2中，令对于所有骨骼节点的集合为，则表示两个节点间的欧几里得距离函数，则骨骼连接关系集合为： ；对于骨骼节点，其邻域集合为，则邻域集合具体为： ；其中，表示存在；表示三维骨骼节点坐标；表示与连接的三维骨骼节点坐标；构建骨骼节点的特征向量： ；其中，表示骨骼节点的坐标信息；表示邻域节点的数量；表示邻域节点的平均方向；表示邻域内关节的平均角度变化；表示骨骼节点的特征向量；引入时空特征后，骨骼节点的特征向量为： ；其中，表示引入时空特征后的骨骼节点的特征向量；表示数据帧中先前帧的骨骼节点信息；所述S2.3中，三维骨骼空间特征模型为： ；其中，表示骨骼节点的输出特征向量；表示骨骼节点属于骨骼节点的邻域；表示与骨骼节点相连的邻域节点；表示引入时空特征后的连接和的边上的特征向量；表示输入特征向量；表示权重；为归一化项。

全文数据：

权利要求：

百度查询： 山东大学 基于人工智能的人体姿态识别系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD