申请/专利权人：广东工业大学

申请日：2021-04-21

公开（公告）日：2023-08-08

公开（公告）号：CN113312966B

主分类号：G06V40/20

分类号：G06V40/20;G06V20/40;G06V10/80;G06V10/82;G06N3/045;G06N3/0455;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2023.08.08#授权;2021.09.14#实质审查的生效;2021.08.27#公开

摘要：本发明公开了一种基于第一人称视角的动作识别方法及装置，其方法包括：获取待处理RGB视频帧；待处理RGB视频帧包含基于第一人称视角的手部动作图像信息；将所有待处理RGB视频帧输入到预先训练的HOPE‑Net深度神经网络，得到对应的手部关节点位置信息；从所有待处理RGB视频帧中挑选预定数量的目标RGB视频帧，并输入I3D模型中识别，得到对应的视频帧特征；将手部关节点位置信息输入AGCN模型，得到对应的位置信息特征；将视频帧特征和位置信息特征一一对应融合，得到识别动作指令的概率。将视频帧依次进行手骨骼关节提取，RGB和骨骼动作特征提取，最后进行特征融合得到动作指令概率，从而摆脱对外部硬件设备的依赖，并且对于光照和场景变化有强鲁棒性。

主权项：1.一种基于第一人称视角的动作识别方法，其特征在于，包括：获取待处理RGB视频帧；所述待处理RGB视频帧包含基于第一人称视角的手部动作图像信息；将所有所述待处理RGB视频帧输入到预先训练的HOPE-Net深度神经网络，得到对应的手部关节点位置信息；从所有所述待处理RGB视频帧中挑选预定数量的目标RGB视频帧，并输入I3D模型中识别，得到对应的视频帧特征；将所述手部关节点位置信息输入AGCN模型，得到对应的位置信息特征；将所述视频帧特征和所述位置信息特征一一对应融合，得到识别动作指令的概率；所述HOPE-Net深度神经网络包括：ResNet10网络和自适应图U-Net网络；将所有所述RGB视频帧输入到预先训练的HOPE-Net深度神经网络，得到对应的手部关节点位置信息，包括：通过ResNet网络对所有所述RGB视频帧进行编码和预测，得到多个对应的目标平面直角坐标点；将多个所述目标平面直角坐标点输入自适应U-Net网络，得到所述RGB视频帧对应的手部关节点位置信息；通过ResNet网络对所有所述RGB视频帧进行编码和预测，得到多个对应的目标平面直角坐标点，包括：对所有所述RGB视频帧进行编码，得到编码后的视频帧；对所有所述编码后的视频帧进行预测，得到对应的初始平面直角坐标点；将所有所述初始平面直角坐标点和对应的RGB视频帧进行卷积，得到目标平面直角坐标点；将所述视频帧特征和所述位置信息特征一一对应融合，得到识别动作指令的概率，包括：通过预先建立的关系图卷积网络，分析所述视频帧特征和所述位置信息特征的距离关系，并基于所述距离关系创建每一个所述视频帧特征与每一个位置信息特征的连接；分别将所述视频帧特征和所述位置信息特征输入卷积网络，得到卷积后的视频证特征和卷积后的位置信息特征；将处于同一连接的卷积后的视频证特征和卷积后的位置信息特征融合，得到融合后的信息特征输入全连接层网络，得到所述识别动作指令的概率。

全文数据：

权利要求：

百度查询： 广东工业大学 一种基于第一人称视角的动作识别方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD