申请/专利权人：东南大学

申请日：2021-06-07

公开（公告）日：2024-04-16

公开（公告）号：CN113723163B

主分类号：G06V40/20

分类号：G06V40/20;G06V10/774;G06V10/82;G06F18/214;G06N3/0455;G06N3/044

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.12.17#实质审查的生效;2021.11.30#公开

摘要：本发明首先提供了利用离散姿态学习物理约束的手部运动自监督重建方法，基于关键帧技术的编码器‑解码器手部运动重建深度学习网络架构，包括以下单元：单帧手部姿态估计单元，其对于视频序列进行逐帧的手部姿态估计；运动序列编码单元，其作用在于从上述逐帧检测结果中提取能够描述手部运动的关键姿态列表，而冗余的或包含高频抖动的姿态帧被舍弃；运动序列解码单元，其作用在于根据上述关键姿态列表，重建出和原始视频序列描述一致的手部运动。

主权项：1.利用离散姿态学习物理约束的手部运动自监督重建方法，具体步骤如下，其特征在于：利用离散姿态学习物理约束的手部运动自监督重建方法的手部运动重建深度学习网络架构基于关键帧技术的编码器-解码器，包括以下单元：单帧手部姿态估计单元，其对于视频序列进行逐帧的手部姿态估计；运动序列编码单元，其作用在于运动序列编码单元以逐帧检测结果作为输入，从原始姿态序列中提取代表整个运动的关键姿态列表，而冗余的或包含高频抖动的姿态帧被舍弃；运动序列解码单元，其作用在于根据上述关键姿态列表，重建出和原始视频序列描述一致的手部运动；步骤1.借助物理引擎的指导，运动序列解码单元被训练掌握由离散的手部姿态生成整个运动轨迹的过程；步骤S110，输入为包含离散手部姿态的单视角彩色图像序列，这一序列既可以是由单个相机在连续时间段内捕获的一段手部运动，也可以是不同时刻、不同场景下的手部姿态帧拼接得到的序列；步骤S120，对上述图像序列逐帧姿态估计，得到原始姿态序列；步骤2.利用训练好的运动序列解码单元，运动序列编码单元以加入噪声和扰动的解码单元输出作为输入，学习从这一包含噪声的合成运动序列中，提取关键姿态列表，关键姿态列表的监督信号使用运动序列解码单元的输入；步骤3.将步骤1训练好的运动序列解码单元串联在步骤2训练好的运动序列编码单元之后，使用真实序列数据，对整个网络进行微调训练，使得整个网络更鲁棒的从真实视频序列中抽取关键特征。

全文数据：

权利要求：

百度查询： 东南大学 利用离散姿态学习物理约束的手部运动自监督重建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD