申请/专利权人：中国海洋大学

申请日：2022-12-08

公开（公告）日：2023-01-06

公开（公告）号：CN115578683A

主分类号：G06V20/40

分类号：G06V20/40;G06V40/20;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2023.04.28#授权;2023.01.24#实质审查的生效;2023.01.06#公开

摘要：本发明提供了一种动态手势识别模型的搭建方法及动态手势识别方法，模型的搭建方法包括以下步骤：获取动态手势视频的数据集，对获取的数据集进行预处理，首先把视频处理为一帧一帧的图像，并且把每帧图像裁剪为固定大小，然后对数据集进行标注并划分数据集；基于ConvNeXt网络结构，构建TS3C‑Net网络模型，并对模型进行训练；训练完成的网络模型进行测试，并选取准确率最高的模型；模型搭建完成后用于动态手势的识别。本发明首次把ConvNext用于手势识别领域，解决了3D动态手势识别中计算量过高以及识别率较低的问题，TS3C‑Net在实验数据集上的表现超过了最先进的方法。

主权项：1.一种动态手势识别模型的搭建方法，其特征在于，包括以下步骤：步骤1，获取动态手势视频的数据集，所述数据集针对不同的应用场景拍摄或下载获取；步骤2，对步骤1中获取的数据集进行预处理；首先把视频处理为一帧一帧的图像，并且把每帧图像裁剪为固定大小，然后对数据集进行标注，标注的信息包括动作从开始到结束分别是第几帧以及动作所属的分类，最后对标注完成的数据集划分训练集、验证集和测试集；步骤3，基于ConvNeXt网络结构，把ConvNeXtres层以及下采样层中所有的2D卷积核替换为3D卷积核，得到3D-ConvNeXt，其次在3D-ConvNeXt的基础上每个卷积块中加入一条小感受野的分支卷积，构建为TS3C-Net网络模型；将步骤2中预处理后的训练集和验证集输入到所述TS3C-Net网络模型中，首先对TS3C-Net网络模型进行参数初始化，对输入的分解为图像的视频流进行下采样，获取T帧作为网络输入，将输入的T帧图像分辨率调整到224×224，然后用角部裁剪和尺度抖动进行数据增强，模型输入的最终图像大小为N×T×3×224×224，其中N是批次大小，T是片段的数量；对TS3C-Net网络模型进行训练；用指数移动平均法EMA来减少网络过拟合，并且把EMA模型作为最终的测试模型；步骤4，使用测试集对步骤3中训练完成的TS3C-Net网络模型进行测试，选取EMA模型中验证准确率最高模型作为最终模型。

全文数据：

权利要求：

百度查询： 中国海洋大学 一种动态手势识别模型的搭建方法及动态手势识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD