申请/专利权人：吉林大学

申请日：2024-01-15

公开（公告）日：2024-03-26

公开（公告）号：CN117576784B

主分类号：G06V40/20

分类号：G06V40/20;G06N3/0442;G06N3/045;G06N3/0464;G06N3/08;G06V10/764;G06V10/80;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.03.26#授权;2024.03.08#实质审查的生效;2024.02.20#公开

摘要：一种融合事件和RGB数据潜水员手势识别方法及其系统，涉及水下计算机视觉的技术领域。解决现有潜水员手势识别方法单独依赖视觉信息会存在局限性，如准确性低和鲁棒性差的问题。采用事件相机采集多样化的潜水员手势视频，转化成事件序列和RGB帧，并构建基准数据集；将事件序列数据映射到三维网格，采用多维特征表示；采用滑动窗口处理所述RGB帧，针对每个窗口内进行局部处理获得RGB特征；采用MLP编码事件和RGB特征，得到多模态融合的信息表达；采用预训练的ResNet3D18和EGRU单元构成手势识别模型对融合后的特征进行训练，最终输出潜水员手势的准确类别。本发明适用于潜水员工作时的信息交互和信息传递。

主权项：1.一种融合事件和RGB数据潜水员手势识别方法，其特征在于，所述方法为：S1、采用事件相机采集多样化的潜水员手势视频，将所述潜水员手势视频转化成事件序列和RGB帧，并根据所述事件序列和RGB帧构建基准数据集；S2、将事件序列数据映射到三维网格，每个体素通道编码特定事件信息，将事件数据采用多维特征表示；S3、采用滑动窗口处理所述RGB帧，针对每个窗口内进行局部处理获得RGB特征；S4、采用MLP编码多维特征表示的事件数据和RGB特征，获得多模态融合的特征；S5、采用预训练的ResNet3D18和EGRU单元构建手势识别模型；S6、采用所述手势识别模型对所述多模态融合的特征进行训练，获得潜水员手势的准确类别；所述步骤S6具体为：S61、采用手势识别模型中的ResNet3D18模型对所述多模态融合的特征进行特征提取，获得提取后的特征；S62、采用手势识别模型中的EGRU单元处理所述提取后的特征；S63、通过对处理后的特征进行训练，建立潜水员手势与其对应类别之间的联系网络；S64、根据所述联系网络对潜水员手势进行分类识别。

全文数据：

权利要求：

百度查询： 吉林大学 一种融合事件和RGB数据潜水员手势识别方法及其系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD