申请/专利权人：北京工业大学

申请日：2021-05-19

公开（公告）日：2024-04-05

公开（公告）号：CN113239824B

主分类号：G06V40/20

分类号：G06V40/20;G06V10/82;G06N3/045;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2021.08.27#实质审查的生效;2021.08.10#公开

摘要：本发明涉及一种基于3D‑Ghost模块的多模态训练单模态测试的动态手势识别方法，用于解决多模态训练单模态测试的动态手势识别问题，具体利用RGB数据和深度数据训练整体网络，整体网络采用并行双通道协作学习的结构，旨在通过不同模态网络之间传递知识来改善学习过程，通道m用于通过RGB数据识别动态手势，通道n用于通过深度数据识别动态手势；训练完成后，将RGB数据输入通道m进行动态手势识别，或者将深度数据输入通道n进行动态手势识别；其中通道采用I3D网络并对其进行改进，改进之处在于增加了注意力模块，部分3D卷积层替换为3D‑Ghost模块，对所有Inception‑V1子模块进行改进。

主权项：1.一种基于3D-Ghost模块的多模态训练单模态测试的动态手势识别方法，其特征在于：本方法利用RGB数据和深度数据训练整体网络，整体网络采用并行双通道协作学习的结构，旨在通过不同模态网络之间传递知识来改善学习过程，双通道网络结构相同，参数不共享，通道m用于通过RGB数据识别动态手势，通道n用于通过深度数据识别动态手势；训练完成后，将RGB数据输入通道m进行动态手势识别，或者将深度数据输入通道n进行动态手势识别；其中通道采用I3D网络并对其进行改进，I3D网络依次包括第一3D卷积层、第一3D最大池化层、第二3D卷积层、第三3D卷积层、第二3D最大池化层、第一Inception-V1子模块、第二Inception-V1子模块、第三3D最大池化层、第三至七Inception-V1子模块、第四3D最大池化层、第八、九Inception-V1子模块、平均池化层以及第四3D卷积层，改进之处在于：在第一和第三3D卷积层后分别增加了注意力模块，第二3D卷积层替换为3D-Ghost模块，对所有Inception-V1子模块进行改进；设计的3D-Ghost模块的工作过程如下：首先，用一次三维卷积生成m个固有特征图Y′∈RT′×h′×w′×m，Y′＝X*f′其中f′∈Rc×k×k×k×m是所使用的滤波器，m≤n，其次，为了进一步获得所需的n个特征图，对Y′中的每个固有特征图应用一系列线性运算，以生成s个ghost幻影特征图，具体如下： 其中y′i是Y′中的第i个固有特征图，Φi，j表示为y′i生成第j个幻影特征图yij的线性运算，也就是说，y′i具有一个或多个幻影特征图且最后一个Φi，s表示固有映射，用于保留固有特征图，最终获得n＝m·s特征图Y＝[y11，y12，…y1s，...，ym1，ym2...，yms]作为3D-Ghost模块的输出数据；其中，注意力模块工作过程如下：将注意力模块之前的三维卷积层输出的C×T×W×H的特征图F分别进行一个通道维度的平均池化和最大池化，得到两个T×W×H×1的通道描述，并将这两个描述按照通道拼接在一起，然后再经过与该注意力模块前一层相同的三维卷积层和激活函数Sigmoid，得到权重系数MF； 其中σ是Sigmod函数，fd×d×d表示注意力模块之前的三维卷积层，Favg和Fmax分别是平均池化和通道池化的通道描述，最后将原特征图F和权重系数MF进行逐元素相乘，得到注意力加权的新特征F*； 对Inception-V1子模块的改进具体如下：Inception-V1子模块包括四路并行支路，第一路为一个三维卷积层，第二、三路结构相同，为前后两个三维卷积层的串联结构，第四路为一个3D最大池化层和一个3D卷积层的串联结构，改进之处在于将第二、三路中前一个三维卷积层改为3D-Ghost模块，在第二、三路中分别增加一个注意力模块，具体位于第二、三路中后一个三维卷积层之后，将第四路中的三维卷积层改为3D-Ghost模块。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于3D-Ghost模块的多模态训练单模态测试的动态手势识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD