申请/专利权人：河北工业大学

申请日：2020-10-12

公开（公告）日：2024-04-05

公开（公告）号：CN112183430B

主分类号：G06V40/20

分类号：G06V40/20;G06V10/774;G06V10/82;G06N3/0464;G06N3/0442;G06N3/049;G06N3/045;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2021.01.22#实质审查的生效;2021.01.05#公开

摘要：本发明公开了一种基于双神经网络的手语识别方法及装置，该方法的步骤包括步骤1、采集手势图像；步骤2、设计SqueezeNet神经网络和双输入双向长短时记忆循环神经网络；SqueezeNet神经网络的每个Fire模块均包括squeeze压缩层和扩展层，squeeze压缩层的卷积核为1×1；扩展层包括一个1×1的卷积核和两个1×3和3×1的非对称卷积核，三个卷积核分别经过RELU层和BN层后再按照通道数进行拼接得到Fire模块的输出；双输入双向长短时记忆循环神经网络的双向LSTM模块的每个LSTM记忆块均包括遗忘门和输入门，输入门和遗忘门之和为1；步骤3、模型的训练。该方法利用静态语义和运动轨迹进行手语动作的动态语义识别，准确性好。

主权项：1.一种基于双神经网络的手语识别方法，其特征在于，该方法的步骤为：步骤1、采集手势图像使用摄像头分别采集各个手语动作的手势图像，每个手语动作采集一组图像，每组包含多帧手势图像；将得到的图像数据分为训练集和测试集；步骤2、设计SqueezeNet神经网络和双输入双向长短时记忆循环神经网络所设计的SqueezeNet神经网络包括依次连接的图像输入层、Conv1层、RELU层、BN层、八个Fire模块、第二卷积层、Globalavgepool层、softmax层和图像输出层，上一层的输出即为下一层的输入；BN层与Fire1模块之间、Fire3模块与Fire4模块之间以及Fire7模块与Fire8模块之间分别加入maxpool层；每个Fire模块均包括一个squeeze压缩层和一个扩展层，squeeze压缩层的卷积核为1×1；扩展层包括一个1×1的卷积核和两个1×3和3×1的非对称卷积核，三个卷积核分别经过RELU层和BN层后再按照通道数进行拼接，得到Fire模块的输出；所设计的双输入双向长短时记忆循环神经网络包括由两个双向LSTM模块构成的双向LSTM模型，两个双向LSTM模块的输出结果同时经过一个全连接层后得到双向LSTM模型的输出；双向LSTM模块的每个LSTM记忆块均包括遗忘门和输入门，输入门和遗忘门之和为1；步骤3、模型的训练3-1将步骤1的训练集输入到SqueezeNet神经网络进行训练，采用交叉熵损失函数计算训练损失并优化模型，得到优化后的SqueezeNet神经网络模型；将步骤1的验证集输入到优化后的SqueezeNet神经网络模型，然后重复网络模型训练和验证的操作，得到训练后的SqueezeNet神经网络模型；3-2将每个手语动作采集的所有图像按照采集顺序依次输入到训练后的SqueezeNet神经网络模型中，获得每张图像的特征坐标点以及每张图像对应的静态手势语义；将相邻两张图像的特征坐标点进行向量运算并进行归一化处理，得到单位向量，每组图像数据获得多个单位向量，并将这些单位向量在空间上依次连接起来，得到手语动作对应的手势运动轨迹；将得到的手势运动轨迹和静态手势语义分为训练集和验证集；3-3将步骤3-2训练集的手势运动轨迹及其对应的静态手势语义输入到双输入双向长短时记忆循环神经网络进行训练，采用交叉熵损失函数计算训练损失并优化模型，得到优化后的双输入双向长短时记忆循环神经网络模型；将步骤3-2的验证集的手势运动轨迹及其对应的静态手势语义输入到优化后的双输入双向长短时记忆循环神经网络模型，重复网络模型训练和验证的操作，得到训练后的双输入双向长短时记忆循环神经网络模型；3-4将每个手语动作的手势运动轨迹及其对应的静态手势语义输入到训练后的双输入双向长短时记忆循环神经网络模型中，进行动态手势语义匹配，得到识别结果；由此完成手语识别。

全文数据：

权利要求：

百度查询： 河北工业大学 一种基于双神经网络的手语识别方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD