申请/专利权人：中国科学技术大学

申请日：2024-01-29

公开（公告）日：2024-04-16

公开（公告）号：CN117894080A

主分类号：G06V40/20

分类号：G06V40/20;G06V10/80;G06V10/764;G06V10/82;G06V10/40;G06N3/0464;G06N3/0455

优先权：

专利状态码：在审-公开

法律状态：2024.04.16#公开

摘要：本发明涉及一种基于事件流和图像序列特征融合网络的孤立手语词识别方法，较传统基于图像序列的孤立手语词识别方法，本发明能够有效提取并融合事件流和图像序列两种特征以提高孤立手语词识别准确率。本发明所涉及的特征融合网络具体包括空域特征提取模块和时序建模模块。空域特征提取模块负责将事件流和图像序列分别编码后，利用注意力机制进行特征融合，再对融合特征进行深层提取；时序建模模块负责在时间维度上学习上下文长期依赖关系。本发明能够结合事件流和图像序列特征的互补关系进行空域特征提取，同时有效建模时序特征，在识别准确率上优于传统基于图像序列的孤立手语词识别方法。

主权项：1.一种基于事件流和图像序列特征融合网络的孤立手语词识别方法，其特征在于，包括以下步骤：步骤1、根据图像序列的时间戳对孤立手语词事件流进行切片处理，得到多段事件流切片，将图像序列和事件流切片采样相同帧数，以体素网格形式表征事件流切片得到事件体素，将采样后的图像序列和事件体素输入空域特征提取模块；步骤2、空域特征提取模块包括事件编码器、图像编码器、注意力融合单元和深层特征提取单元；事件编码器对输入的事件体素进行浅层特征提取，图像编码器对输入的图像序列进行浅层特征提取，二者结构相同，分别得到事件浅层特征和图像浅层特征；将所述事件和图像浅层特征同时输入注意力融合单元用以捕捉浅层特征的空域相关性，得到融合特征；将所述融合特征送入深层特征提取单元，获得深层特征后输入时序建模模块；步骤3、时序建模模块包括特征投影单元、时序编码器；将所述深层特征在时间维度展开并输入特征投影单元，投影成词嵌入张量序列；在词嵌入张量序列头部添加一个分类标记并为该序列添加位置编码后，输入时序编码器以学习上下文长期依赖关系，获得具有全局注意力的分类标记；步骤4、将所述具有全局注意力的分类标记输入分类器，得到孤立手语词识别结果。

全文数据：

权利要求：

百度查询： 中国科学技术大学 基于事件流和图像序列特征融合网络的孤立手语词识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD