申请/专利权人：杭州电子科技大学

申请日：2021-01-28

公开（公告）日：2021-06-08

公开（公告）号：CN112926396A

主分类号：G06K9/00(20060101)

分类号：G06K9/00(20060101);G06N3/04(20060101);G06N3/08(20060101)

优先权：

专利状态码：有效-授权

法律状态：2022.05.13#授权;2021.06.25#实质审查的生效;2021.06.08#公开

摘要：本发明公开了一种基于双流卷积注意力的动作识别方法。本发明方法首先对视频做预处理获得帧图像序列与光流图像序列，并分别提取视频的外观特征表示与动作特征表示；然后构建卷积注意力模块获得帧图像和光流图像的注意力特征表示，并通过双流融合模块对两种注意力表示进行信息融合；接着训练利用卷积注意力机制和双流融合方法的动作识别模型，并根据该模型对预处理后的新视频输出其动作类别。本发明方法不仅利用通道注意力和时空注意力捕获视频动作内容的潜在模式和时空关系，还通过双流融合从全局角度对视频的外观特征与运动特征进行信息融合，有效缓解了视频长期时序依赖的时序信息缺失问题，提高了动作识别的准确度。

主权项：1.一种基于双流卷积注意力的动作识别方法，其特征在于，该方法首先获取包含动作类别标记的视频，然后进行以下操作：步骤1.对视频进行预处理，获得RGB帧图像序列VRGB和光流图像序列VFlow，分别提取视频的外观特征表示FRGB和运动特征表示FFlow；步骤2.构建卷积注意力模块，输入为外观特征表示FRGB和动作特征表示FFlow，输出为通道注意力张量和时空注意力张量，对特征表示分别进行加权获得外观注意力特征表示和运动注意力特征表示步骤3.构建双流融合模块C，输入为外观注意力特征表示和运动注意力特征表示输出为外观双流特征表示ZRGB和运动双流特征表示ZFlow；步骤4.训练由卷积注意力模块和双流融合模块组成的动作识别模型；将新视频进行预处理并输入至该模型，获得视频内容的动作类别，完成动作识别任务。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于双流卷积注意力的动作识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD