申请/专利权人：南京航空航天大学

申请日：2019-12-26

公开（公告）日：2024-03-22

公开（公告）号：CN111144289B

主分类号：G06V40/20

分类号：G06V40/20;G06V20/40;G06V10/82;G06N3/0464;G06N3/0442

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2020.06.05#实质审查的生效;2020.05.12#公开

摘要：本发明公开了一种针对视频中复杂人类行为的识别方法，首先将视频平均分为K个片段，并利用视频拆帧算法将视频拆分成连续的RGB帧；然后从每个视频片段中随机抽取一个RGB帧输入特征提取网络提取特征；随后利用长短时记忆网络关联分段特征得到包含行为模式变化信息的特征，并将该特征与之前的静态特征相拼接得到既包含完整行为动态演变模式又包含行为外观信息的特征；最后将该特征输入分类器进行分类从而得到最终的行为识别结果。该方法通过关联复杂行为的上下文信息，可以准确的发掘视频中复杂行为的变化模式，能显著提升复杂行为的识别准确率。

主权项：1.一种针对视频中复杂人类行为的识别方法，其特征在于，包括以下步骤：1视频分段拆帧：将视频平均分为K个片段，并利将视频拆分成连续的RGB帧；2特征提取：从每个视频片段中随机抽取一帧RGB帧送入特征提取网络；3特征关联及特征拼接：将提取到的每个分段的特征输入长短时记忆网络以发掘这些特征之间的一个内在关联，并选取长短时记忆网络的最后一个时间步的输出作为关联之后的特征；对步骤2提取到视频每个分段的特征向量求平均，并将结果与特征关联模块的输出特征进行拼接；4分类：将步骤3得到的特征输入全连接层以及softmax分类器进行分类，最终得到识别结果；所述步骤2包括以下步骤：21利用现有的视频拆帧算法将视频的每个分段拆解为RGB帧；22从每个视频分段中随机抽取一个RGB帧作为视频中完整行为的一部分表示；步骤3所述的特征拼接实现过程如下：FAverage＝FT1，W+FT2，W+…+FTk，WKF＝ConcateFAverage，FLSTM at＝Γo*ctFLSTM＝a＜t其中，T1…Tk表示从视频的第K个片段中抽取的RGB图片，F表示从视频分段中提取到的视频特征，W表示特征提取网络的参数，FLSTM为关联之后的特征，FAerage为时间池化之后的特征，Concate表示将视频分段特征拼接，长短时记忆网络包含三个状态控制门:гu、гf、гo,分别对应更新门、遗忘门和输出门，tanh和б表示在长短时记忆网络中使用的激活函数，Wc、bc、Wu、bu、Wf、bf、Wo、bo表示LSTM的参数，at-1表示t-1时刻LSTM神经元的激活值，ct和ct-1分别表示t和t-1时刻的隐藏状态，t表示输入特征对应图片在视频中的位置，xt表示卷积神经网络提取到的t时刻图片的特征。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种针对视频中复杂人类行为的识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD