首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明公布】一种基于ViT和ST-GCN的红外人体行为识别方法_北京理工大学珠海学院_202410162481.X 

申请/专利权人:北京理工大学珠海学院

申请日:2024-02-05

公开(公告)日:2024-05-14

公开(公告)号:CN118038550A

主分类号:G06V40/20

分类号:G06V40/20;G06V10/80;G06V20/40;G06N3/0464;G06N3/08;G06V10/764;G06F17/16;G06F17/18

优先权:

专利状态码:在审-实质审查的生效

法律状态:2024.05.31#实质审查的生效;2024.05.14#公开

摘要:本发明提供一种基于ViT和ST‑GCN的红外人体行为识别方法,其包括获取红外视频数据;构建Lite‑ViTAPose姿态估计模块,利用Lite‑ViTAPose姿态估计模块提取红外视频中每一帧的人体姿态,将提取到的人体姿态经过处理、转换形成骨骼序列,作为网络输入;其中,Lite‑ViTAPose姿态估计模块包括基于多尺度特征融合的MobileViT模块和基于残差双头注意力机制的多人姿态估计器DAs‑MPPE;构建2s‑ViTGCN行为估计模块,基于输入的骨骼序列,利用2s‑ViTGCN提取该骨骼序列的时空特征,从而识别出人体的动作;其中,2s‑ViTGCN行为估计模块包括双流神经网络、ViTGCN块以及ViTGCN层。本发明将Lite‑ViTAPose模块和2s‑ViTGCN行为估计模块结合进行红外人体行为识别,有效克服了现有红外人体行为识别技术中存在的弊端。

主权项:1.一种基于ViT和ST-GCN的红外人体行为识别方法,其特征在于,该方法包括以下步骤:获取红外视频数据;构建Lite-ViTAPose姿态估计模块,利用Lite-ViTAPose姿态估计模块提取红外视频中每一帧的人体姿态,将提取到的人体姿态经过处理、转换形成骨骼序列,作为网络输入;其中,所述Lite-ViTAPose姿态估计模块包括基于多尺度特征融合的MobileViT模块和基于残差双头注意力机制的多人姿态估计器DAs-MPPE;构建2s-ViTGCN行为估计模块,基于输入的骨骼序列,利用2s-ViTGCN提取该骨骼序列的时空特征,从而识别出人体的动作;其中,所述2s-ViTGCN行为估计模块包括双流神经网络、ViTGCN块以及ViTGCN层。

全文数据:

权利要求:

百度查询: 北京理工大学珠海学院 一种基于ViT和ST-GCN的红外人体行为识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。