申请/专利权人：东莞理工学院;东莞城市学院

申请日：2022-06-15

公开（公告）日：2024-04-05

公开（公告）号：CN115100740B

主分类号：G06V40/20

分类号：G06V40/20;G06V20/40;G06V10/80;G06V10/774;G06V10/82;G06V10/56;G06N3/0464;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2022.10.14#实质审查的生效;2022.09.23#公开

摘要：本发明提供了一种人体动作识别和意图理解方法、终端设备及存储介质，方法包括：建立基于非局部特征学习的视频序列时空信息的表示方法；设计能够实现多模态视频序列中层语义特征提取的卷积神经网络，利用注意力机制和跨模态特征交互学习策略对语义特征进行一致互补融合学习；在单动作识别模型基础上，进行动作多特征融合识别。本发明设计了多模态底层时空信息表示、动作判别性特征学习、动作序列识别和意图理解方法，可丰富人工智能领域中对人体行为理解的算法体系，可模块后的集成到现有的智能监控、人机交互等行业领域。

主权项：1.一种人体动作序列识别与意图理解方法，其特征在于，包括：S1、建立基于非局部特征学习的视频序列时空信息的表示方法；S2、设计能够实现多模态视频序列中层语义特征提取的卷积神经网络，并利用注意力机制和跨模态特征交互学习策略对语义特征进行一致互补融合学习；所述S2包括：S21、通过非局部优化来对视频图像序列进行底层时空信息表示；S22、通过多流基网络分别对视频图像序列进行不同模态的中层判别语义特征的优化学习；S23、对视频图像序列进行高层语义特征融合学习，所述高层语义特征融合表示为： 其中为可学习的卷积核，表示高层语义特征的顺序联结，为特征学习函数；S3、在单动作识别模型基础上，进行动作多特征融合识别；所述S3包括：S31、设计多流网络模型分别进行单一动作的特征学习和识别，设计路由学习模块来学习序列动作的中层语义逻辑关联特征；其中，在所述路由学习模块中，将多动作中层语义特征降维和重定向到各动作信息流，利用卷积优化和残差学习机制，将信息流描述为: 其中和表示序列动作的中层语义信息，为多任务特征关联信息的调整系数，为交叉特征学习；从所述信息流中学习到的动作序列逻辑关联特征表示为: 其中表示特征流融合学习，完成各动作类别的判别后，将多标签和多流特征信息进行全局重定向关联学习；S32、对其序列动作高层语义特征进行非局部优化融合学习。

全文数据：

权利要求：

百度查询： 东莞理工学院;东莞城市学院 一种人体动作识别和意图理解方法、终端设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD