申请/专利权人：华南理工大学;人工智能与数字经济广东省实验室(广州)

申请日：2024-02-29

公开（公告）日：2024-04-02

公开（公告）号：CN117809354A

主分类号：G06V40/16

分类号：G06V40/16;G06N3/0442;G06N3/045;G06N3/0464;G06V10/80;G06V10/82;A61B5/16;A61B5/00

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.19#实质审查的生效;2024.04.02#公开

摘要：本发明涉及情感识别技术领域，具体提供了一种基于头部可穿戴设备感知的情感识别方法、介质及设备；其中，方法包括佩戴者情感识别方法，步骤为：采集佩戴者的多模态情感数据；采用局部融合情感识别网络进行处理：左眼输入和右眼输入进行深度卷积；左下脸部输入和右下脸部输入分别通过嵌入层将提取到的动作单元嵌入，然后与面部行为编码一起输入到空域图卷积中；采用多层感知机中进行空间映射，计算空间注意力和通道注意力后进行特征图融合得到情感特征；将情感特征进行融合，通过分类得到复合情感识别结果。该方法在局部多视角脸部数据中采用面部动作单元信息辅助情感感知，提升情感信息从佩戴者身体外观中投射的鲁棒性，提升情感判别精度。

主权项：1.一种基于头部可穿戴设备感知的情感识别方法，其特征在于：头部可穿戴设备包括：设备本体和设置在设备本体上的多模态数据采集装置；多模态数据采集装置包括用于分别采集佩戴者四个视角的图片和视频的四个摄像模块一；所述四个视角是指：左眼、右眼、左下脸部、右下脸部；基于头部可穿戴设备感知的情感识别方法，包括佩戴者情感识别方法；所述佩戴者情感识别方法包括如下步骤：步骤X1、采集佩戴者的多模态情感数据；佩戴者的多模态情感数据包括通过四个摄像模块一获取的图片数据一和视频数据一；图片数据一和视频数据一均包括四个视角数据；步骤X2、对佩戴者的多模态情感数据进行情感特征提取：对图片数据一和视频数据一，分别采用局部融合情感识别网络进行处理；其中，图片数据一分别以四个视角数据作为局部融合情感识别网络的四个视角输入；视频数据一分别对四个视角数据提取起始帧和峰值帧，作为局部融合情感识别网络的四个视角输入；所述四个视角输入在局部融合情感识别网络中的处理方式是：左眼输入和右眼输入进行深度卷积以提取局部视角特征；左下脸部输入和右下脸部输入分别通过嵌入层将提取到的动作单元嵌入，然后与面部行为编码FACS一起输入到空域图卷积中以提取局部视角特征；将四个视角输入提取得到的局部视角特征同时输入到多层感知机中进行空间映射，计算空间注意力和通道注意力后进行特征图融合，得到最终的情感特征；步骤X3、将步骤X2得到的情感特征进行融合，通过分类得到复合情感识别结果。

全文数据：

权利要求：

百度查询： 华南理工大学;人工智能与数字经济广东省实验室(广州) 基于头部可穿戴设备感知的情感识别方法、介质及设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD