申请/专利权人：合肥工业大学

申请日：2022-11-25

公开（公告）日：2024-04-19

公开（公告）号：CN115919313B

主分类号：A61B5/16

分类号：A61B5/16;G06F3/01;G06F18/2431;G06N5/01;A61B5/389;A61B5/397;A61B5/00

优先权：

专利状态码：有效-授权

法律状态：2024.04.19#授权;2023.04.25#实质审查的生效;2023.04.07#公开

摘要：本发明公开了一种基于时空特征的面部肌电情绪识别方法，其步骤包括：第一步，对于原始多通道面部肌电信号进行一系列预处理操作，具体步骤包括：滤波、归一化和样本分割；第二步，获取多通道面部肌电信号中的时空信息，并对其进行增强和提取时空特征，具体步骤包括：构建2D帧序列和多粒度扫描；第三步，构建级联森林分类器完成情绪分类任务。本发明从多通道面部肌电信号中提取出时空特征，并采用级联森林分类器在小样本数据集上完成了分类任务，从而能实现高效、准确的情绪识别，为基于面部肌电信号的情绪识别的实际应用提供了新的思路和解决方法。

主权项：1.一种基于时空特征的面部肌电情绪识别方法，其特征在于，包括以下步骤：步骤1：获取任一受试者的带有C个通道的面部肌电信号数据并进行滤波、归一化和分割样本的预处理，得到所述受试者的N个面部肌电信号样本S＝[S1,S2,...,Sn,...,SN]T；其中，Sn表示第n个面部肌电信号样本，且表示第n个面部肌电信号样本在第m个时刻的肌电数据，且表示在第m个时刻的肌电数据中来自第c个通道的数据；M表示面部肌电信号样本中的所有时刻；C表示通道数；步骤2：从面部肌电信号样本中提取时空特征；步骤2.1：构建2D帧序列，获取时空信息：按照面部肌肉群的空间位置分布，利用式1将第m个时刻的肌电数据映射成第m个平面矩阵从而得到M个平面矩阵： 将M个平面矩阵按照时间顺序依次拼接，从而得到第n个面部肌电信号样本Sn转换后的第n个2D帧序列步骤2.2：多粒度扫描处理2D帧序列，增强时空信息并提取时空特征：步骤2.2.1：采用多粒度扫描对第n个2D帧序列An中的第m个平面矩阵进行扫描处理，从而将第m个平面矩阵划分为H个子矩阵，其中，第h个子矩阵记为H＝[d-ωl+1]2，d表示平面矩阵的维数，ω表示扫描窗口的维数，l表示滑动扫描的步长；步骤2.2.2：将第m个平面矩阵的第h个子矩阵分别输入随机森林分类器和完全随机森林分类器中进行处理，并相应地输出随机森林类向量和完全随机森林类向量其中，表示随机森林分类器判断第h个子矩阵属于第k类情绪的概率，表示完全随机森林分类器判断第h个子矩阵属于第k类情绪的概率；k＝1,2,...,K，K表示情绪标签的类别数；步骤2.2.3：将和拼接形成第h个子矩阵的特征向量，再将H个子矩阵的特征向量拼接形成第m个平面矩阵的特征向量，之后再将M个平面矩阵的特征向量拼接形成第n个2D帧序列An的时空特征向量表示第n个2D帧序列An的第r个时空特征，R＝2K×H×M；步骤2.3：级联森林分类器对样本进行分类：步骤2.3.1：构建级联森林分类器：令级联森林分类器具有X层结构，每一层均包含：i个随机森林分类器和i个完全随机森林分类器，且每个森林分类器中的树木数量为j；令当前层为x，并初始化x＝1；令第n个面部肌电信号样本Sn的时空特征向量为第一层的输入，记为从训练集中划分出部分数据作为验证集，令第x-1层的验证精度为零；步骤2.3.2：训练级联森林分类器；步骤2.3.2.1：将输入级联森林分类器的第x层中，并由第x层的i个随机森林分类器和i个完全随机森林分类器分别处理，所产生的全部类向量拼接在一起后形成第x层的增强特征向量其中，表示第n个面部肌电信号样本Sn在第x层产生的第q个增强特征，Q＝2i×K；步骤2.3.2.2：将验证集输入级联森林分类器的第x层，用于计算第x层的验证精度；若第x层的验证精度大于x-1层的验证精度，则执行步骤2.3.2.3；否则，表示完成级联森林分类器的训练，并将当前第x层作为最后一层；步骤2.3.2.3：第x层的增强特征向量与时空特征向量拼接后，得到维数为r+q的第x+1层的输入并输入级联森林分类器的第x+1层进行处理，从而得到第x+1层的增强特征向量步骤2.3.2.4：将x+1赋值给x后，若x＞X，则表示得到第X层的增强特征向量否则，返回步骤2.3.2.1顺序执行；步骤2.3.3：训练后的级联森林分类器的预测：获取所述受试者的第t个面部肌电信号样本作为待预测样本St并输入训练后的级联森林分类器中进行处理，由级联森林分类器的最后一层的i个随机森林分类器和i个完全随机森林分类器相应输出的全部类向量并取平均后，得到待预测样本St的类向量从而选取CVt中最大概率值所对应的类别作为预测样本St的预测类别，其中，表示待预测样本St属于第k类的概率。

全文数据：

权利要求：

百度查询： 合肥工业大学 一种基于时空特征的面部肌电情绪识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD