申请/专利权人：陕西师范大学

申请日：2022-06-06

公开（公告）日：2024-03-19

公开（公告）号：CN115099311B

主分类号：G06F18/241

分类号：G06F18/241;G06F18/213;G06F18/214;G06F18/25;G06N3/0464;G06N3/045

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2022.10.14#实质审查的生效;2022.09.23#公开

摘要：一种基于脑电时空频特征和眼动特征的多模态情绪分类方法，由获取脑电信号和眼动特征数据集、脑电信号数据集预处理、选取数据样本、增强脑电数据、脑电数据标准化、划分训练集和测试集以及验证集、构建三维卷积神经网络和深度神经网络、训练三维卷积神经网络和深度神经网络、多模态决策融合、测试网络性能步骤组成。本发明采用多模态方法从决策级融合层次将脑电信号和眼动信息两种模态进行融合，进行情绪分类；针对脑电信号数据集训练了三维卷积神经网络，针对眼动特征数据训练了深度卷积神经网络，将脑电信号在时间域、空间域和频率域特征三种特征进行融合，对脑电信号和眼动信息模态进行情绪分类，提高了情绪分类的准确率。

主权项：1.一种基于脑电时空频特征和眼动特征的多模态情绪分类方法，其特征在于它是由下述步骤组成：1获取脑电信号和眼动特征数据集从上海交通大学仿脑计算和机理实验室提供的多模态情绪脑电数据集SEED-V中选取一维脑电信号特征数据、眼动特征数据；2脑电信号数据集预处理将一维脑电信号特征数据通过二维的电极拓扑结构映射为三维脑电信号特征数据；3选取数据样本1选取脑电信号样本从三维脑电信号特征数据中选取脑电样本集S{s1，s2，...，sm}，m为样本数量，m∈[1，20]，脑电样本集S中每一个数据样本的维度为9×9×800；2选取眼动特征数据样本从眼动特征数据中选取眼动特征数据样本集合E{e1，e2，...，em}，眼动特征数据样本集合E中每一个数据样本的维度为1×594；4增强脑电数据采用滑动窗口方法扩展脑电信号数据集，该方法的窗口尺寸为4秒，窗口重叠为2秒；5脑电数据标准化将脑电样本集S按下式进行数据标准化s′： 其中为脑电数据的平均值，v为脑电数据的方差且不为0；6划分训练集和测试集以及验证集将脑电信号数据样本集S划分成脑电信号训练集、脑电信号验证集、脑电信号测试集，脑电信号训练集与脑电信号验证集、脑电信号测试集的划分比例为7:2:1；眼动特征数据样本集E划分成对应的眼动数据训练集、眼动数据验证集、眼动数据测试集，眼动数据训练集与眼动数据验证集、眼动数据测试集的划分比例为7:2:1；7构建三维卷积神经网络和深度神经网络1构建三维卷积神经网络三维卷积神经网络由第一三维卷积层C1与第一最大池化层M1、第二三维卷积层C2、第二最大池化层M2、第一全连接层F1、第二全连接层F2、激活函数Softmax层依次串联构成；2构建深度神经网络深度神经网络由第一全连接层FC1与第二全连接层FC2、第三全连接层FC3、第四全连接层FC4、第五全连接层FC5、激活函数Softmax层依次串联构成；8训练三维卷积神经网络和深度神经网络将脑电信号数据样本集S中的训练集输入到三维卷积神经网络，眼动特征数据样本集E中的训练集输入到深度神经网络中，进行网络训练，采用Adam优化方法更新神经网络的权重和偏置参数，损失函数使用类别交叉熵损失函数Loss： 其中，yi表示数据样本对应的真实标签，y′i表示数据样本的预测值；训练三维卷积神经网络时每次输入到神经网络的数据样本批量为16，训练深度神经网络时每次输入到神经网络的数据样本批量为32，训练至类别交叉熵损失函数Loss收敛；得到三维卷积神经网络和深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态的分类准确率P： 其中，TP表示预测正确的数据样本总数，FP表示预测错误的数据样本总数；9多模态决策融合采用多模态决策级融合方法对三维卷积神经网络和深度卷积神经网络的预测结果进行融合，得到情绪分类结果；所述的多模态决策级融合方法为：1将三维卷积神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类准确率P1：P1＝P11，P12，...，P15T深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类准确率P2：P2＝P21，P22，...，P25T2将分类准确率P1构成权重矩阵W1： 分类准确率P2构成权重矩阵W2： 3三维卷积神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类结果C1：C1＝c11，…，c15T深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类结果C2：C2＝c21,…,c25T4按下式确定多模态融合情绪分类的结果C： 5按下式确定最终的分类结果： 其中k为1～5整数；10测试网络性能将脑电信号测试集输入到训练好的三维卷积神经网络中进行测试，眼动数据测试集输入到训练好的深度神经网络中进行测试。

全文数据：

权利要求：

百度查询： 陕西师范大学 基于脑电时空频特征和眼动特征的多模态情绪分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD