申请/专利权人：昆明理工大学

申请日：2023-10-23

公开（公告）日：2024-04-19

公开（公告）号：CN117332317B

主分类号：G06F18/241

分类号：G06F18/241;G06F18/213;G06F18/25;G06N3/045;G06N3/0442;G06N3/082

优先权：

专利状态码：有效-授权

法律状态：2024.04.19#授权;2024.01.19#实质审查的生效;2024.01.02#公开

摘要：本发明涉及情感识别技术领域，且公开了一种注意力残差网络结合LSTM的EEG情绪识别方法，包括数据收集读取模块、网络模型读取运算模块以及数据试验模块，网络模型包括有三个模块，分别为ECA模块、ECA‑ResNet模块和LSTM模块。该注意力残差网络结合LSTM的EEG情绪识别方法通过将残差网络与注意力机制结合起来，有效的提取出了脑电信号中频率、空间，维度中与脑电信号中情绪识别相关的深度信息，然后将所提取到的深度信息通过LSTM，网络提取其中的时间维度信息，并进行最终的分类，在DEAP数据集唤醒维和效价维二分类准确率分别达到了97.15％和96.13％，唤醒－效价维四分类准确率达到了95.96％，SEED数据集积极－中性－消极三分类准确率达到96.64％。

主权项：1.一种注意力残差网络结合LSTM的EEG情绪识别方法，其特征在于：包括数据收集读取模块、网络模型读取运算模块以及数据试验模块；所述数据收集读取模块通过读取数据库中的原始脑电信号，将数据根据时域进分成N段，通过公式对特征值hX的微分熵进行计算，将读取的信号特征将其对应的坐标映射到二维空间矩阵中同时设置二维特征图的高h和宽w，之后将不同频段d的二维特征图进行堆叠，生成三维特征矩阵，之后根据N段原始脑电信号进行对应生成四维特征矩阵R，将每个输入的样本Sn存储到四维特征矩阵RN*d*h*w中，在数据收集读取模块生成的四维特征矩阵后，将数据传递至网络模型读取运算模块中；所述网络模型读取运算模块建立网络模型，网络模型包括有三个模块，分别为ECA模块、ECA-ResNet模块和LSTM模块，所述ECA模块通过使用一种不降维的局部跨信道交互策略，来计算局部跨信道交互的覆盖率k，根据公式计算出注意力权重P2，所述ECA-ResNet模块将残差网络结构通过输入的样本Sn得出输出样本Qn，所述LSTM模块结合数据收集读取模块中的四维特征矩阵RN*d*h*w以及ECA-ResNet模块中的输出样本Qn计算对应时间段脑电信号中的时空以及频率信息，并将数据发送到数据试验模块中；所述网络模型读取运算模块进行读取运算的时候包括以下步骤：步骤一、网络输入，输入提取每段脑电信号微分熵的四维特征图；步骤二、频空信息提取，使用带有注意力机制的残差网络从每个时间切片信息中提取其频率和空间信息；步骤三、时间信息提取，使用LSTM网络从带有注意力机制的残差网络的输出中提取其间隐藏的动态时间信息；步骤四、使用全连接层进行最终情绪状态的分类；所述ECA模块中局部跨信道交互地覆盖率k的计算公式如下： 公式中|t|odd表示最接近t的奇数，C表示输入通道数，通道数C的值为4，γ表示的频段对应频率值，γ值设置有2，b的值设置为1；所述ECA模块的内部网络输入信号Pn∈RC*d*h*w，其中C、d、h、w分别代表四维特征图中的通道、频段、宽度、高度，通过去除时间和空间维度来对初始通道权值进行计算，计算公式如下： 其中，Fave,a表示初始通道权值第a个频率下的特征均值，PaC,w,h表示输入信号在第a个频率的特征矩阵中第C个通道内高为h，宽为w对应的值；所述ECA模块计算注意力权重P2计算公式如下：P2＝σfFave其中f表示的是一维卷积运算，σ为Sigmoid运算，Fave表示对初始通道中所有的频率进行卷积；所述ECA-ResNet模块在卷积层之后添加最大池化层包括有四个带有注意力机制的残差块，一个最大池化层以及一个全连接层，将输入的样本Sn转化最终输出Qn∈R512*2T，其中Qn＝q1,q2,q3…q2T，qt∈R512，t为当前时间标号；所述LSTM模块的时间信息通过ECA-ResNet模块进行隐藏，LSTM模块层间的计算公式如下；it＝σWi*[ht-1,qt]+bift＝σWf*[ht-1,qt]+bfgt＝tanhWc*[ht-1,qt]+bcCt＝ftCt-1+itgtot＝σWo*[ht-1,qt]+boht＝ottanhCt 其中t为当前时间标号，σ为Sigmoid函数，i,f,g,C,o,h分别代表着输入门，遗忘门，单元状态，激活状态，输出层以及单元隐藏状态，W表示不同下标对应的权重矩阵，Wc表示激活状态的权重矩阵，表示的是对应单元隐藏状态在输出层上的权重矩阵，b为偏执项，bc表示激活状态的偏执项，对于最后一层LSTM模块节点输出为yt∈R128，tanh表示双曲正切函数的缩写；所述数据试验模块读取网络模型读取运算模块中的计算数据通过准确率、精确率、召回率以及建立的模型性能的指标来对试验结果进行分析，并对分析结果附带上预测标签。

全文数据：

权利要求：

百度查询： 昆明理工大学 一种注意力残差网络结合LSTM的EEG情绪识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD