申请/专利权人：成都信息工程大学

申请日：2023-08-16

公开（公告）日：2023-11-17

公开（公告）号：CN116756657B

主分类号：G06F18/2415

分类号：G06F18/2415;G06F18/25;G06F18/10;G06N3/0464;G06N3/0455;G06N3/047;G06N3/0499;G06N3/048;G06N3/084;G06F123/02

优先权：

专利状态码：有效-授权

法律状态：2023.11.17#授权;2023.10.03#实质审查的生效;2023.09.15#公开

摘要：本发明公开了一种基于CNN和Transformer的fNIRS脑力负荷检测方法，其包括获取fNIRS采集设备采集的原始数据，并对原始数据进行预处理得到氧合血红蛋白和脱氧血红蛋白浓度的信号和；对信号和进行一维卷积操作，并在通道维度上对卷积操作后的两个信号进行组合，得到组合信号Hb；采用卷积神经网络对组合信号Hb进行局部细粒度时间特征的提取，得到特征矩阵；采用Transformer模块对特征矩阵进行特征增强提取，得到状态特征；将状态特征输入多层感知机分类层，得到脑力负荷检测的分类结果。

主权项：1.基于CNN和Transformer的fNIRS脑力负荷检测方法，其特征在于，包括步骤：S1、获取fNIRS采集设备采集的原始数据，并对原始数据进行预处理得到氧合血红蛋白和脱氧血红蛋白浓度的信号和；S2、对信号和进行一维卷积操作，并在通道维度上对卷积操作后的两个信号进行组合，得到组合信号Hb；S3、采用卷积神经网络对组合信号Hb进行局部细粒度时间特征的提取，得到特征矩阵；S4、采用Transformer模块对特征矩阵进行特征增强提取，得到状态特征；S5、将状态特征输入多层感知机分类层，得到脑力负荷检测的分类结果；所述步骤S3进一步包括：S31、将组合信号Hb输入瓶颈层进行降维操作，之后输入三个不同核长度的一维卷积提取不同时间尺度的模式信息；S32、将组合信号Hb输入核长度为3、输入输出尺度不变填充的最大池化层，之后经过核长度为1的瓶颈层得到池化值；S33、将不同时间尺度的模式信息与池化值进行拼接，之后采用瓶颈层减少模型的参数；S34、对步骤S33中瓶颈层输出的数据进行批量归一化： 其中，为第l个维度的特征；μ为在当前批次中的均值；为在当前批次中的标准差；为常数；为进行批量归一化后的操作；S35、将批量归一化后的特征进行缩放和平移操作，得到特征矩阵： 其中，为缩放参数；为偏移参数；为第l个维度的批量归一化结果，所有维度的批量归一化结果构成特征矩阵；所述Transformer模块包括多头自注意力和前馈神经网络两个子层，每个子层后设置残差连接和层归一化，所述Transformer模块在开始时对特征矩阵添加位置嵌入PE和CLS标记，所述位置嵌入PE作为位置编码，CLS标记为块嵌入，其会经过Transformer编码器的所有层；所述多头自注意力对特征矩阵进行处理的方法包括：A1、将特征矩阵分别采用三个线性层进行线性变换得到查询向量矩阵Q、键值向量矩阵K、值向量矩阵V： ，，其中，、、均为可训练的线性变换参数矩阵；为特征矩阵；A2、计算查询向量矩阵Q、键值向量矩阵K的点积，得到相关性权重；A3、对相关性权重进行缩放、softmax操作，之后将softmax得到的权重与值向量矩阵V相乘，得到加权的值矩阵： 其中，、和分别为第m个自注意力的查询向量矩阵、键向量矩阵、值向量矩阵；h为多头自注意力中自注意力的总个数；为可训练的线性变换参数矩阵的特征维度；T为矩阵转置操作；为第m个自注意力的输出；为softmax操作；h为多头自注意力中自注意力的总个数；A4、对多个自注意力的输出进行拼接： 其中，MHSA为多个自注意力的输出的拼接结果；为第h个自注意力的输出；为可训练的参数矩阵；为矩阵连接操作；A5、将拼接结果输入线性层进行线性转换，得到多头自注意力模块的输出；所述残差连接和层归一化中的残差块的公式为： 其中，M为多头自注意力模块的输出；为残差映射；为残差块的输出；层归一化的计算公式为： 其中，为残差块的输出的均值；为残差块的输出的方差；为常数；γ和分别为可学习的缩放因子和偏移参数；为层归一化的结果；所述前馈神经网络的激活函数的公式为： 其中，为双曲正切函数；为激活函数；所述前馈神经网络为： 其中，为前馈神经网络的输出；和为两个线性层的权重矩阵；和为两个线性层的偏置；所述多层感知机分类层表示为： 其中，y为多层感知机分类层输出的脑力负荷检测概率；W为权重矩阵；b为偏置；为Transformer模块的输出；fNIRS脑力负荷检测方法的目标函数为交叉熵损失函数： 其中，yi为脑力负荷数据样本i的真实标签值，为脑力负荷数据样本i的预测标签值，n为样本总数。

全文数据：

权利要求：

百度查询： 成都信息工程大学 基于CNN和Transformer的fNIRS脑力负荷检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD