申请/专利权人：南京信息工程大学

申请日：2023-08-23

公开（公告）日：2024-04-02

公开（公告）号：CN117033638B

主分类号：G06F16/35

分类号：G06F16/35;G06F16/36;G06N5/022;G06F18/25;G06F18/241;G06N3/0464;G06N3/042;G06N3/0455;G06N3/0499;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2023.11.28#实质审查的生效;2023.11.10#公开

摘要：本发明公开了一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，先将视频人工解释为文本，抽取实体关系构建知识图谱；利用皮尔逊相关系数构建大脑功能连接矩阵BG,提取脑电频域特征构建特征向量。在BGI模块中，计算捕捉BG之间的拓扑关系，与特征向量进行时空图卷积获得时空向量过滤并输入CA模块中。同时通过GRU获得BGall。设计上界网络PBG|KG，将从KG获得分布pθAL|KG，同时从BG'获取分布获得表征认知对齐的隐变量AL，重构脑图BGrecon并反向引导AL的生成。最后在Fusion模块中，将KGall，与BGal结合进行情感分类。本发明通过引入生理信号，提高文本情感分类的精度，增强文本分类任务的可解释性。

主权项：1.一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，其特征在于，包括以下步骤：步骤1、通过人工将视频材料解释为第一文本材料，将第一文本材料按照固定时间窗口进行划分，得到划分后的第二文本材料；步骤2、基于StanfordNLP模型对划分后的第二文本材料进行实体关系抽取，构建知识图谱集合步骤3、采集被试者在观看步骤1的第一文本材料时的脑电信号，对脑电信号进行下采样和预处理，得到预处理后的脑电信号；步骤4、将预处理后的脑电信号划分为与步骤1中第二文本材料相同的时间窗口，并在每一个时间窗口下，继续划分为若干个等长的时间间隔；步骤5、在步骤4中的每一个时间窗口下，对每个时间间隔下的脑电信号计算不同通道之间的皮尔逊相关系数，用于构建间隔级脑图得到每个窗口下所有构建的间隔级脑图步骤6、在步骤4中每一个时间窗口下，脑电信号提取每个通道在5个频段下的频域特征：微分熵DE和功率谱密度PSD，对每个时间间隔的脑电信号提取特征向量记为将窗口下所有的间隔级特征向量融合成窗口级特征向量步骤7、将步骤5每个窗口下所有构建的间隔级脑图步骤6中窗口级特征向量和间隔级特征向量输入到脑图集成模块BGI中；步骤8、对步骤7中的脑图集合进行Zigzag持久性计算，得到包含了拓扑属性的之字形持久性图像ZPI，对ZPI进行卷积池化，得到窗口级脑图拓扑特征步骤9、将步骤8的窗口级脑图拓扑特征与步骤6得到的每一个间隔级特征向量进行空间图卷积，获得空间特征向量集合将S中所有元素融合得到空间特征向量步骤10、将步骤6得到窗口级特征向量与步骤8得到的窗口级脑图拓扑特征进行时间图卷积，得到时间特征向量步骤11、将步骤9得到的空间特征向量与步骤10得到的时间特征向量进行矩阵乘法，得到包含时空特征的特征向量步骤12、计算包含时空特征的特征向量的皮尔逊相关系数，过滤得到邻接矩阵并重构回脑图步骤13、将每个窗口下的从步骤11得到的输入到GRU中，获得特征经过皮尔逊相关系数计算，得到集成整个时间段内脑电信号特征的BGall；步骤14、将脑图送入认知对齐模块CA，使用图神经网络GNN和注意力机制计算分布步骤15、从步骤2的知识图谱集合选出与步骤12脑图中同一时间窗口的知识图谱送入Graphormer的Encoder层，经过注意力机制和全连接层获得分布pθAL|KG；步骤16、构建ELBO公式，用于从步骤14中的分布和步骤15中的分布pθAL|KG学习到表征认知对齐的隐变量步骤17、将送入GraphormerEncoder层获得的编码输出结果与步骤16中的隐变量融合，经过Graphormer的Decoder层得到特征将经过皮尔逊相关系数的计算，重构回脑图步骤18、将从步骤2得到的知识图谱集合中所有的实体关系全部提取KGall，从步骤16经过融合得到从步骤13得到的BGall融合，进行情感分类。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种基于脑电EEG认知对齐知识图谱的文本情感分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD