申请/专利权人：中国计量大学上虞高等研究院有限公司;中国计量大学

申请日：2021-12-17

公开（公告）日：2024-04-26

公开（公告）号：CN114238577B

主分类号：G06F16/33

分类号：G06F16/33;G06F16/35;G06F40/30;G06F18/24;G06N3/0455;G06N3/0442;G06N3/0464;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2022.04.12#实质审查的生效;2022.03.25#公开

摘要：本发明公开了一种融合多头注意力机制的多任务学习情感分类方法，该方法使用适用于重要特征提取的多头注意力机制和改善分类泛化性的多任务学习来提高情感分类性能。使用多头注意力机制对分批次输入的句子序列进行特征提取，得到每条语句的预分类标签。使用由长短期记忆网络联合逐点卷积神经网络构成的编码器对分批次输入的句子序列进行编码，将预分类标签作为辅助标签帮助构建多任务情感分类器。设计新的损失函数项加入到原有的损失函数中，经过多轮训练，动态地优化模型参数，即得到最优的情感分类模型，利用该模型可对评论文本进行情感分类。该方法在准确率、F1值评测指标上均优于采用传统多任务学习方法，适用于不同的下游任务和预测场景。

主权项：1.一种融合多头注意力机制的多任务学习情感分类方法，其特征在于：包括以下步骤：1收集整理来自多个领域的商品评论数据，每条评论文本都有对应的情感极性标签：0或1，0代表消极情绪，1代表积极情绪；对文本数据进行预处理；2将预处理后的每种领域的商品评论按照8:1:1的比例划分为训练集、验证集和测试集，正负样本分布均匀，随后进行文本初始化，从而得到词向量矩阵；3将词向量矩阵分批次输入多头注意力机制中进行特征提取，经过全连接层对特征提取后的结果进行线性变换操作，由SoftMax激活函数得到最终表示，从而构建文本分类器；取最终表示中的最大特征作为分类结果，得到每条语句的预分类标签；4使用由长短期记忆网络联合逐点卷积神经网络构成的编码器对分批次输入的词向量矩阵进行编码，将预分类标签作为辅助标签进行输入词向量矩阵类别的重分类，构建多任务情感分类器；所述的文本分类器和多任务情感分类器共同构成融合多头注意力机制的多任务学习情感分类模型；5设计新的损失函数项加入原有的融合多头注意力机制的多任务学习情感分类模型的损失函数中，经过多轮训练，动态地优化模型参数，即得到最优的融合多头注意力机制的多任务学习情感分类模型，利用该模型可对评论文本进行情感分类；步骤2中所述的文本初始化是指：将训练、验证、测试集中的文本转换为词向量，具体是采用Word2Vec模型对输入的文本数据进行特征映射，从而得到相应的词向量矩阵Rn*V，其中，n表示词向量维度，V表示全部向量化的词语数目；所述输入的文本数据表示为Sentence＝{X1,X2,…Xi…,Xm}，其中，m表示句子中包含的词语的个数；Xi＝{h1,h2,…,hn},i＝1,2,…,m，作为输入的文本数据中所包含的词语表示；步骤4中，所述的多任务情感分类器基于对抗多任务学习框架，包括多个私有编码器、共享编码器和任务判别器，其中，私有编码器用于存储任务相关的特性，共享编码器用于捕获任务共同的特性，任务判别器用于剔除共享特征中的私有特征；步骤5中所述的新的损失函数项用于监督文本分类器的预分类效果：其中，T表示文本分类器设置的标签种类数目，n表示文本分类器得到的预分类标签，表示预分类标签n和真实情绪标签的交叉熵损失函数。

全文数据：

权利要求：

百度查询： 中国计量大学上虞高等研究院有限公司;中国计量大学 融合多头注意力机制的多任务学习情感分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD