申请/专利权人：东南大学

申请日：2021-04-26

公开（公告）日：2024-04-26

公开（公告）号：CN113326695B

主分类号：G06F40/247

分类号：G06F40/247;G06F40/30;G06N3/0464;G06N3/047;G06N3/096

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2021.09.17#实质审查的生效;2021.08.31#公开

摘要：本发明公开了一种基于迁移学习的情感极性分析方法，本发明首先构建文本排序模型，弥补当前语言模型缺乏句子级预训练任务的缺陷，提高模型的逻辑感知与语义表达能力。然后，构建情感极性分析模型，将文本排序模型训练得到的相关参数迁移到情感极性分析模型中对应的位置。最后，将迁移后的模型在情感极性分析数据集上继续训练。本发明利用迁移学习为情感极性分析模型引入领域先验知识，可以提高模型的领域适应性，有助于获取更高质量的句子特征，进而提高模型的分类准确率，并且，本发明所采用的注意力机制可以为情感极性分析模型降低评论文本的噪声干扰，提高模型的分类鲁棒性。

主权项：1.一种基于迁移学习的情感极性分析方法，其特征在于，所述方法包括以下步骤：步骤1，构建句子对数据集，步骤2，训练文本排序模型，步骤3，参数迁移，步骤4，训练情感极性分析模型；其中，步骤3，参数迁移，具体如下，首先构建情感极性分析模型，并使用与文本排序模型相同的编码结构，然后将文本排序模型的编码参数、词向量参数迁移到情感极性分析模型中；其中，步骤2，训练文本排序模型，具体如下：子步骤2-1，句子编码，用Bert提取文本编码特征，模型相关符号的含义如下：token：数据集中的每一个字；n：数据集中token的总数；H：Token的词向量维度；Emb：Embedding矩阵,shape:n×H；vocab：token字典,token：索引id；首先输入长为m的文本序列X＝token1,token2,…,tokenm，根据token在vocab中的索引idi提取token的编码Embi并计算出ei，用s表示整个句子构成的文本矩阵，ei和s的具体计算过程如公式1、2所示，其中position表示位置编码，segment表示段编码,ei＝BertEmbi+segmenti+postioni1s＝e1,e2,…,em2然后将s送入含有12层transformer序列的编码模型提取出最终的编码输出S，公式3中LN是层归一化操作，MSA是多头自注意力操作，以第z层为例，首先用MSA处理上一层的编码输出sz-1，然后经过残差和LN操作获得如公式3所示，最后用FFN对进行处理，并结合残差和LN获取层编码输出sz如公式4所示，FFN的计算过程如公式5所示，其中W1、b1、W2、b2均为模型可学习参数, FFNx＝max0,xW1+b1W2+b25子步骤2-2，句子解码，使用GRU作为解码网络的基本单元，解码过程如公式6、7所示，公式6中，dt-1表示输入、ht-1表示上一步的隐层输出，d0对应CLS作为输入，公式7表示解码过程的隐层初始化，即首先将编码输出S进行平均池化，然后用线性层处理后表示初始隐层输入h0，其中Ws、bs均为模型可学习参数,ht＝GRUdt-1,ht-16h0＝WsavgS+bs7子步骤2-3，输出预测，以每一步的解码隐层输出ht作为query，以编码输出S为key和value，用dot-productattention的方式计算语境向量context如公式8所示，然后拼接context和ht作为当前解码步的最终特征，并将拼接特征经过线性变换和softmax函数处理后，获得模型的预测概率分布p，过程如公式9所示,其中Wp、bp均为模型可学习参数，最后，基于预测值p和实际值y计算模型对数损失loss如公式10所示，其中m表示词典vocab大小,context＝Attentionht,S,S8p＝softmaxWp[context,ht]+bp9 其中，步骤4，训练情感极性分析模型，具体如下，子步骤4-1，句子编码，由于编码模型与文本排序模型完全一致，故情感极性模型的编码过程与子步骤2-1相同，用S表示编码输出；子步骤4-2，抽取局部特征，使用一维卷积网络提取编码输出S的局部特征表示T，如公式11所示；每一步的具体计算结果Ti如公式12所示，其中W和b为模型可学习参数；×表示卷积计算；i表示第i步；k表示卷积核宽度，T＝ConvS11Ti＝tanhW×Si:i+k-1+b12子步骤4-3，抽取整体特征，用Bi-GRU抽取句子整体特征C如公式13、14所示，双向GRU包括一个正向GRU从左到有的阅读T生成一个反向GRU生成nt表示上一步卷积输出的长度，和分别表示GRU模型第j步时两个方向的隐层输出，将和拼接后得到每一步的特征hj如公式15所示， 子步骤4-4，注意力降噪，结合注意力机制，对文本特征C做进一步的优化，将hj通过感知机MLP得到vj如公式16，其中Wa和ba为模型可学习参数，通过vj和语境C的相似度衡量其重要性如公式17所示，通过加权求和的方式计算句子最终语义特征Ca如公式18所示，vj＝tanhWahj+ba16 子步骤4-5，情感极性分类，首先将句子特征Ca经过线性变化、softmax函数处理后，获得模型的分类概率分布p，过程如式19所示，其中Wp和bp为模型可学习参数；然后基于p和实际标签y计算模型对数损失如式20所示，其中n表示类别数目p＝softmaxWpCa+bp19

全文数据：

权利要求：

百度查询： 东南大学 一种基于迁移学习的情感极性分析方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD