申请/专利权人：西安交通大学

申请日：2022-04-28

公开（公告）日：2024-04-02

公开（公告）号：CN114756681B

主分类号：G06F16/35

分类号：G06F16/35;G06F40/211;G06F40/289;G06F40/30;G06N3/0464;G06N3/045;G06N3/0442;G06N3/084;G06N3/048

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2022.08.02#实质审查的生效;2022.07.15#公开

摘要：本发明公开了一种基于多注意力融合的评教文本细粒度建议挖掘方法，属于多任务预测领域。本发明将评教文本细粒度建议挖掘定义为从文本中挖掘建议动作词、建议实体词和对应的高层教学评价指标，在挖掘建议词组的过程中，通过设计建议增强组件、词信息增强组件和句法上下文增强组件，有效地克服了序列标注模型易受噪声影响、难整合词组信息和易忽略句法依赖关系的难题；同时借助多任务框架提取建议词组的高层教学评价指标。

主权项：1.一种基于多注意力融合的评教文本细粒度建议挖掘方法，其特征在于，包括以下步骤：（1）将标注的评教文本数据集随机分割为训练集、验证集和测试集，对评教文本进行预处理，生成文本的字符向量和词向量；其中，表示评教文本的字符序列，表示序列的标注标签，表示其高层教学评价指标分类标签；（2）采用多注意力融合模型，将所述字符向量输入到所述多注意力融合模型中，首先经过BiLSTM网络、再分别经过建议增强组件、词信息增强组件、句法上下文增强组件，最后经过融合层，获得融合了上下文语义信息和各组件增强的字符嵌入表示R，；（3）将所述字符嵌入表示输入到CRF模块，得到最大概率标签序列，从而获得评教文本的建议动作词与建议实体词，同时将BiLSTM网络输出的字符表示向量输入到全连接层和softmax层，对每个字符都进行高层教学评价指标分类，从而获得建议词组的高层教学评价指标类别；（4）得到最大概率标签序列和高层教学评价指标类别后，通过损失函数计算预测结果与真实值之间的差异，通过反向传播优化模型参数；（5）将待挖掘的文本进行预处理，得到文本的字符向量和词向量，之后输入到多注意力融合模型中获得文本的字符嵌入表示R，然后将R输入到CRF模块获得标签序列，同时将BiLSTM网络输出的字符表示向量输入到全连接层和softmax层，得到建议词组的高层指标类别；步骤（2）中的字符嵌入表示R获得的具体操作为：（201）将字符向量矩阵输入到BiLSTM网络，获得文本的上下文表示： 其中，和分别表示文本第i个位置的字符经过正向和反向LSTM的隐含层表示，表示拼接运算，表示BiLSTM网络输出的第i个字符表示；（202）将字符向量输入建议增强组件中进行卷积、池化和注意力机制，字符向量矩阵进入输入层后，经卷积抽取文本信息，在输入字符向量矩阵上进行一维滑动，对第i个字符及其周围字符进行卷积，卷积计算公式为： 其中，，表示按行拼接；基于高度h对文本进行卷积的结果为；经过卷积操作后的向量输入池化层，选取每类卷积向量中的最大值进行拼接，作为卷积神经网络的输出C，将C广播到与BiLSTM输出的上下文表示的列数相同；随后进行注意力机制，得到建议增强的字符表示G： 其中，、和是可训练参数；构建词信息增强图和句法上下文增强图，两个图的初始输入节点相同，包括带有属性的字符节点和词汇节点： 其中，表示初始输入节点集合，由BiLSTM网络输出的字符表示和文本词表示拼接得到；两个图的边缘构建通过建立邻接矩阵实现，词信息增强组件中字-词交互图邻接矩阵为，句法上下文增强组件中字-词交互图邻接矩阵为；使用L层图注意网络GAT对两个图建模，第l层的输入为字符与词组组成的节点特征和邻接矩阵，其中，，是节点特征的维度，第l层的输出是更新后的节点特征，具有K头注意力机制的GAT生成第l+1层节点特征的运算公式为： 其中，K个注意力进行平均，节点特征的维度是，是非线性激活函数，是节点i的邻居节点，是注意力系数，是可训练参数矩阵，是单层前馈神经网络；使用两个L层图注意网络GAT分别对两个图进行建模，初始输入都为节点特征，节点更新公式为： 和分别是两个图注意网络最后一层输出的节点特征矩阵，提取和中前n列和作为最终输出的字符表示： （203）将文本上下文表示、建议增强字符表示、词信息增强字符表示和句法上下文增强字符表示输入到融合层，获取融合了上下文语义信息和各组件增强的字符嵌入表示，计算公式为： 其中，、、和是可训练的参数矩阵。

全文数据：

权利要求：

百度查询： 西安交通大学 一种基于多注意力融合的评教文本细粒度建议挖掘方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD