申请/专利权人：广东外语外贸大学

申请日：2023-10-23

公开（公告）日：2024-04-23

公开（公告）号：CN117454873B

主分类号：G06F40/205

分类号：G06F40/205;G06N3/042;G06N3/0442;G06N3/045;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2024.02.13#实质审查的生效;2024.01.26#公开

摘要：本发明公开了一种基于知识增强神经网络模型的讽刺检测方法及系统，包括：S1.从外部知识源筛选与待检测文本高度相关的上下文信息并与原始文本进行整合；S2.使用预训练语言模型RoBERTa对整合后的文本数据进行词嵌入，并初始化双向长短时记忆BiLSTM网络的权值；S3.构建由8层双向长短时记忆BiLSTM网络组成的编码模型，在双向长短时记忆BiLSTM网络中嵌入多头自注意力机制，捕捉文本中的长距离依赖关系和局部语义特征；S4.分类训练并通过优化算法来改进模型，获得最终的知识增强讽刺检测模型；S5.采集待检测文本并输入知识增强讽刺检测模型，输出讽刺检测结果；本发明增强了模型对讽刺的理解，使模型能够有效捕获更复杂的语言模式，显著提高了讽刺检测的准确性和鲁棒性。

主权项：1.一种基于知识增强神经网络模型的讽刺检测方法，其特征在于，包括以下步骤：S1.从外部知识源筛选与待检测文本高度相关的上下文信息，并将筛选出的上下文信息与原始文本进行整合；S2.使用预训练语言模型RoBERTa对整合后的文本数据进行词嵌入，并初始化双向长短时记忆BiLSTM网络的权值；S3.构建由8层双向长短时记忆BiLSTM网络组成的编码模型，在双向长短时记忆BiLSTM网络中嵌入多头自注意力机制，捕捉文本中的长距离依赖关系和局部语义特征；S4.将预训练语言模型RoBERTa的词嵌入输入到编码模型中，通过全连接层和多头自注意力机制，以及由softmax激活函数构成的分类器进行多分类训练，并通过优化算法来改进模型，获得最终的知识增强讽刺检测模型；S5.采集待检测文本并输入知识增强讽刺检测模型，输出讽刺检测结果；步骤S1的具体内容为：S11.从不同的外部知识源分别获取与原始文本最相关的句子作为候选上下文；S12.使用BERTScore文本相似性算法对所有候选上下文进行排序，根据文本相似性度得分，选择与原始文本最匹配的候选上下文作为原始文本的上下文；S13.使用表示序列结束的EOS标签将提取的上下文与原始文本连接；步骤S4模型多分类训练的具体内容为：S41.将整合后的文本数据划分训练集和测试集，使用预训练语言模型RoBERTa，将训练集的词转换为词嵌入矩阵X＝{x1,x2,…,xN}输入到编码模型中；S42.通过编码模型的8层双向长短时记忆BiLSTM网络，获得隐藏状态序列；S43.引入多头注意力机制，获得每一层的注意力权重和平均权重；S44.根据平均权重，输入全连接层，并使用激活函数softmax构建分类器，对全连接层的输出进行分类；S45.根据分类结果，使用交叉熵损失函数和Adam优化器进行模型优化；S46.根据损失函数的梯度来更新模型的权重，以改进模型的性能；构建的8层双向长短时记忆BiLSTM网络具体为： 其中，Ht为第t个时间步的隐藏状态，Xt为第t个时间步输入的词嵌入；每一层的注意力权重αl为： 其中，T为词序列长度，为目标时间步t和源时间步j在第l层BiLSTM中的相似度； 其中，为目标序列在时间t-1在第l层的隐藏状态；为源序列在时间j在第l层的隐藏状态；a为一个可学习的函数；平均权重为： 全连接层和softmax分类器的输入表示为： 全连接层F为：FD＝Wf·D+bf其中，Wf、bf分别为全连接层的权重、偏置；使用激活函数softmax构建的分类器C为：CF＝softmaxWc·F+bc其中，Wc、bc分别为分类器的权重、偏置；交叉熵损失函数L为： 其中，N为标记样本个数，yi为第i个样本的实际标签，Cxi表示第i个样本的模型预测值，范围在[0,1]。

全文数据：

权利要求：

百度查询： 广东外语外贸大学 一种基于知识增强神经网络模型的讽刺检测方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD