申请/专利权人：昆明理工大学

申请日：2020-09-30

公开（公告）日：2023-09-12

公开（公告）号：CN112287105B

主分类号：G06F16/35

分类号：G06F16/35;G06F40/205;G06F40/258;G06F40/284;G06F40/289;G06N3/0464;G06N3/0442;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2023.09.12#授权;2021.02.23#实质审查的生效;2021.01.29#公开

摘要：本发明涉及融合标题和正文双向互注意力的涉法新闻相关性分析方法，属于自然语言处理技术领域。本发明包括步骤：获取标题和正文的词级特征向量；构建标题和正文相似矩阵去分别计算正文辅助标题的双向互注意力、正文辅助标题的双向互注意力；分别对正文辅助标题以及标题辅助正文这两种情况下得到的双向互注意力向量进一步提取深层次关系，然后把提取到的深层次关系在高维度联合，以得到整篇新闻的完整信息；根据新闻特性判断其是否属于涉法新闻。本发明相比基线模型准确率提高了2.7％，实验结果表明利用标题和正文以及它们之间的相互作用对新闻文本分类有很好的支撑作用。

主权项：1.融合标题和正文双向互注意力的涉法新闻相关性分析方法，其特征在于：所述方法的具体步骤如下：Step1、获取标题和正文的词级特征向量；Step2、构建标题和正文相似矩阵去分别计算正文辅助标题、以及标题辅助正文的双向互注意力；Step3、分别对正文辅助标题以及标题辅助正文这两种情况下得到的双向互注意力向量进一步提取上下文依赖关系，然后把提取到的上下文依赖关系在标题与正文进行交叉融合，以得到整篇新闻的从网络层输出的新闻完整特征；Step4、根据新闻特性判断其是否属于涉法新闻；所述步骤Step2的具体步骤为：Step2.1、进行标题与正文相似矩阵的构建，正文辅助标题相似矩阵为：Sik＝αT:i,C:k∈RN*L其中Sik表示第i个标题描述词和第k个正文辅助词之间的相似度，T:i表示T的第i列向量，C:k表示C的第k列向量，α表示计算T与C之间相似度的可训练函数，如下式所示： 其中是待训练的权重向量，是逐元素乘法，[；]是跨行的向量串联，而因式乘法表示矩阵乘法，t与T的列向量对应，c与C的列向量对应；这样得到正文辅助标题的相似矩阵S∈RN*L；标题辅助正文的相似矩阵与之类似，只需要将输入顺序转置即可；Step2.2、对正文辅助标题相似矩阵S中的列向量进行softmax归一化得到注意力权重ai，再将ai与正文C中的每个词进行加权求和，就得到标题对正文的注意力向量矩阵U；ai＝softmaxSi:∈RLU＝∑aikC:k∈R2d*N正文对标题的注意力在正文辅助标题的情况下，指的是标题中哪个词与正文词之一具有最高的相似性；先对S中的每一列取最大值，再经过softmax归一化后得到标题词对正文词的注意力权重p，再用p与标题词进行加权求和，得到所关注标题词的向量f，该向量表示标题词相对正文而言最重要的词的加权和，f在列方向上平铺N次，得到正文对标题的注意力向量矩阵F；p＝softmaxmaxcolS∈RNf＝∑ipiT:i∈R2d 为了减少信息丢失，将T，U，F联合共同传递给后续网络层；最终得到完整的正文辅助标题的双向互注意力向量；Step2.3、标题辅助正文的双向互注意力计算：将正文辅助标题的相似矩阵S变更为标题辅助正文的相似矩阵S'，即得到正文对标题的注意力U'∈R2d*L以及标题对正文的注意力F'∈R2d*L，最后将C，U'，F'三者通过函数得到完整的标题辅助正文的双向互注意力向量；所述步骤Step3的具体步骤为：Step3.1、使用两个BiGRU来分别提取正文辅助标题的双向互注意力向量、标题辅助正文的双向互注意力向量的上下文依赖关系；Step3.2、对两个双向互注意力向量进行特征提取，用连接残差来最大程度确保所有信息进入输出网络层，实现标题与正文的交叉融合。

全文数据：

权利要求：

百度查询： 昆明理工大学 融合标题和正文双向互注意力的涉法新闻相关性分析方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD