申请/专利权人：西北工业大学

申请日：2023-12-27

公开（公告）日：2024-03-29

公开（公告）号：CN117786530A

主分类号：G06F18/2415

分类号：G06F18/2415;G06N3/048;G06F40/20

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.16#实质审查的生效;2024.03.29#公开

摘要：本申请属于人工智能与自然语言处理领域，涉及一种基于图Transformer与信息瓶颈的虚假新闻检测方法，首先，通过所设计的一种新的图位置编码计算公式，构建出一种基于位置编码的传播关系图。其次，利用信息瓶颈原理，学习去噪注意力图。最后，通过将所构建的传播关系图和去噪注意力图作为掩蔽图，对Transformer的自注意力层进行掩蔽。通过该掩蔽机制，一方面能够有效消除噪声信息带来的负面影响，另一方面也能有效刻画出新闻的传播结构和长序列依赖关系。将本申请方法应用到真实新闻传播网络中，实现了以较高准确率识别出新闻数据中的虚假新闻。

主权项：1.基于图Transformer和信息瓶颈的虚假新闻检测方法，其特征在于，包括以下步骤：S1:为每个新闻构建新闻传播图G＝{V,E,X}，其中，V＝{v0,v1,…,vn}表示n个节点的集合，E表示连边的集合，X＝{x0,x1,…,xn}为新闻传播图的初始节点特征；S2:构建基于位置编码的传播关系图Gp，具体构建方式如公式1所示： 其中Pij为矩阵AP中的第i行第j列，矩阵AP为传播关系图Gp的邻接矩阵，dij表示节点vi与节点vj之间的最短路径值，di表示节点vi到根节点v0的最短路径值，dj表示节点vj到根节点v0的最短路径值；S3:构建去噪注意力图Gs，包括：31将图G输入到现有的标准的Transformer中，得到所有节点的低维向量表示Z，Z＝{z0,z1,…,zn}为节点的低维向量表示；32为每个节点对之间构建一个伯努利采样概率πij，如公式3所示：πij＝SigmoidMLPzi,zj3利用伯努利采样，计算任意一对节点vi与节点vj之间是否有注意力连接，如公式4所示： 其中，Sij为矩阵As的第i行第j列，矩阵As为细粒度去噪注意力图Gs的邻接矩阵，t为取值在0,1的温度参数，∈～Bernoulli0,1，为从伯努利分布中随机采样的值；同时，将G中的节点特征X更新为此时学习得到的Z；S4:构建掩蔽图Transformer的自注意力模块，具体如公式5所示： 其中，为可学习的矩阵，其中，d代表输出的低维表示矩阵的维度，h表示多头注意力机制中的第h个注意力头，dH表示每个注意力头的维度，T表示矩阵的转置操作，Ai∈{As,Ap,Af}，其中，As,Ap,以及Af＝1|V|×|V|分别表示图Gs的邻接矩阵，图Gp的邻接矩阵以及一个全连接图Gf，softmax为非线性激活函数，Mask为掩蔽函数，其定义如公式6所示：Maskx,λ＝x+ξλ6其中，ξ为一个足够大的数值，公式6表示直接将去噪注意Gs，以及传播关系图Gp的信息嵌入到自注意力矩阵中；S5:构建掩蔽图Transformer的前馈层模块，生成节点表示Z＝＝{z0,z1,…,zn}，具体如公式7和8所示： Z＝FFNX′＝ReLUX′W1W28其中，r为多层感知机输出的维度，以及为可学习的参数矩阵，H表示总的注意力头数，ReLU表示非线性激活函数，Z为节点表示；S6：图层面表示构建，如公式9所示： S7：损失函数构建与优化，包括：71构建KL散度损失以控制Gs的稀疏程度，如公式10所示： 其中，Efull表示以节点集合V所构建的全连接图Gf的边表，ρ为控制图Gs的稀疏程度的参数；构建预测器损失函数Lcls，如公式11和12所示： 其中，MLP为多层感知机，Softmax为非线性激活函数，为预测得到的标签； Y∈{0,1}为预测得到的标签；72最终优化的目标函数如公式13所示：Lloss＝LKL+Lcls13S8:测试集上预测输出。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于图Transformer与信息瓶颈的虚假新闻检测装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD