申请/专利权人:浙江工业大学
申请日:2023-12-01
公开(公告)日:2024-04-12
公开(公告)号:CN117875374A
主分类号:G06N3/0475
分类号:G06N3/0475;G06N3/045;G06N3/094;G06F16/335;G06F16/35;G06F16/901
优先权:
专利状态码:在审-实质审查的生效
法律状态:2024.04.30#实质审查的生效;2024.04.12#公开
摘要:基于生成对抗网络的无监督图表示学习方法和装置,其方法包括:预嵌入生成阶段,使用LLE降维方法对原始数据的特征进行压缩,记录降维后的结果作为预嵌入;生成对抗阶段;通过一个生成对抗网络模型,具体地学习节点的嵌入表示;生成对抗网络由生成器和鉴别器两部分构成,二者内部各自有一个节点嵌入层,基于对抗性学习的思想,互相推动对方优化节点的嵌入表示;多次执行生成对抗阶段,直至生成对抗模型收敛;此时,模型中的节点嵌入层Z^G和Z^D即为最终学习到的图节点的嵌入表示矩阵。本发明有效去除冗余信息,使GAN模型的有效优化。
主权项:1.基于生成对抗网络的无监督图表示学习方法,包括如下步骤:步骤1:预嵌入生成阶段;使用LLE降维方法对原始数据的特征进行压缩,记录降维后的结果作为预嵌入;1.1对初始图节点的原始特征矩阵使用KNN算法找到每个节点样本的K个最近邻居,通过每个节点的K个邻居节点重构本节点,计算权重Aij,重构误差如公式1所示: 其中N表示节点数量,d0表示原始特征向量的维度,权重Aij表示第j个数据点对第i次重建的贡献;为了计算权重,需要在两个约束条件下最小化成本函数:首先,每个节点向量xi只能通过邻居节点重建,若节点j不在邻居集合内则Aij=0;其次,权重矩阵的行的和为一,即∑jAij=1;1.2通过公式1获取的最佳重建权重矩阵A,计算降维后的嵌入矩阵且满足d<<d0,嵌入损失如公式2所示: 训练过程中权重矩阵A固定不变,通过公式2获取嵌入矩阵结果;步骤2:生成对抗阶段;通过一个生成对抗网络模型,具体地学习节点的嵌入表示;生成对抗网络由生成器和鉴别器两部分构成,二者内部各自有一个节点嵌入层,基于对抗性学习的思想,互相推动对方优化节点的嵌入表示;2.1训练开始前,对生成器和鉴别器进行初始化,将上一步骤得到的预嵌入矩阵作为各自节点嵌入层的初始值;2.2节点对采样;从节点i出发,通过基于邻接权重的随机游走,可以得到一条路径Pathi;其中,节点i的邻接权重是一个N维向量,N表示节点数量;在第j维上的分量的计算公式如公式34所示: 其中,表示节点i的邻居节点的集合,表示节点i在生成器G中的嵌入表示,ZG表示生成器G中节点嵌入层;Pathi是以节点i为起始节点随机游走时经过的所有节点的集合;对于小规模数据集,当游走的下一节点已经存在Pathi中时,停止游走;对于大规模数据集,在游走达到一定的步数时停止; 是用于生成器训练的关于节点i的节点对集合,Pathi中的每对相邻节点构成一个节点对加入是用于鉴别器训练的关于节点i的节点对集合,Pathi中的头尾节点构成一个节点对加入通过从节点i出发进行多次随机游走,和得到足够数量的节点对用于后续步骤训练;2.3鉴别器训练;使用Adam算法最小化鉴别器损失函数LD,优化鉴别器D的节点嵌入层ZD;鉴别器目标函数计算公式如公式5所示: 其中,表示节点i在鉴别器D中的嵌入表示,h,t表示由头节点h和尾节点t构成的节点对,norm是归一化函数;2.4生成器训练;使用Adam算法最小化鉴别器损失函数LG,优化生成器G的节点嵌入层ZG;生成器目标函数计算公式如公式6所示: 步骤3:多次执行生成对抗阶段,直至生成对抗模型收敛;此时,模型中的节点嵌入层ZG和ZD即为最终学习到的图节点的嵌入表示矩阵。
全文数据:
权利要求:
百度查询: 浙江工业大学 一种基于生成对抗网络的图表示学习方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。