申请/专利权人：重庆邮电大学

申请日：2022-12-13

公开（公告）日：2023-05-26

公开（公告）号：CN116166977A

主分类号：G06F18/23213

分类号：G06F18/23213;G06F18/22;G06N3/04;G06N3/048;G06N3/088;H04W4/30;H04W4/50

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.06.13#实质审查的生效;2023.05.26#公开

摘要：本发明涉及一种基于时序图神经网络的物联网服务聚类方法，属于移动物联网领域。该方法包括两个部分：生成融合服务标签的服务功能特征向量和生成基于服务节点时序协作网络的表征向量；对于传统的服务功能语义特征稀疏问题，本发明使用基于协同过滤的服务标签选取方法，为时序协作下的服务选取最适合其功能向量的标签，以增强其服务功能向量信息的密度表示。本发明方法与聚类效果较好的BTM模型对比，在轮廓系数上提升了10.4％的性能，在戴维森堡丁系数上提升了7％，在调整兰德系数上提升了1.5％的性能，在纯度表现上约1.4％的性能提升。

主权项：1.一种基于时序图神经网络的物联网服务聚类方法，其特征在于：该方法包括两个部分：生成融合服务标签的服务功能特征向量和生成基于服务节点时序协作网络的表征向量；所述生成融合服务标签的服务功能特征向量具体为：1基于协同过滤的服务标签向量提取对于每一个服务标签集合，首先使用Word2Vec为其生成词向量vlabel；然后使用余弦相似度分别计算服务标签集合中每个标签之间的相似度，公式如下： 其中Siword2veclabel为标记标签i的服务数量，Sjword2veclabel为标记标签j的服务数量，而分子表示同时标记标签i与标签j的服务数量，标签i与标签j相似度越高越能表示该服务执行同一任务或同类型任务的可能性越大；根据标签之间的相似度和服务历史协作情况生成最新的标签集合，使用如下公式计算服务u对于标签i的匹配情况： 其中Nu表示与服务相匹配的标签集合，sj,k是和该标签j最相似的k个标签的集合，wij是标签i与标签j之间的相似度；rui则是隐反馈信息表示服务u对标签i的匹配程度，令rui＝1；该公式pu,i的含义为服务历史协作最频繁任务的标签越相似的越容易成为该服务的标签向量；最后，取服务标签结果集合中标签向量的平均值作为该服务的标签特征向量； 2服务节点功能特征向量生成使用Bert模型提取服务功能特征向量，首先将服务描述文本加载到预训练好的Bert模型中训练更新模型的权重，通过fine-tune微调得出一个适用于任务的模型；预处理后的每个服务功能描述文本作为输入序列X＝x0,x1,x2,..xn，使用更新权重后的Bert模型对文档中的每个单词wordi生成初始词嵌入向量Ewordi和位置信息编码P，然后经过多头注意力机制归一化处理后得到输出编码序列Y＝y0,y1,...yn；将输出序列Y作为每个服务节点的功能特征向量并定义为SD；最后，为增强服务功能特征向量的信息密度表达，将每个服务节点的功能特征向量SD和服务标签特征向量SL进行拼接，得到服务Si的功能特征向量表示，并将服务功能特征Si加入到服务节点功能特征集合SF中；Si＝concatSL,SD4所述生成基于服务节点时序协作网络的表征向量具体为：1基于时序图神经网络的服务节点时序协作网络构建将服务节点时序协作网络定义为一个无向图G＝V,E,其中V＝{S1,S2,...Sn}表示服务节点集合，每个服务节点Si表示一个物联网服务节点功能特征向E＝{e＝si,sjtime|1≤i,j≤n，time＝t2-t1}为带有时间戳的协作关系边集合，e＝si,sjtime表示服务节点si与sj的协作时序关系，time表示协作终止时间t2与起始时间t1的时间差；基于TGAT图注意力神经网络来归纳学习邻居节点在时序上的服务表征向量，图注意力层的输入时序节点集合为其中n表示节点的个数，F是节点特征的维度；针对移动服务节点在网络中时序协作情况，为感知时序状态下服务节点之间协作的连续时序特征信息；TGAT时序图神经网络算法在图注意力机制基础上提出的时间特征表示方式，从时域到d维向量空间的连续映射函数Φdt以代替Transformer中的位置编码P，进而表示时序变化的时间特征信息；使用时间间隔函数表示时序信息特征，公式如下： 得出邻居节点间协作的时间特征信息函数表达，公式如下：Φdt＝[cosw1t+θ1,cosw2t+θ2,...coswdt+θd]6在动态的服务节点时序协作网络中，将融合有邻居节点信息与时间特征信息的服务节点-时间特征矩阵定义如下： 上式ut表示融合了邻居节点信息以及时间特征信息的目标服务节点向量表示，其中表示0节点在t0时刻的上一层特征，Φd0表示t0时刻的时间特征；接着将融合邻居节点信息与时序协作信息的ut使用多头注意力机制处理以优化每个特征节点更新后的权值配比，对ut转发到三个不同的线性投影以获得query、key、value值，计算公式如下：Qt＝ut·WQ8Kt＝ut·Wk9Vt＝ut·WV10其中WQ,WK,WV为注意力系数权重矩阵，用于捕获时间特征信息与节点特征信息，然后使用Softmax函数归一化处理以保证训练梯度稳定,将Qt,Kt,Vt向量使用Q、K、V表示，计算公式表示如下： 式hit表示归一化处理后的服务节点i的特征，其中dk为矩阵维度；最后将多头注意力机制的输出作为隐藏层邻居表征将隐藏层邻居节点特征与目标节点特征通过一个两层的前馈网络层FFN拼接输出，从而得到特征间的非线性交互，具体公式如下： 式表示0节点在t时刻l层的嵌入特征向量表示，表示目标节点与隐藏层邻居节点的特征聚合，经过两层的全连接层得到更新后的节点0在t时刻的向量输出； 将k个邻居节点特征向量聚合为一个服务表征向量，公式表示如下： 最后，使用无监督的方式来训练时序图神经网络，从而对参数权重矩阵进行更新，训练损失函数如下所示： 其中为正采样的样本数，为负采样的样本数，σ为sigmoid激活函数；依次训练聚合t时刻之前的服务节点特征，并将聚合处理后的服务表征向量添加到服务节点特征向量集合srv中用于后续的服务聚类计算；2基于K-means++的物联网服务聚类对处理后的服务节点表征向量使用k-means++算法进行服务聚类计算。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于时序图神经网络的物联网服务聚类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD