申请/专利权人：重庆邮电大学

申请日：2022-03-22

公开（公告）日：2024-04-30

公开（公告）号：CN114610500B

主分类号：G06F9/50

分类号：G06F9/50;G06N3/0442;G06N3/0499;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2022.06.28#实质审查的生效;2022.06.10#公开

摘要：本发明涉及一种基于模型蒸馏的边缘缓存方法，属于无线通信领域，首先将边缘服务器采集到的用户端数据汇聚到云中心，对数据进行预处理并设计教师模型训练预测用户对内容的偏好；然后，在边缘服务器端部署学生模型，通过共享教师模型的参数学习该基站覆盖下的局部用户偏好。最后，根据得到的用户偏好，结合群组用户的活跃度，制定群组缓存策略，优化缓存命中率。本发明可以节约无线通信的链路资源，提高边缘服务器的资源利用率，提升用户服务质量。

主权项：1.一种基于模型蒸馏的边缘缓存方法，其特征在于：包括以下步骤：S1：输入数据采集与预处理：用户端采集到的数据连续特征和离散特征，在边缘服务器和云中心分别对这两类特征使用不同的编码方式编码；S2：教师模型训练：将步骤S1输出的云中心预处理后的数据输入云中心部署的教师模型进行训练；S3：学生模型训练：将步骤S1输出的边缘基站预处理的数据输入学生模型进行训练，结合教师模型共享的全连接网络层加快训练速度，使用教师模型和学生模型的蒸馏损失加速学生模型的收敛；S4：群组缓存策略：根据步骤S3中学生模型预测得到的用户的个性化偏好，结合群组用户的活跃度融合成群组用户兴趣偏好，根据边缘服务器的缓存容量选取用户偏好最高的Top-k的内容进行缓存；S5：优化缓存结果：根据缓存策略，优化缓存的命中率；所述步骤S2具体包括以下步骤：S21：使用GRU来对用户的行为序列进行建模，GRU模型由更新门和重置门组成，更新门决定用户行为序列中有多少以前的信息需要保留并传递给下一层，重置门确定应忽略多少以前的信息；GRU模型表示如下：zt＝σWzFd+Fy+Nzht-1+bzrt＝σWrFd+Fy+Nrht-1+br 其中，zt，rt，ht分别表示更新门、重置门、候选隐藏状态向量、当前时间步长的隐藏状态向量，σ是sigmoid激活函数，Wz，Wr，Wh和Nz，Nr，Nh是训练参数，bz，br，bh表示偏差，⊙表示哈达玛乘积；S22：使用多头自注意力机制对用户长序列进行分析，对目标序列进行多次分析和信息提取，再将输出的不同结果进行集成，增加对用户主要兴趣定位的准确度：headi＝AttentionQWiQ,KWiK,VWiVMultiHeadQ,K,V＝Concathead1,head2,…,headhWO其中Q＝[h1,h2,…,ht]表示LSTM的输出序列，K＝V分别表示输出序列的键和值，headi表示多头自注意力中的第i个头，Concat·表示拼接操作，WiQ，WiK,WiV和WO表示过度矩阵的训练参数，MultiHeadtQ,K,V表示教师模型多头自注意力的输出；S23：在多头自注意力输出后加入全连接的神经网络层，并且教师模型的全连接神经网络和学生模型的全连接神经网络是相同结构的： …… 其中表示教师模型第j层神经网络的训练参数，表示教师模型第j层神经网络的偏置项，表示教师模型第j层神经网络的输出；S24：使用对数交叉熵损失函数进行拟合： 其中yt是教师模型的输出，σ表示激活函数，用户偏好是分类问题，使用softmax激活函数，N表示训练集的数据量，表示训练集的数据，ft·表示教师模型；所述步骤S3具体包括：S31：教师模型参数共享：将教师模型的全连接神经网络层的参数与学生模型共享： …… 其中表示学生模型第j层神经网络的训练参数，表示学生模型第j层神经网络的偏置项，MultiHeadsQ,K,V表示学生模型的多头自注意力的输出，表示学生模型第j层神经网络的输出；S32：模型蒸馏：通过教师模型和学生模型之间的参数共享和损失蒸馏，模型蒸馏在学生模型的损失蒸馏函数如下： 其中ys表示学生模型的预测输出，fs·表示学生模型，Ls表示学生模型的对数交叉熵损失，Lts表示学生模型的损失蒸馏。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于模型蒸馏的边缘缓存方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD