申请/专利权人：河海大学常州校区

申请日：2020-06-15

公开（公告）日：2024-03-19

公开（公告）号：CN111565419B

主分类号：H04W28/14

分类号：H04W28/14;H04L67/568;H04L67/5682;G06N20/00

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2020.09.15#实质审查的生效;2020.08.21#公开

摘要：本发明公开了一种超密集网络中面向延迟优化的协作式边缘缓存方法，具体步骤如下：步骤1：设置系统模型的各参数；步骤2：采用基于博弈论的多智能体强化学习算法来为每个SBS做出最优缓存决策，以最大化每个SBS的内容缓存命中率；步骤3：采用改进的分支定界法来为每个SBS做出最优带宽资源分配决策，以最小化所有用户设备的总内容下载延迟。本发明可有效减少超密集网络中所有用户的内容下载延迟，提高内容缓存命中率和频谱资源利用率，且具有良好的鲁棒性和可扩展性，适用于大规模用户密集型的超密集网络。

主权项：1.一种超密集网络中面向延迟优化的协作式边缘缓存方法，其特征在于，具体步骤如下：步骤1：设置系统模型的各参数；1.1设置网络模型：分为三层，即用户设备层、MEC层和云层，其中，用户设备层包含多个用户设备，每个用户设备只能连接到一个小型基站；MEC层包含M个小型基站和一个宏基站，宏基站覆盖了所有的小型基站，每个小型基站覆盖多个用户设备，每个小型基站代表一个小区，小区用符号m表示，小型基站之间的覆盖范围不相互重叠，每个小区m的小型基站上都部署了一个MEC服务器，其存储容量为scm，所有MEC服务器的存储容量构成一个存储容量大小向量sc＝[sc1,sc2,...,scM]，MEC服务器负责为用户设备提供边缘缓存资源，同时，负责收集每个小型小区的状态信息，并为每个小型基站做出相应的缓存决策和信道资源分配决策，小型基站之间通过宏基站进行相互通信，且共享其缓存资源，宏基站通过核心骨干网连接到云层；云层包括若干个云服务器，具有丰富的计算和缓存资源，用于缓存所有的内容；1.2将整个时间轴划分为T个长度相同的时隙，t∈T表示时隙索引，且采用准静态模型，即在一个时隙内，所有系统状态参数保持不变，而不同时隙参数不同；1.3设置内容流行度模型：共有F个内容，每个内容f∈F的大小为zf，且每个内容的大小不同，所有内容的大小构成一个内容大小向量z＝[z1,z2,...,zf,...,zF]，定义在时隙t每个内容f在小区m内的流行度为在时隙t在小区m内请求内容f的总次数为在时隙t在小区m内所有用户设备的内容请求总次数为因此小区m内所有内容的流行度构成一个内容流行度向量1.4设置内容请求模型：共有U个用户设备发送内容请求，定义在时隙t在小区m内发送内容请求的所有用户设备的集合为在时隙t在小区m内发送内容请求的用户设备的数量为假设在时隙t每个UE对每个内容最多请求一次，定义在时隙t在小区m内的每个UE的内容请求向量为其中每个元素表示在时隙t在小区m内的用户设备u请求内容f，表示在时隙t在小区m内的用户设备u没有请求内容f，在时隙t在小区m内的所有用户设备的内容请求向量构成一个内容请求矩阵1.5设置缓存模型：定义在时隙t每个小区m中的MEC服务器维护一个内容缓存决策向量其中每个元素表示在时隙t将内容f缓存在小区m的MEC服务器上，表示在时隙t不将内容f缓存在小区m的MEC服务器上，且每个MEC服务器中缓存内容的总大小不能超过其存储容量scm；1.6设置通信模型：采用正交频分复用技术将频带宽度B划分成β个正交子信道，定义在时隙t在小区m内的每个用户设备u被分配若干个正交子信道每个子信道带宽为定义在时隙t用户设备u与本小区m中的小型基站之间的下行SNR值为且 其中，表示在时隙t本小区m中的小型基站的发射功率，表示在时隙t本小区m中的小型基站与用户设备u之间的信道增益，且lu,m表示在时隙t本小区m中的小型基站与用户设备u之间的距离，α表示路径损耗因子，σ2表示加性高斯白噪声的方差；定义在时隙t用户设备u与本小区m中的小型基站之间的下载速率为且 定义在时隙t用户设备u从本小区m的MEC服务器中获取内容f所需要的下载延迟为且 定义在时隙t用户设备u从其他小区-m的MEC服务器中获取内容f所需要的下载延迟为且 定义在时隙t用户设备u从云服务器c中获取内容f所需要的下载延迟为且 其中θn,c表示MBSn和云服务器c之间的数据传输速率，且θn,c是一个常数，满足θm,nθn,c；因此，1.7设置内容交付模型：内容交付的基本过程是，每个用户设备独立地向本地MEC服务器请求若干个内容，若在本地MEC服务器的缓存区已经缓存了该内容，则直接由本地MEC服务器传输给用户设备；若在本地MEC服务器未缓存该内容，则可以通过宏基站从其他小型基站的MEC服务器上获取，再由本地MEC服务器传输给用户设备；若所有的MEC服务器都未缓存该内容，则通过核心网络从云服务器将内容中继到宏基站，再由宏基站传输到本地MEC服务器，最后由本地MEC服务器将内容交付给用户设备；定义在时隙t用户设备u是否从本小区m的MEC服务器中获取内容f为二元变量其中表示在时隙t用户设备u从本小区m的MEC服务器中获取内容f，否则定义在时隙t用户设备u是否从其他小区-m的MEC服务器中获取内容f为二元变量其中表示在时隙t用户设备u从其他小区-m的MEC服务器中获取内容f，否则定义在时隙t用户设备u是否从云服务器c中获取内容f为二元变量其中表示在时隙t用户设备u从云服务器c中获取内容f，否则步骤2：采用基于博弈论的多智能体强化学习算法来为每个小型基站做出最优缓存决策，以最大化每个小型基站的内容缓存命中率，包括被本地小型基站所命中的缓存命中率和被其他小型基站所命中的缓存命中率；所述步骤2中基于博弈论的多智能体强化学习算法的具体步骤如下：2.1将M个小型基站的内容缓存决策问题描述为具有M个智能体的带约束的随机博弈问题，问题用元组M,S,A1,...,AM,r1,...,rM,Pr,c1,c2,...,cM来表示，优化目标是最大化每个智能体的长期累积折扣奖励，其中2.1.1M表示智能体的个数，即小型基站的个数；2.1.2S表示状态空间，st∈S表示在时隙t所有智能体的状态集合，包括在时隙t所有智能体的内容流行度向量因此2.1.3A1,...,AM表示M个智能体的联合动作空间，定义表示在时隙t智能体m所选择的动作，即2.1.4r1,...,rM表示M个智能体的奖励函数，定义在时隙t智能体m的奖励函数为表示在状态st下所有智能体执行联合动作之后智能体m所获得的即时奖励，且 其中w1和w2表示权重，满足w1+w2＝1且w1w2，令w1＝0.8，表示被本小区m的MEC服务器所命中的内容命中率，表示被其他小区-m的MEC服务器所命中的内容命中率；定义在联合策略π1,π2,...,πM下智能体m的状态st的值函数为vmst,π1,π2,...,πM，且 其中，πm表示在状态st下智能体m的策略，即智能体m从状态到动作概率的映射，δ∈[0,1表示折扣因子，此状态值函数vmst,π1,π2,...,πM表示智能体m在联合策略π1,π2,...,πM下的长期累积折扣奖励的数学期望；2.1.5Pr表示状态转移函数，即所有智能体从当前状态st下执行联合动作之后，转移到下一状态st+1的概率，且 2.1.6c1,c2,...,cM表示M个智能体的约束，定义在时隙t智能体m的约束为表示在状态st下智能体m执行动作之后必须满足所缓存内容的总大小不超过其存储容量scm，即满足 2.2采用基于博弈论的MARL算法，即NashQ-learning算法；若对于和均满足 则称为智能体m的纳什均衡策略，其中Πm表示智能体m满足约束的可用策略集合，因此，定义在状态st和联合动作下智能体m的NashQ函数为且 其中，表示在状态st下所有智能体执行联合动作之后智能体m所获得的即时奖励，表示在联合纳什均衡策略下智能体m的状态st+1的状态值函数；2.3在算法的初始化阶段：令时隙t＝0，获取所有智能体的初始状态集合为并且对于和均令2.4在每个时隙t∈T均执行以下步骤：2.4.1每个智能体m均根据当前状态st、约束条件以及ε-贪婪策略来选择动作并执行，其中ε-贪婪策略是指智能体m每隔一段时间以较小的概率ε来随机选择动作，其他时间以概率1-ε来选择具有最高Q值的动作；2.4.2观察所有智能体执行的联合动作所有智能体所获得的即时奖励以及下一时隙的状态st+1；2.4.3定义联合策略π1st+1,...,πMst+1为单阶段博弈的纳什均衡策略，并且采用二次规划求出该纳什均衡策略；2.4.4每个智能体m均根据公式12和13来更新自身和其他智能体的Q值，即 其中，ζt∈0,1表示学习率，并且每个智能体m均采用异步更新的方式来更新自身的Q值，即每个智能体只更新当前状态和动作所对应的Q值，表示智能体m在状态st+1下选择纳什均衡策略π1st+1,...,πMst+1所获得的奖励；2.4.5如果tT，则令t←t+1，并返回2.4.1；否则，算法结束；步骤3：采用改进的分支定界法来为每个小型基站做出最优带宽资源分配决策，以最小化所有用户设备的总内容下载延迟；所述步骤3中具体步骤如下：3.1在确定了每个小区m中MEC服务器的最佳内容缓存决策向量后，将每个小型基站的带宽资源分配问题均描述为非线性整数规划问题P，即对于均要求 其中，目标函数和约束函数都可以表示成关于所有决策变量的一元函数求和的形式，即 并且所有在定义域内均为凹函数，因此目标函数在定义域内是一个可分离的凹函数，约束函数在定义域内是一个线性约束，因此该问题是一个可分离的凹整数规划问题；3.2每个小型基站均采用改进的分支定界法的算法来解决上述可分离的凹整数规划问题，具体流程为：3.2.1将原问题P进行连续松弛，即去掉整数约束，并对目标函数进行线性下逼近，从而得到原问题P的连续松弛线性逼近子问题LSP，LSP是一个可分离的线性规划问题；3.2.2利用KKT条件求解LSP的连续最优解，如果该连续最优解是整数解，则该连续最优解即为原问题P的最优解，否则该连续最优解的目标函数值就是原问题P最优值的一个下界；3.2.3然后从该连续最优解出发，进行分支，其中每一分支对应一个子问题，然后解决这些子问题的连续松弛问题，直到找到一个可行整数解为止，该可行整数解的目标函数值为原问题P提供了一个上界，而每个子问题的连续最优解的目标函数值为相应子问题提供了一个下界；如果某一分支无可行解、或连续最优解是整数解、或者其下界超过了上界，就可以剪掉这一分支；而对于没有剪掉的分支，则重复分枝、剪枝的过程，直到所有分支都被剪掉为止；如果某一分支有可行整数解，必要的话需要更新上界，以确保上界等于现有的可行整数解的最小目标函数值；3.2.4改进的分支定界法的算法结束时，当前最好的可行整数解就是原问题P的最优解。

全文数据：

权利要求：

百度查询： 河海大学常州校区 一种超密集网络中面向延迟优化的协作式边缘缓存方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD