申请/专利权人：北京科技大学

申请日：2021-04-23

公开（公告）日：2023-04-07

公开（公告）号：CN113115461B

主分类号：H04W72/52

分类号：H04W72/52;H04L41/16;H04W4/70;G06N3/092;H04W84/06;H04W72/543;H04B7/185

优先权：

专利状态码：有效-授权

法律状态：2023.04.07#授权;2021.07.30#实质审查的生效;2021.07.13#公开

摘要：本发明公开了一种基于QMIX的无线资源分配优化方法及装置，所述方法包括：根据低轨卫星的周期性、轨道位置、用户位置，确定在时间间隙Δt内各个地面卫星终端能够产生链接的低轨卫星；对于各个地面卫星终端，采用QMIX算法进行星地链路调度；计算各个基站各自所能容纳的通信容量；根据基站位置、基站覆盖半径、用户位置，确定基站覆盖范围内的所有用户；根据用户的业务类型，将用户分为时延敏感用户和时延容忍用户，确定地面小基站覆盖范围内的时延敏感用户，以及低轨卫星基站覆盖范围内的时延容忍用户；采用QMIX算法进行用户接入选择。本发明能够保证时延敏感用户的最低数据速率，最大化小区最小容量，提高用户的通信服务质量。

主权项：1.一种基于QMIX的无线资源分配优化方法，其特征在于，采用深度强化学习方法完成星地一体化网络的星地链路调度和用户接入控制的分配，包括以下步骤：S1、根据低轨卫星的周期性、轨道位置、用户位置，确定在时间间隙Δt内各个地面卫星终端能够产生链接的低轨卫星；S2、对于各个地面卫星终端，采用QMIX算法进行星地链路调度；所述步骤S2中，地面卫星终端及信道状态资源建模为马尔科夫决策过程，将每个地面卫星终端作为一个智能体，其动作空间为地面卫星终端与卫星之间的所有链接情况，状态空间为地面卫星终端的接入容量，全局状态空间为所有地面卫星终端的接入容量集合，算法的步骤如下：S201、初始化每个智能体的动作空间、状态空间、全局状态空间；S202、将当前状态输入Q网络中，输出每个动作对应的Q值，以1-ε的概率选择最大的Q值对应的动作或以ε的概率从动作空间中选择一个动作，作为当前状态做出的动作；S203、根据与环境的交互，获得即时奖励和系统中所处的下一步状态，并将当前状态、采取动作、奖励、下一步状态的信息存储到经验池中，其中即时奖励为智能体下一步状态下基站容量与当前状态容量的差，即rt＝Cm+1t-Cmt；S204、判断存储的经验数量是否达到要求，若达到要求则进行S205，否则重复S202和S203；S205、从经验池中随机取出一部分数据，将其Q值输入到混合网络中，计算Qtot值；S206、计算损失函数，即实际Qtot值和根据混合网络预测Qtot值的差距，并根据损失函数更新网络的参数；S207、当损失函数降低并趋于稳定时，停止网络训练，此时得到的星地链路调度为资源分配优化结果，否则重复S201-S206；从经验池中随机取出空间大小为b的数据集，将其Q值输入到混合网络中，计算Qtot值：Qtot＝Mixing-networkQ1r1,u1,…,Qnrn,un；hypernetworks；θ；损失函数为： 其中b为从经验池中随机取出的数据集大小；S3、计算各个基站各自所能容纳的通信容量；S4、根据基站位置、基站覆盖半径、用户位置，确定基站覆盖范围内的所有用户；S5、根据用户的业务类型，将用户分为时延敏感用户和时延容忍用户，所述时延敏感用户由地面小基站提供通信服务，所述时延容忍用户由搭载地面卫星终端的低轨卫星基站提供通信服务，确定地面小基站覆盖范围内的时延敏感用户，以及低轨卫星基站覆盖范围内的时延容忍用户；S6、采用QMIX算法进行用户接入选择。

全文数据：

权利要求：

百度查询： 北京科技大学 一种基于QMIX的无线资源分配优化方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD