申请/专利权人：南京航空航天大学

申请日：2022-05-05

公开（公告）日：2024-04-16

公开（公告）号：CN114885426B

主分类号：H04W72/53

分类号：H04W72/53;H04W72/541;H04W72/52;H04W4/44;H04W4/46

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.08.26#实质审查的生效;2022.08.09#公开

摘要：本发明提出的一种基于联邦学习和深度Q网络的5G车联网资源分配方法，采用混合频谱接入技术进行传输，利用深度强化学习获得最优的V2V链路信道分配和发射功率联合优化策略，引入联邦学习保证用户隐私和数据安全。该算法能够在满足V2V链路延迟和信干噪比门限约束下，最大化网络联合频谱和能量效率。本发明使用FDQN算法可以有效解决V2V链路信道分配和功率选择的联合优化问题，可以在一系列连续状态空间的优化中表现稳定。

主权项：1.一种基于联邦学习和深度Q网络的5G车联网资源分配方法，其特征在于，包括步骤如下：1将车联网中的通信业务分为两种类型，即车辆与路边设施之间V2I的高容量通信请求以及车与车之间V2V与行车安全相关、要求低延时高可靠性的通信请求；2采用混合频谱接入技术进行传输，V2I链路和V2V链路共享信道资源；3构建的车联网资源分配系统模型为M对V2I链路和K对V2V链路共用授权带宽为W0的信道；4采用分布式的资源分配方法，在考虑V2V链路延迟和信干噪比门限的情况下，以系统联合频谱和能量效率最大化为目标构建分布式深度强化学习模型；5为提高分布式深度强化学习模型性能的同时保护用户隐私和数据安全，利用联邦学习优化深度强化学习模型；6在执行阶段，V2V链路根据本地观察获得当前状态Stk，利用训练好的模型得到最优V2V用户发射功率和信道分配策略；进一步，所述步骤4包括如下具体步骤：4a定义状态空间S为与资源分配有关的观测信息和低维度指纹信息，包括子信道m上链路瞬时信道状态信息Gk[m]，子信道m上V2V链路接受到的干扰Ik[m]，V2V链路传输的剩余负载Bk，剩余时延Tk，训练回合数e和ε-贪心算法中的随机探索变量ε，即stk＝{{Gk[m]}m∈M，{Ik[m]}m∈M，Bk，Tk，e，ε}将V2V链路视为智能体，每次V2V链路基于当前状态Stk∈S选择信道和发射功率；4b，定义动作空间A为发射功率和选择的信道，表示为Ck∈{1，2，...，M}其中，为第k个V2V链路用户离散的发射功率级，Ck∈{1，2，...，M}为第k个V2V链路接入的子带序列，共有p个离散的功率值和M个子带供选择，因此动作空间为p×M；4c定义奖励函数R，侧链资源分配的目标是V2V链路选择频谱子带和发射功率，在满足延迟约束和V2V链路信干噪比门限要求下，最大化网络联合频谱和能量效率，因此奖励函数可以表示为： 其中， 其中，ζnet、ζV2I和ζV2V分别为网络、V2I链路和V2V链路联合频谱和能量效率，γd为V2V链路信干噪比门限，为第k条V2V链路的信道容量，λ1、λ2、λ3和λ4为权值，A1和A2为固定的奖励值；4d依据建立好的S，A和R，在Q学习的基础上建立深度强化学习模型；采用双深度Q网络算法，在计算损失函数时，预测网络选择t+1时刻的动作at+1k，目标网络根据t+1时刻的状态st+1k和动作at+1k得出t+1时刻的Q值，以缓解Q值高估问题；在更新网络时，每个智能体都需要最小化如下的损失函数实现梯度下降： 其中，β为折扣因子，θk和θk′分别为第k个智能体的预测网络和目标网络参数，D为样本空间；进一步，所述步骤5包括如下具体步骤：5a在每个聚合间隔，V2V链路用户将本地预测网络参数θk上传给基站服务器；5b基站服务器执行聚合算法，获得全局网络参数；聚合算法将所有参与联邦学习的客户端模型按照贡献度进行加权平均以利用全局经验训练并最大化聚合效果，具体公式如下： 其中，θglobal和θk分别是全局网络和第k个本地预测网络的参数，Nk和N分别是第k个V2V链路和所有V2V链路的训练批量大小，以其比值来衡量第k个客户端模型参数的贡献度；5c基站服务器将聚合后的模型θglobal分发给V2V链路；5d所有V2V链路更新本地网络θk和θk′，根据本地观察进行局部的深度强化学习模型训练；如果训练回合数小于预设值，进入步骤5a，反之训练结束。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种基于联邦学习和深度Q网络的5G车联网资源分配方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD