申请/专利权人：江苏大学

申请日：2024-01-24

公开（公告）日：2024-04-26

公开（公告）号：CN117939536A

主分类号：H04W28/084

分类号：H04W28/084;G06N3/04;G06N3/092;G06N3/098;H04W28/082;H04B17/391;H04L67/12;H04L67/10

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明公开了一种基于强化学习的联邦边缘学习动态资源管理方法、模型及计算机设备，考虑移动边缘环境下的联邦学习服务器与参与FL的客户端之间的信道状态信息是不完美的以及动态时变的资源数据，导致FL在每一轮训练中产生的低能效情况。首先，构造基于能耗和训练精度的能效函数，并联合优化了客户端选择变量、上行传输功率和CPU频率，以最大化能效为目标。其次，使用深度强化学习辅助联邦学习的解决方案，提出基于softmax深度双确定性策略梯度的方法进行客户端选择和资源分配。最后，仿真结果表明，与现有的方法相比，本发明具有更高的能效和稳定性。本发明考虑了在实际环境中不完美的CSI和动态时变的资源，保证FL系统稳定的同时提高系统的能效。

主权项：1.一种基于强化学习的联邦边缘学习动态资源管理方法，其特征在于，包括：S1，建立一个联邦边缘学习系统，考虑多轮联邦学习训练中的动态时变的系统资源，构建联邦边缘学习的通信模型、时延模型、能耗模型和能效模型；S2，根据步骤1建立的模型，建立一个综合考虑客户端能耗和FL精度的优化问题，将目标函数设计为FL精度与加权能源消耗之差，通过确定客户端选择方案和资源分配方案最大化目标函数，此外还必须考虑相关的资源约束条件和时延约束，以保证联邦边缘学习系统的稳定性；S3，采用多智能体的强化学习方法进行客户端选择和资源分配，同时为了保护用户隐私和数据安全，利用联邦学习优化深度强化学习模型；S4，在执行阶段，每个客户端观察当前获得的状态，利用步骤3训练的强化学习模型得到最优客户端选择和资源分配策略。

全文数据：

权利要求：

百度查询： 江苏大学 一种基于强化学习的联邦边缘学习动态资源管理方法、模型及计算机设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD