申请/专利权人：湖南大学

申请日：2023-11-13

公开（公告）日：2024-03-22

公开（公告）号：CN117241409B

主分类号：H04W74/0833

分类号：H04W74/0833;H04W24/02;H04W28/02

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2024.01.02#实质审查的生效;2023.12.15#公开

摘要：本发明属于无线通信技术领域，具体涉及一种基于近端策略优化的多类型终端随机接入竞争解决方法，具体包括：S1：初始化各类型终端状态与数据队列状态、小区基站状态、竞争资源数量与竞争队列状态；对各类型终端进行优先级划分，得到不同优先级的终端；获取当前环境状态；S2：在基站侧建立智能体模型，基于分布式队列机制，结合当前环境状态利用近端策略优化PPO算法的策略网络对智能体模型进行训练，获取最优选择动作、以及即时奖励，并构成经验数据存储至经验池中；S3：构建目标函数，基于经验池中所存储的经验数据对目标函数进行深度学习，利用预设阈值对参数进行训练更新，完成多类型终端随机接入的分配优化。

主权项：1.一种基于近端策略优化的多类型终端随机接入竞争解决方法，其特征在于，具体包括如下步骤：S1：初始化各类型终端状态与数据队列状态、小区基站状态、竞争资源数量与竞争队列状态；并对各类型终端进行优先级划分，得到不同优先级的终端；获取当前环境状态；S2：在基站侧建立智能体模型，基于分布式队列机制，结合当前环境状态利用近端策略优化PPO算法的策略网络对智能体模型进行训练，获取最优选择动作、以及即时奖励，并构成经验数据存储至经验池中；S3：构建目标函数，并基于经验池中所存储的经验数据对目标函数进行深度学习；利用预设阈值对参数进行训练更新，以对预留的独占资源数量进行调整，完成多类型终端随机接入的分配优化；所述S3中，构建目标函数，并基于经验池中所存储的经验数据对目标函数进行深度学习；利用预设阈值对参数进行训练更新，以对预留的独占资源数量进行调整，完成多类型终端随机接入的分配优化的过程具体包括如下步骤：S31：判定经验池中所存储的经验数据是否达到预设阈值；S311：当经验池中所存储的经验数据达到预设阈值时，构建目标函数，对近端策略优化PPO算法进行训练，更新网络参数，并清空经验池；S312：当经验池中所存储的经验数据未达到预设阈值时，进入下一步；S32：判定迭代次数是否达到预设最大迭代次数；S321：当迭代次数达到预设最大迭代次数时，进入下一步；S322：当迭代次数未达到预设最大迭代次数时，基于当前环境状态，重新对智能体模型进行训练；S33：判定当前迭代周期结束后系统整体指标，即平均时延、平均前导码传递次数、平均能耗是否能达到预设要求；S331：当系统整体指标中任一指标未达到预设要求时，基于当前环境状态，重新对智能体模型进行训练；S332：当系统整体指标均达到预设要求时，输出最优解方案，完成多类型终端随机接入的分配优化。

全文数据：

权利要求：

百度查询： 湖南大学 基于近端策略优化的多类型终端随机接入竞争解决方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD