申请/专利权人：哈尔滨工程大学

申请日：2024-02-27

公开（公告）日：2024-04-09

公开（公告）号：CN117852622A

主分类号：G06N3/092

分类号：G06N3/092;G06N3/094;G06N3/006

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：一种基于强化学习的协同对抗方法，它属于人工智能及强化学习技术领域。本发明解决了在面对大规模、高动态性环境时，现有多智能体系统的协同对抗性能差的问题。本发明通过SimDD网络，有效提高了智能体之间的协同效率，智能体能够更好地理解全局状态，从而在多智能体系统中实现更优的协作策略。通过优先级经验重放机制提高了对高质量样本的利用率，使得算法能够在有限的训练样本下，更快地收敛到有效的策略，提高了学习效率。通过内在奖励机制鼓励智能体探索未知状态，这种探索策略有助于智能体发现新的策略，避免陷入局部最优解。同时提高了本发明方法的鲁棒性、泛化能力和可扩展性。本发明方法可以应用于多智能体的协同对抗。

主权项：1.一种基于强化学习的协同对抗方法，其特征在于，所述方法具体包括以下步骤：步骤一、在当前t时刻，各个智能体与环境状态st进行交互后，根据智能体策略分别得到各个智能体选择的动作，并根据各个智能体选择的动作获得联合动作at；将智能体执行联合动作at得到的回报记为rext,t，将智能体执行联合动作at后，进入的下一个环境状态记为st+1，根据各个智能体的局部观测、状态st、联合动作at、回报rext,t和状态st+1得到样本buffer；给样本添加优先级后，将添加优先级后的样本存储到经验重放池中；步骤二、根据样本优先级对经验重放池中的样本进行采样，获得采样出的样本；步骤三、为每个智能体分别构建一个RNE网络，RNE网络中包括目标探索子网络和预测探索子网络；步骤四、对于第j个智能体，获取采样样本中第j个智能体的局部观测集合Oj，j＝1,2,…,n，n是智能体的总个数，将Oj分别输入第j个智能体对应的目标探索子网络和预测探索子网络；再根据各个目标探索子网络和各个预测探索子网络的输出计算内在奖励rint，并利用内在奖励rint对采样样本中的rext,t进行更新，获得更新后的采样样本；步骤五、构建SimDD网络，利用更新后的采样样本对SimDD网络进行训练，得到本次训练获得的智能体全局策略和全局动作值函数Qtot；并根据获得的全局动作值函数Qtot更新经验重放池中的样本的优先级，再利用本次训练获得的智能体全局策略返回执行步骤一。

全文数据：

权利要求：

百度查询： 哈尔滨工程大学 一种基于强化学习的协同对抗方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD