申请/专利权人：西安工业大学

申请日：2023-03-24

公开（公告）日：2023-06-06

公开（公告）号：CN116225065A

主分类号：G05D1/10

分类号：G05D1/10

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.06.23#实质审查的生效;2023.06.06#公开

摘要：本发明涉及一种多智能体强化学习的多自由度模型的无人机协同追捕方法，由于采用多智能体强化学习算法对多无人机追捕问题进行研究，比传统的数学模型方法或者单智能体强化学习方法体现出更智能的自主决策，同时本发明中，建立了基于强化学习的多无人机围捕策略推演方法，制定了多自由度无人机模型集群对抗策略。由于采用多自由度无人机模型，构建了更为复杂和精确的模型更新优化，弥补了现有方法在复杂场景下多智能体系统空战对抗方法的不足，提高了空战模型的精确性。

主权项：1.一种多智能体强化学习的多自由度模型的无人机协同追捕方法，其特征在于：作战区域中存在红方多艘同构追捕无人机和蓝方单架逃逸无人机，红方无人机通过协同合作尽快对逃逸目标实现围捕成功；步骤如下：步骤1：对战双方智能体红方和蓝方，红方单元使用强化学习算法进行控制，蓝方单元基于传统作战规则，双方的智能体环境模型为：以Pnn＝1,2,…,N代表红方多个围捕无人机，E代表逃逸无人机，vE代表逃逸无人机的速度大小，代表追捕无人机的速度大小，dcap代表围捕半径，ψE代表逃逸无人机的偏航角，代表追捕无人机的偏航角，dt为追捕无人机和逃逸无人机之间的距离，di为追捕无人机和追捕无人机之间的距离；所述红方算法智能体模型包括追捕无人机的运动学方程、智能体的状态空间、动作空间和奖赏函数；所述蓝方规则智能体模型为逃逸无人机采用的逃逸对抗策略；步骤2：采用多智能体深度确定性策略梯度算法作为红方智能体算法，其中MADDPG使用中心化训练、去中心化执行的方法；构建价值Critic网络和策略Actor网络，其中：价值网络Critic部署在全局控制器上，策略网络Actor部署在每个智能体上，训练时，智能体agenti将观测值statei传输到全局价值网络，价值网络将TD误差传回智能体，供智能体训练策略网络，此时智能体之间不进行直接通讯，而是由训练好的策略网络做决策；采用MADDPG算法对红方智能体进行训练并优化；步骤3：将步骤1构建的智能体环境模型和步骤2中的多智能体强化学习算法相结合，生成最终的基于强化学习的多无人机协同围捕方法，过程为：步骤3-1：以当前智能体为基准，计算当前智能体与其余智能体的差值，所述差值为：经度差值纬度差值高度差值距离差值获得当前智能体的偏航角输入智能体的联合状态其中步骤3-2：将智能体联合状态传入多智能体强化学习算法中，得到下一步的联合动作其中并在三维仿真作战环境中执行动作；步骤3-3：执行动作结束后获得智能体下一步的动作和当前动作的奖励值Rn，将数据Sn，An，Sn+1，Rn存入经验缓冲池中，并抽取批大小的数据对算法进行训练；在整个围捕过程中循环执行步骤3操作。

全文数据：

权利要求：

百度查询： 西安工业大学 多智能体强化学习的多自由度模型的无人机协同追捕方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD