申请/专利权人：白杨时代(北京)科技有限公司

申请日：2024-01-15

公开（公告）日：2024-03-19

公开（公告）号：CN117572893B

主分类号：G05D1/46

分类号：G05D1/46;G06N3/006;G06N3/045;G06N3/092;G06N3/084;G06N3/042;G06N3/096;G06N3/098

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2024.03.08#实质审查的生效;2024.02.20#公开

摘要：本申请还提出了一种基于强化学习的无人机集群对抗策略获取方法及相关设备，基于无人机集群中各无人机的属性参数，以及在真实环境下获取的飞行日志数据，通过仿真引擎构建针对无人机集群对抗任务的虚拟对抗环境，使其与真实飞行环境接近，这样，在该虚拟对抗环境下，基于针对无人机智能体模型的样本数据，对不同对抗方的初始对抗策略进行强化学习，能够快速且可靠获得相应的目标对抗策略，之后，基于该目标对抗策略，在真实测试环境和虚拟测试环境中进行对抗测试，减轻了实验资源和成本，提高了基于目标对抗策略进行无人机对抗任务的获胜率，无需地面控制人员给各无人机发送控制指令，降低了人工成本。

主权项：1.一种基于强化学习的无人机集群对抗决策获取方法，其特征在于，所述基于强化学习的无人机集群对抗决策获取方法包括：获取无人机集群中各无人机的属性参数以及飞行日志数据；所述飞行日志数据是所述无人机集群在多种环境参数下产生的；基于所述属性参数和所述飞行日志数据，通过仿真引擎构建针对无人机集群对抗任务的虚拟对抗环境，以及呈现于所述虚拟对抗环境的各无人机智能体模型；所述无人机智能体模型基于强化学习算法构建；在不同的所述虚拟对抗环境下，基于针对各所述无人机智能体模型的样本数据，对各对抗方的初始对抗策略进行强化学习，获得相应所述对抗方的目标对抗策略；基于所述目标对抗策略，在不同测试环境进行对抗测试，获得对抗测试结果；其中，所述不同测试环境包括真实测试环境以及通过所述仿真引擎构建的虚拟测试环境；其中，所述在不同的所述虚拟对抗环境下，基于针对各所述无人机智能体模型的样本数据，对各对抗方的初始对抗策略进行强化学习，获得相应所述对抗方的目标对抗策略，包括：获取针对各所述无人机智能体模型的样本数据中的初始状态信息；将所述初始状态信息输入对应对抗方的无人机智能体模型，获得相应的所述无人机智能体模型在所述虚拟对抗环境下执行不同对抗动作的概率分布；基于所述概率分布，控制相应的所述无人机智能体模型在所述虚拟对抗环境下执行对抗动作，获得所述无人机智能体模型执行所述对抗动作后的累积奖励值和下一状态信息；至少基于所述累积奖励值，调整所述无人机智能体模型中的对抗策略；将所述下一状态信息输入具有调整后的对抗策略的所述无人机智能体模型继续进行训练，直至满足训练终止条件，得到相应对抗方的目标对抗策略；其中，所述目标对抗策略能够表征相应对抗方的所述无人机智能体模型在不同所述虚拟对抗环境下的不同状态信息与不同目标执行动作之间的映射关系，所述目标执行动作是指具有映射的所述状态信息的所述无人机智能体模型在所述虚拟对抗环境获得最大奖励值的执行动作。

全文数据：

权利要求：

百度查询： 白杨时代(北京)科技有限公司 基于强化学习的无人机集群对抗策略获取方法及相关设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD