申请/专利权人：海南大学

申请日：2023-05-12

公开（公告）日：2024-04-12

公开（公告）号：CN117111594B

主分类号：G05D1/43

分类号：G05D1/43;G05D109/30

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2023.12.12#实质审查的生效;2023.11.24#公开

摘要：本发明涉及一种无人水面艇的自适应航迹控制方法，包括：针对复杂环境下无人水面艇运行数据具有时变性和高度非线性的特点，基于PeepholeLSTM方法，通过引入常量误差传输子来学习无人艇航行数据的非线性特征，挖掘数据间的时序规律，形成无人艇的状态空间。基于深度强化学习DDPG算法对无人水面艇进行实时自适应航迹控制，通过构建双层网络架构，使用最大化全局的奖励来调整优化网络的动作策略。采用经验回放技术，将每一时刻的样本存储于重播缓冲区中，通过非均匀小批次抽样，降低样本间的相关性。通过迭代计算损失函数，来定期更新目标网络的参数。与现有技术相比，本发明具有提高了无人水面艇的航行效率和安全性等优点。

主权项：1.一种无人水面艇的自适应航迹控制方法，其特征在于，包括以下步骤：S1、基于PeepholeLSTM方法，将无人艇平均续航里程、平均续航时间、平均航行速度作为PeepholeLSTM当前时刻的输入，通过学习无人艇航行数据的非线性特征，得到无人艇运行时产生的复杂时间数据序列；S2、将得到的无人艇运行时产生的复杂时间数据序列作为深度强化学习DDPG算法的状态空间，将无人艇的动作空间设置为,其中，V是无人艇的航速，是无人艇的舵角值，基于DDPG算法进行训练，实时输出无人水面艇自适应航迹控制策略，DDPG网络包括Actor网络和Critic网络；步骤S2具体包括：S21、在训练开始阶段，初始化Actor和Critic网络的参数，预测网络Actor基于当前时刻的状态空间输出无人艇控制策略，将输出的动作值作为预测网络Critic的输入；S22、Critic网络在当前时刻St对Actor网络输出的动作进行评估，获取奖励函数，无人艇的状态转变为，输出当前时刻的值函数Q；S23、Actor网络根据Critic网络输出的值函数，调整优化自身的动作策略，更新网络参数；S24、基于软更新的方式更新目标网络的网络参数，完成DDPG网络训练；S3、基于DDPG网络输出的无人水面艇最优航迹控制策略，实时控制无人水面艇的航行；步骤S1中，PeepholeLSTM方法进一步包括以下步骤：在网络中的所有门上增加窥视孔进行连接；将数据输入至遗忘门，在低层神经元中学习无人艇航行数据的非线性特征；将当前时刻下的遗忘门结果输入到输入门；将输入门的结果输出到输出门中，在最后一层神经元里生成网络输出；PeepholeLSTM方法中，遗忘门更新公式为： 其中，是为t时刻的遗忘门，表示为sigmoid激活函数，表示遗忘门的输入层权重，和分别表示时刻的状态和输出，表示在t时刻输入的k个无人艇指标，表示遗忘门的偏置系数；将t时刻下的遗忘门结果输入到输入门i，输入门具有与遗忘门相似的结构，输入门更新公式为： 其中，为t时刻的输入门，输出门的输入层权重，表示输入门的偏置系数，PeepholeLSTM采用多个层次的神经元结构，在每一层处理一部分计算任务，将此刻神经元的隐藏状态被传递到下一个时刻的PeepholeLSTM层，并在最后一层神经元里生成网络输出；输出门更新公式为： 其中，是t时刻的输出门，表示输出门的输入层权重，表示输出门的偏置系数。

全文数据：

权利要求：

百度查询： 海南大学 一种无人水面艇的自适应航迹控制方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD