申请/专利权人：哈尔滨工业大学

申请日：2021-08-04

公开（公告）日：2024-04-12

公开（公告）号：CN113721604B

主分类号：G05D1/43

分类号：G05D1/43;G05D1/633;G05D1/644;G05D1/648;G05D105/22

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2021.12.17#实质审查的生效;2021.11.30#公开

摘要：本发明提出一种考虑海浪遭遇角度的水面无人艇智能航迹控制方法，在水面无人艇USV模拟器中加入安全评价规则；设计基于DQN的智能操船策略；设计USV的动作空间、状态空间；设计深度Q网络，设计USV的奖励函数及行为策略；在模拟器中训练USV以学习到操船策略；训练完毕后，在模拟器或者实船上应用训练好的操船策略；本发明用于水面无人艇的自动驾驶领域，可以大浪条件下自动执行z字操船策略，调整船体与海浪的遭遇角度，减小船体摇摆幅度，避免船体摇摆幅度过大引发危险，确保水面无人艇能够安全航行到达目标点。

主权项：1.一种考虑海浪遭遇角度的水面无人艇智能航迹控制方法，其特征在于：步骤1：在水面无人艇USV模拟器中加入安全评价规则；步骤2：设计基于DQN的智能操船策略；设计USV的动作空间、状态空间；设计深度Q网络，设计USV的奖励函数及行为策略；在步骤2中，步骤2.1：设计USV的动作空间：将USV的航行方向离散化为一定数量的值，作为USV的动作空间A；步骤2.2：设计USV的状态空间，USV的状态空间S如下 式中，u,v,r为USV的线速度及角速度；x,y,sinψ,cosψ为USV的线位移及角位移，将USV的艏向角度ψ取为单位圆内的投影值；sinα,cosα为USV的风舷角，取单位圆内的投影；sinθwave,cosθwave为USV的受浪角度，取单位圆内的投影；t为当前仿真时间；δ,为舵机的角度和角速度；x-xT,y-yT为USV和目标点之间的相对位移；步骤2-3：设计深度Q网络结构：深度Q网络用于根据当前状态S估计每一个动作的Q值，从而选出Q值最大的动作作为当前输出的动作；根据输入状态的个数，输出动作的个数，确定深度Q网络的输入输出维度，Q网络的结构如下： 式中，x为网络的输入状态，x＝S，是一个列向量；W1,b1,y1为第一个隐藏层网络的参数及输出，采用relu单边激活函数；W2,b2,y2为第二个隐藏层网络的参数及输出，采用relu单边激活函数；W3,b3,y为输出层网络的参数及输出，输出为线性输出，不需要经过非线性激活函数，并且输出的是每个动作的Q值，Q值是一个任意的实数；步骤2-4：设计USV的奖励函数：USV在模拟器中进行训练从而学习到相应的航行策略，在训练过程中需要给出奖励，来引导USV学会期望的航行策略；奖励函数如下：USV到目标点的距离为 式中，x，y为USV在NED坐标系下的坐标，单位m；xT，yT为目标点在NED下的坐标，单位m；当智能体到目标点的距离小于规定值时，判定智能体完成了预订的任务，给一个最大的奖励，当智能体航行任务失败时，给一个较大的惩罚： 当智能体靠近目标时，给一个较小奖励，用于引导智能体靠近目标点： 当智能体偏离航线时给一个负的惩罚，引导智能体尽可能沿着预订的航线航行，减小航线偏差：r2＝-k2·|y-yT|,k2＞0为了避免USV频繁改变航向，需要加入一个改变航向的惩罚： 为了让USV快速学会以合适的遭遇角度进行航线，当USV与海浪的遭遇角度不安全时，给一个惩罚： 其中参数k1,k2,k3,k4需要根据学习效果进行调整；步骤2-5：设计USV的行为策略，采用e-greedy行为策略；步骤3：在模拟器中训练USV以学习到操船策略；步骤4：训练完毕后，在模拟器或者实船上应用训练好的操船策略；训练完毕后，深度Q网络中即包含了学习到的操船策略，在应用过程中，每次执行动作前，USV将环境状态信息输入到深度Q网络中，然后执行网络输出的动作，控制USV的航行方向，实现Z字操船策略。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 一种考虑海浪遭遇角度的水面无人艇智能航迹控制方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD