申请/专利权人：长春工业大学

申请日：2024-01-22

公开（公告）日：2024-04-02

公开（公告）号：CN117809274A

主分类号：G06V20/56

分类号：G06V20/56;G06V10/774;G06V10/82;G06N3/0442;G06N3/0464;G06N3/092

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.19#实质审查的生效;2024.04.02#公开

摘要：本发明公开了一种基于深度强化学习框架的变道超车决策方法，针对目前在高速公路环境下的变道超车决策方法存在频繁碰撞和难以学习代表性领域知识的问题。本发明在基于价值的深度强化学习DeepQ‑learningDQN框架，实现了一种在高速公路环境下进行变道超车决策的新颖和高效的方法。与现有算法比较，有以下优点：1在Q网络中引入了长短期记忆和自注意机制，复合结构的神经网络具有提取时空特征和关键信息的能力，以减少智能体的频繁碰撞。2设计具有针对性的多重奖励函数，每个奖励强调一个特定的因素，如速度，遵守交通规则，变道。多重奖励的使用使模型能够捕获和优化高速公路任务中自动驾驶的各个方面，从而获得更具代表性的领域知识。

主权项：1.一种基于深度强化学习框架的变道超车决策方法，其特征在于，所述变道超车决策包括如下步骤：步骤1：初始化高速公路环境和相关参数。步骤2：初始化均有LSTM和自注意力力机制的评估神经网络参数θ和目标网络参数θ'，经验回访池R以及ε-greedy探索策略的初始概率与最小概率以及经验池的大小M。步骤3：智能车辆通过观测环境获取的数据作为状态S。将经验存储到经验回放池中，并从中抽样一个目标g作为作为初始状态s0。步骤4：在当前回合中，使用行为策略从动作集合中采样一个动作a。智能体执行动作at得到新的状态值st+1。步骤5：根据st,at,g计算出奖励rt，得出一条transitionst||g,at,rt,st+1||g,p。将该transition存入到经验回访池R。步骤6：根据均方误差损失函数公式计算出损失值，并使用小批量随机梯度下降法更新评估网络的网络参数θ。步骤7：每隔一定时间步将评估网络的网络参数θ硬更新方式赋值到目标网络的网络参数θ'。步骤8：以ε的概率随机选择Q值对应的动作执行，以1-ε的概率选择最大Q值的动作a作为动作策略执行。步骤9：若智能车辆在行驶过程中发生碰撞或在行驶到指定时间则重复步骤2～步骤8，否则判断episode是否到达网络训练总episodes，若未到达网络训练总episodes则重复步骤1～步骤8，若达到网络训练总episodes则结束训练，算法结束。

全文数据：

权利要求：

百度查询： 长春工业大学 一种基于深度强化学习框架的变道超车决策方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD