申请/专利权人：上海交通大学

申请日：2021-09-07

公开（公告）日：2024-04-19

公开（公告）号：CN113581182B

主分类号：B60W30/18

分类号：B60W30/18;B60W60/00

优先权：

专利状态码：有效-授权

法律状态：2024.04.19#授权;2021.11.19#实质审查的生效;2021.11.02#公开

摘要：本发明提供了一种基于强化学习的自动驾驶车辆换道轨迹规划方法及系统，涉及自动驾驶技术领域，该方法包括：模型构建步骤：依次构建状态空间、动作空间、状态转移、奖励函数以及安全修正模型；模型训练步骤：构建完成相应模型后，采集训练数据，训练强化学习模型，再对各模型进行相应测试，以实现在不同场景下的换道轨迹规划。本发明能够有效地提高换道过程中的安全性和效率，进而有利于整体交通流的通行效率。

主权项：1.一种基于强化学习的自动驾驶车辆换道轨迹规划方法，其特征在于，包括：模型构建步骤：依次构建状态空间、动作空间、状态转移、奖励函数以及安全修正模型；模型训练步骤：构建完成相应模型后，采集训练数据，训练强化学习模型，再对各模型进行相应测试，以实现在不同场景下的换道轨迹规划；所述模型构建步骤中包括：步骤S1.1：状态空间构建：在换道过程中，换道车辆的行为与其周围车辆密切相关，通过它们的速度、方向以及位置在内的信息生成状态空间；步骤S1.2：动作空间构建：换道车状态的变化由它的速度和方向角决定；步骤S1.3：状态转移模型构建：状态转换模型表示换道车在当前状态下执行了动作之后转移到下一个新状态；步骤S1.4：奖励函数构建：设计合理的奖励函数评估智能体动作，在换道场景中，换道车为换道做好准备，安全移动至目标车道，并与其前车保持适当的车头时距；步骤S1.5：安全修正模型构建：对模型中得到的动作进行适当的修正，保证安全性；所述步骤S1.4包括：为使换道车安全舒适转移至目标车道，奖励函数是舒适度Fjerk、安全性Fsafe、换道间隙Fgap、效率Fefficiency和车头时距Fheadway五个特征的线性组合，即：R＝w1Fjerk+w2Fsafe+w3Fgap+w4Fefficiency+w5Fheadway式中w1,w2,w3,w4,w5分别是五个特征的权重值；其中，舒适度特征： acct和acct-1是换道车在t时刻和t-1时刻的加速度，ayawt和ayawt-1是换道车在t时刻和t-1时刻的偏航加速度；安全性特征： 换道间隙特征： 效率特征： 车头时距特征：Fheadwayh＝e-|1.32-h|,h0；所述步骤S1.5包括：在换道过程中，如果换道车仍在原车道，则应同时保持与原车道前车以及目标车道前车的安全间距；如果换道车已经进入目标车道，那么就只需要保持与目标车道前车的安全间距；如果模型无法找到可行解，那么将直接取最小加速度；所述模型训练步骤中包括：步骤S2.1：训练数据采集：采集真实的换道场景数据，每个换道场景中应包括换道车、原车道前车、目标车道前车与目标车道后车的轨迹数据，将提取出来的换道场景数据按某种比例分为训练集和测试集；步骤S2.2：训练强化学习模型：确定强化学习模型初始参数，主要包括：奖励函数的权重、内部神经网络隐含层的层数、每个隐含层神经元的个数、每层的激活函数、学习率、经验存储容量、最小训练样本以及奖励折扣；确定安全修正模型中的参数，主要包括最小速度、最大速度以及反应时间；赋予强化学习模型内部神经网络连接权重初始值，通过一定回合数的训练，更新网络参数，直到模型达到收敛；步骤S2.3：模型测试：将训练好的模型用测试集进行测试，如果在不同换道场景中能够实现安全高效的换道，则模型能接受；如果未能实现换道，则应回到步骤S2.2，增加训练回合数，或者调整强化学习模型初始参数，重新训练，直至模型能接受为止。

全文数据：

权利要求：

百度查询： 上海交通大学 基于强化学习的自动驾驶车辆换道轨迹规划方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD