申请/专利权人：北京航空航天大学

申请日：2023-11-20

公开（公告）日：2024-02-06

公开（公告）号：CN117275259B

主分类号：G08G1/081

分类号：G08G1/081;G08G1/08;G08G1/01

优先权：

专利状态码：有效-授权

法律状态：2024.02.06#授权;2024.01.09#实质审查的生效;2023.12.22#公开

摘要：本发明公开了一种基于领域信息回溯的多交叉口协同信号控制方法，包括获取当前决策间隔τ的每个交叉口自身的状态观测数据和邻居吞吐量数据；根据获取的τ的每个交叉口自身的状态观测数据和邻居吞吐量数据，进行动作预测模型处理确定最优动作；根据最优动作确定决策间隔τ+1每个交叉口对应的邻居吞吐量数据；根据全部交叉口的各进口车道排队车辆数的总和的负值，确定奖励信息；根据τ的交叉口的状态观测数据和对应的邻居吞吐量数据、τ+1的交叉口的状态观测数据和对应的邻居吞吐量数据、最优动作和奖励信息，优化动作预测模型的参数以得到新的优化动作。本发明通过回溯邻居交叉口的历史吞吐量，完善交叉口的观测信息，提高交叉口通信能力。

主权项：1.一种基于领域信息回溯的多交叉口协同信号控制方法，其特征在于，包括：获取当前决策间隔τ的每个交叉口自身的状态观测数据和邻居吞吐量数据，所述决策间隔指预设信号控制相位的执行时间，所述状态观测数据包括通过检测器检测的进口道的排队车辆数和当前相位；所述邻居吞吐量数据来自每个交叉口的吞吐量数据栈，指位于上游的相邻交叉口在上个决策间隔内驶入交叉口的进口路段的车辆数；根据获取的决策间隔τ的每个交叉口自身的状态观测数据和邻居吞吐量数据，进行动作预测模型处理，确定最优动作，所述最优动作用于确定各个交叉口的下个决策间隔τ+1的绿灯相位；根据所述最优动作确定决策间隔τ+1每个交叉口对应的邻居吞吐量数据，包括：根据所述最优动作控制信号灯进行相位切换，记录当前相位的持续时间；确定当前相位的持续时间达到决策间隔时长；对当前决策间隔τ的吞吐量数据栈进行更新，获取决策间隔τ+1每个交叉口对应的邻居吞吐量数据；根据全部交叉口的各进口车道排队车辆数的总和的负值，确定奖励信息；根据决策间隔τ的交叉口的状态观测数据和对应的邻居吞吐量数据、决策间隔τ+1的交叉口的状态观测数据和对应的邻居吞吐量数据、所述最优动作和所述奖励信息，优化所述动作预测模型的参数以得到新的优化动作，包括：根据决策间隔τ的交叉口的状态观测数据和对应的邻居吞吐量数据、决策间隔τ+1的交叉口的状态观测数据和对应的邻居吞吐量数据、所述最优动作和所述奖励信息，构建决策序列；将所述决策序列存储于经验回放池，通过时间差分误差学习对所述经验回放池中历史决策序列进行处理，得到优化后的动作预测模型；所述通过时间差分误差学习对所述经验回放池中历史决策序列进行处理，包括： 其中，表示t时刻的奖励值，表示采样大小，γ表示折扣率，表示t时刻对应的决策步的估计动作价值函数，表示当前决策步的目标动作价值函数，表示t+τ时刻对应的决策步的估计动作价值函数，τ表示决策间隔，表示当前经验为决策序列是否为最后一步的标识符，max表示最大值函数，loss表示损失函数；所述新的优化动作用于确定各个交叉口的下个决策间隔τ+2的绿灯相位。

全文数据：

权利要求：

百度查询： 北京航空航天大学 一种基于领域信息回溯的多交叉口协同信号控制方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD