基于深度强化学习的干线交通混合式优化算法研究.pdf

基于深度强化学习的干线交通混合式优化算法研究

摘要

近年来城市化进程不断加快，城市主干道交通流量激增，主干道拥堵时有发生，给

出行带来不便，严重影响工作生活质量。针对主干道交通拥堵问题，传统的交通控制策

略如定时控制策略等不能适应交通流的快速变化，灵活性较差。研究人员尝试对系统进

行智能化升级，将深度强化学习技术用于主干道信号灯控制。基于强化学习的算法大大

提升了模型的延迟优化性能，但是增大了计算成本和模型收敛难度。主干道控制算法的

研究缺乏复杂车道场景下的建模分析。针对上述问题，本文将传统算法与深度强化学习

相结合，设计了基于深度强化学习的干线交通优化混合式算法。本文主要研究内容如下：

针对传统交通控制算法灵活性不足，强化学习算法复杂度高的问题，提出了一种结

合绿波和强化学习的混合驱动式干线控制算法。首先，针对主干道绿波问题，建立混合

整数线性规划，以绿波带的带宽一致且最大为目标构建约束条件，通过Gurobi优化器

求解主干道的周期和相位差，确定主干道协调基本控制因素。其次以道路拥塞状态为输

入，利用深度强化学习微量调整绿信比，为实现多智能体协作，为深度强化学习引入了

一个新的奖励函数。根据实验场景搭建SUMO仿真平台，在不同车流量场景下对算法

进行仿真测试，实验证明该算法对主干道具有良好的控制性能。

针对复杂多车道场景下车辆密度增大，车辆行驶状态复杂，支线方向转弯车道的车

辆排队拥堵到主线方向上从而影响主干道的通行的问题，进一步对主干线进行细致划

分，区分出左转、直行和右转车道，考虑了车辆排队特性。首先分析车辆到达规律，通

过对不同车流量下的排队造成的延误进行分类，建立约束模型，并在已有的控制策略上

进行拓展，将约束模型与强化学习相结合。最后在不同的车流下对主干道交通控制算法

性能进行了对比实验，仿真结果表明本文提出的算法在降低车辆平均等待时延和车辆排

队长度上具有良好的性能表现。

关键词：深度强化学习；信号配时；绿波；自适应信号灯控制；SUMO

基于深度强化学习的干线交通混合式优化算法研究

Abstract

Inrecentyears,withtheaccelerationofurbanization,thetrafficflowonurbanmain

roadssurgesandcongestionoccursfromtimetotime,whichbringsinconveniencetotravel

andseriouslyaffectsthequalityofworkandlife.Aimingattheproblemoftrafficcongestion

onmainroads,traditionaltrafficcontrolstrategiessuchastimingcontrolstrategiescannot

adapttotherapidchangesoftrafficflowandhavepoorflexibility.Theresearcherstriedto

upgradethesystemintelligentlybyapplyingdeepreinforcementlearningtechnologytothe

controloftrafficlightsonthemainroad.Thealgorithmbasedonreinforcementlearning

greatlyimprovesthedelayoptimizationperformanceofthemodel,butincreasesthe

computationalcostandthedifficultyofmodelconvergence.The