一种行动-评价机制下信号灯优化配时方法

摘要

本发明涉及一种行动‑评价机制下信号灯优化配时方法，包括：根据交通轨迹数据建立模拟单个机动车的机动车微观交通模型，根据交通流数据和交通监控视频建立模拟交叉口道路通行状况的交叉口全局交通模型；以机动车微观交通模型为状态空间，以交通信号控制方案为行动空间，以交叉口全局交通模型为行动评价指标，建立单交叉口交通信号控制模型；以判定区域内的各个交叉口为单位进行优化控制，根据各个单交叉口交通信号控制模型建立使判定区域所有机动车的评价指标达到最优的区域交通信号控制模型。提取其中隐藏的以机动车为单位的微观交通模型以及以交叉口为单位的交叉口全局交通模型，实现对多模态交通数据的更充分利用。

说明书

技术领域

本发明涉及道路交通技术领域，尤其涉及一种行动-评价机制下信号灯优化配时方法。

背景技术

城市交通在城市化进程中发挥着越来越大的作用，交通拥堵也渐渐成为了困扰世界各大城市的重要难题。寻求解决交通拥堵问题的方法成为了当下社会的共识。

纷繁复杂的大城市交通网中的交叉口交通问题，一直是国内外解决城市拥堵问题的研究重点。然而，我国大多数城市交叉口的交通信号控制方案采用的是传统定时控制的方式。传统交通信号控制系统是将每个路口的各个方向的信号灯相位计时器设置为相同的固定时间，这导致车流量相差悬殊的状况下仍然保持旧的信号周期，严重降低了交叉口通行效率，造成更加严重的交通拥堵。

20世纪初交通信号灯发明以来，国内外的交通信号灯控制研究取得了一定的成果。其中，较为成功的交通信号灯控制系统主要为国外的SCOOT(Split,Cycle,OffsetOptimising Technique，绿信比、周期、相位差优化技术)、SCAT(SydneyCoordinated Adaptive Traffic System，悉尼自适应交通控制系统)系统等。其中，SCOOT系统具有无法调整相位、安装繁琐以及无法有效处理随机波动较大交通流的缺点；SCATS系统单纯的从预选方案中选择最优的控制方案，无法对实时车流进行有效反馈。

发明内容

本发明针对现有技术中存在的技术问题，提供一种行动-评价机制下信号灯优化配时方法，解决现有技术中交通信号灯控制无法对实时车流进行有效反馈的问题。

本发明解决上述技术问题的技术方案如下：一种行动-评价机制下信号灯优化配时方法，包括：步骤1，根据交通轨迹数据建立模拟单个机动车的机动车微观交通模型，根据交通流数据和交通监控视频建立模拟交叉口道路通行状况的交叉口全局交通模型；

步骤2，以所述机动车微观交通模型为状态空间，以交通信号控制方案为行动空间，以所述交叉口全局交通模型为行动评价指标，建立单交叉口交通信号控制模型；

步骤3，以判定区域内的各个交叉口为单位进行优化控制，根据各个所述单交叉口交通信号控制模型建立使所述判定区域所有机动车的评价指标达到最优的区域交通信号控制模型。

本发明的有益效果是：行动-评价机制为无监督情况下的自学习过程，能够实现对海量交通数据的实时处理；通过对多模态交通数据的不同处理，提取其中隐藏的以机动车为单位的微观交通模型以及以交叉口为单位的交叉口全局交通模型，实现对多模态交通数据的更充分利用；以单个交叉口作为一个智能体Agent,采用通过该交叉口的机动车微观模型作为其状态空间，经过对交叉口信号控制方案的行动选择，最终采用全部车辆平均延误指标及交叉口全局交通模型联合表示行动效果，从车辆及道路状态两个层面实现了对交叉口配时优化的评价。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤1中建立所述机动车微观交通模型的过程包括：

采用深度学习的方法从所述交通轨迹数据中提取时空轨迹特征数据，所述时空轨迹特征数据包括描述机动车在所述交叉口的通行状态的位置、加速度、方向角和速度。

进一步，所述步骤1中建立所述交叉口全局交通模型还参考交通环境数据；所述交通环境数据包括气候状况、日期属性和突发事件发生状况；

所述交叉口全局交通模型的建立过程包括：基于所述交通流数据、所述交通监控视频及所述交通环境数据，采用深度学习方法提取所述交叉口路段的深层全局交通特征。

进一步，所述步骤2中所述单交叉口交通信号控制模型中对交叉口交通信号控制优化的过程为：在相位顺序及周期总时长固定的情况下，对各相位绿信比进行优化。

进一步，所述步骤2包括：

步骤201，采用深度学习的方法，构建以交叉口控制器Agent的状态s为输入、以交叉口控制器Agent在所述状态s下所有行动a的值估计Q(s,a)为输出的深度学习模型；

步骤202，建立交叉口评价指标：c_t＝x₁r_t+x₂D(q)+x₃m_t；

其中，r_t为表示当前交叉口的拥堵情况的交叉口平均延误指标，D(q)为交叉口平衡度指标，m_t为所述交叉口全局交通模型，x₁,x₂,x₃分别为所述交叉口平均延误指标、所述交叉口平衡度指标及所述交叉口全局交通模型在所述交叉口评价指标中所占比例，所述比例针对不同需求设定；

步骤203，确定深度学习模型迭代训练的损失函数为：L＝c_t+1+(Q(s_t+1,a_t+1|θ)-Q(s_t,a_t|θ))；

其中，c_t+1为交叉口Agent行动后交叉口评价指标，Q(s_t,a_t|θ)为行动前深度学习模型输出，Q(s_t+1,a_t+1|θ)为行动后深度学习输出；

步骤204，在交叉口原有信号控制方案下，采集当前交叉口交通状态s、当前交叉口控制器行动a、当前交通状态c及行动后交叉口交通状态s′作为所述深度学习模型的训练样本，迭代训练使得损失函数最小化，以深度学习模型输出Q(s,a)作为所述交叉口控制器Agent行动的评价指标。

进一步，所述步骤202中，所述交叉口平均延误指标r_t根据交叉口实际流量大小q、饱和流量q_s、信号控制周期长度T、绿信比λ计算得到；

所述交叉口平衡度指标D(q)为交叉口间各方向的排队长队q₁,q₂…q_i…q_n间方差。

进一步，所述步骤3包括：

步骤301，根据交叉口相似度划分区域；所述交叉口相似度根据交叉口距离、车流量方差以及交叉口间协方差计算得到；所述交叉口距离为交叉口之间最小连接路段数目；

步骤302，基于迁移学习方法对划分后的任一区域内的所述单交叉口交通控制模型的缺失数据补充以及初始化；

步骤303，基于协作图进行最优联合动作搜索，以所述区域内各交叉口的联合动作a₁,a₂,…,a_i,…,a_n为行动，区域内各交叉口评价指标c_i之和为行动后的评价机制确定所述区域交通信号控制模型；所述协作图的顶点为各个交叉口，所述协作图的边为交叉口之间的道路，所述协作图通过迭代在无向图相邻顶点间传递顶点的最优信息求解。

进一步，所述步骤301包括：

步骤30101，基于24小时内交叉口时序交通流中车流量参数构建一维车流量矩阵：[q₁,q₂,…,q_n]；

步骤30102，计算任意两个交叉口间的交叉口间协方差为车流量矩阵协方差；

步骤30103，分别计算任意两个交叉口的车流量方差为其各自的流量变化情况；

步骤30104，结合交叉口距离、车流量方差及交叉口间协方差计算交叉口相似度，并设置交叉口相似度阈值，实现基于交叉口距离的区域划分。

进一步，所述步骤302包括：

步骤30201，在所述区域内随机选择一个交叉口作为基础交叉口。

步骤30202，基于其他所述交叉口中相关数据，对所述基础交叉口的单交叉口交通控制模型训练数据中的缺失数据进行补充。

步骤30203，初步训练所述基础交叉口的单交叉口交通控制模型，作为所述区域中其他所述交叉口的初始单交叉口交通控制模型。

进一步，所述步骤303中，所述协作图中相邻顶点i向j间传递的最优信息包含两顶点间联合函数最大值及发送信息顶点i的最优信息，相邻顶点i,j间联合函数f_ij(a_i,a_j)的计算公式为：f_ij(a_i,a_j)＝Q(s_i,a_i|θ_i)×p_ij+Q(s_j,a_j|θ_j)；

其中，Q(s_i,a_i|θ_i)为相邻顶点深度学习模型输出；p_ij为机动车经过各顶点的移动概率；Q(s_j,a_j|θ_j)为当前顶点深度学习模型输出。

采用上述进一步方案的有益效果是：考虑交叉口在区域内的相互合作及相互影响关系，基于协作图构建区域路网中各交叉口的拓扑关系；基于机动车移动模式中的机动车位置预测，在协作图中相邻顶点间最优信息传输中引入车辆经过各边的移动概率，实现了更为准确且精确的区域内信息传输。

附图说明

图1为本发明提供的一种行动-评价机制下信号灯优化配时方法的流程图；

图2为本发明提供的一种基于多模态数据建立交通模型的方法的实施例的流程图；

图3为本发明提供的一种建立交叉口全局交通模型的方法的实施例的流程图；

图4为本发明提供的一种建立区域交通信号控制模型的方法的实施例的流程图；

图5为本发明提供的一种单交叉口交通控制模型的缺失数据补充以及初始化的方法的实施例的流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示为本发明提供的一种行动-评价机制下信号灯优化配时方法的流程图，由图1可知，该方法包括：

步骤1，根据交通轨迹数据建立模拟单个机动车的机动车微观交通模型，根据交通流数据和交通监控视频建立模拟交叉口道路通行状况的交叉口全局交通模型。

步骤2，以机动车微观交通模型为状态空间，以交通信号控制方案为行动空间，以交叉口全局交通模型为行动评价指标，建立单交叉口交通信号控制模型。

步骤3，以判定区域内的各个交叉口为单位进行优化控制，根据各个单交叉口交通信号控制模型建立使判定区域所有机动车的评价指标达到最优的区域交通信号控制模型。

本发明提供的一种行动-评价机制下信号灯优化配时方法，行动-评价机制为无监督情况下的自学习过程，能够实现对海量交通数据的实时处理；通过对多模态交通数据的不同处理，提取其中隐藏的以机动车为单位的微观交通模型以及以交叉口为单位的交叉口全局交通模型，实现对多模态交通数据的更充分利用；以单个交叉口作为一个智能体Agent,采用通过该交叉口的机动车微观模型作为其状态空间，经过对交叉口信号控制方案的行动选择，最终采用全部车辆平均延误指标及交叉口全局交通模型联合表示行动效果，从车辆及道路状态两个层面实现了对交叉口配时优化的评价。

实施例1

步骤1，根据交通轨迹数据建立模拟单个机动车的机动车微观交通模型，根据交通流数据和交通监控视频建立模拟交叉口道路通行状况的交叉口全局交通模型。

具体的，该步骤1是基于多模态数据的交通模型的过程，该交通模型包括机动车微观交通模型和交叉口全局交通模型，微观交通模型模拟单个机动车，模型的动态变量表示微观属性，交叉口全局交通模型作为单交叉口交通信号控制模型中的行动环境。如图2所示为本发明提供的一种基于多模态数据建立交通模型的方法的实施例的流程图，由图2可知：

采用深度学习的方法从交通轨迹数据中提取时空轨迹特征数据，时空轨迹特征数据包括描述机动车在交叉口的通行状态的位置、加速度、方向角和速度。

交叉口全局交通模型还参考交通环境数据；交通环境数据包括气候状况、日期属性和突发事件发生状况。交通监控视频及交通流数据在全局层面上描述了交叉口道路通行状况，而交通环境数据为对交叉口道路通行的背景知识补充。因此，基于交通监控视频、交通流数据及交通环境数据，采用深度学习方法，提取交叉口路段的深层全局交通特征。

交通模型维度过大会导致行动-评价机制下交叉口信号控制的维度爆炸问题，因此，针对多模态交通数据，构建多层深层交通特征提取模型，以实现对交通模型中特征的降维以及对人工无法表示的特征更好的理解。

步骤2，以机动车微观交通模型为状态空间，以交通信号控制方案为行动空间，以交叉口全局交通模型为行动评价指标，建立单交叉口交通信号控制模型。

单交叉口交通信号控制模型为行动-评价机制下，以单交叉口为对象的交通信号控制方案优化，如图3所示为本发明提供的一种建立交叉口全局交通模型的方法的实施例的流程图，由图3可知，步骤1中所得交通模型作为行动-评价机制下的单交叉口信号控制中交叉口控制器Agent状态空间，从单个机动车及交叉口的角度描述交通状态。其中，机动车属于交叉口控制器Agent观察的运动对象，因此交叉口控制器Agent决策时考虑交叉口周围的所有机动车。同时，交叉口周围的交通状态同样属于交叉口控制器Agent决策时需要考虑的状态因素。

交叉口控制器Agent作为评价-行动机制下的智能体,在观测到目前交叉口所处状态后，需要在动作空间中选择一个动作执行，在每个时刻选择最优的动作即为交叉口交通信号控制优化。

优选的，本发明实施例中，在单交叉口交通信号控制模型中对交叉口交通信号控制优化的过程为：在相位顺序及周期总时长固定的情况下，对各相位绿信比进行优化。其中，绿信比是指该相位绿灯时长与周期时长的比值，合理的控制绿信比可以有效的增加交叉口的通行能力。绿信比λ计算公式为：式中t_g为有效绿灯时间，T为周期。

评价指标作为行动-评价机制下动作选择后的结果表示，对交叉口控制器Agent的最优动作选择有着激励作用，即交叉口控制器Agent将选择评价指标最高的动作。

因此，基于该交叉口原有信号控制方案中的各相位顺序及周期时长，将各相位绿信比λ₁,λ₂…λ_i…λ_n作为参数构成智能体的动作空间。具体的，步骤2包括：

步骤201，采用深度学习的方法，构建以交叉口控制器Agent的状态s为输入、以交叉口控制器Agent在状态s下所有行动a的值估计Q(s,a)为输出的深度学习模型。

步骤202，建立交叉口评价指标：c_t＝x₁r_t+x₂D(q)+x₃m_t。

其中，r_t为表示当前交叉口的拥堵情况的交叉口平均延误指标，D(q)为交叉口平衡度指标，m_t为交叉口全局交通模型，x₁,x₂,x₃分别为交叉口平均延误指标、交叉口平衡度指标及交叉口全局交通模型在交叉口评价指标中所占比例，比例针对不同需求设定，采用加权平均的方式得到该交叉口评价指标。

具体的，交叉口平均延误指标r_t根据交叉口实际流量大小q、饱和流量q_s、信号控制周期长度T、绿信比λ计算得到，具体可采用Webster等延误模型。

交叉口平衡度指标D(q)为交叉口间各方向的排队长队q₁,q₂…q_i…q_n间方差，实现交叉口各方向的资源分配均衡。

步骤203，确定深度学习模型迭代训练的损失函数为：L＝c_t+1+(Q(s_t+1,a_t+1|θ)-Q(s_t,a_t|θ))。

其中，c_t+1为交叉口Agent行动后交叉口评价指标，Q(s_t,a_t|θ)为行动前深度学习模型输出，Q(s_t+1,a_t+1|θ)为行动后深度学习输出。

步骤204，在交叉口原有信号控制方案下，采集当前交叉口交通状态s、当前交叉口控制器行动a、当前交通状态c及行动后交叉口交通状态s′作为深度学习模型的训练样本，迭代训练使得损失函数最小化，以深度学习模型输出Q(s,a)作为交叉口控制器Agent行动的评价指标。

步骤3，以判定区域内的各个交叉口为单位进行优化控制，根据各个单交叉口交通信号控制模型建立使判定区域所有机动车的评价指标达到最优的区域交通信号控制模型。如图4所示为本发明提供的一种建立区域交通信号控制模型的方法的实施例的流程图，由图4可知，该方法包括：

步骤301，根据交叉口相似度划分区域；交叉口相似度根据交叉口距离、车流量方差以及交叉口间协方差计算得到；交叉口距离为交叉口之间最小连接路段数目。

该交叉口相似度与交叉口间距离及交通流特征有着密切的关系，交叉口间距离越近，则机动车在交叉口之间行驶会呈现一种有序性和整体性,说明交叉口间相似性较大。同时，交叉口间交通流相似度越大，代表两个交叉口相关性较大。具体的，步骤301包括：

步骤30101，基于24小时内交叉口时序交通流中车流量参数构建一维车流量矩阵：[q₁,q₂,…,q_n]。

步骤30102，计算任意两个交叉口间的交叉口间协方差为车流量矩阵协方差。

步骤30103，分别计算任意两个交叉口的车流量方差为其各自的流量变化情况。

步骤30104，结合交叉口距离、车流量方差及交叉口间协方差计算交叉口相似度，并设置合适的交叉口相似度阈值，实现基于交叉口距离的区域划分。

步骤302，基于迁移学习方法对划分后的任一区域内的单交叉口交通控制模型的缺失数据补充以及初始化。

区域路网中交叉口中车流量十分相似，同一区域路网中单交叉口信号控制模型相似性较大。如图5所示为本发明提供的一种单交叉口交通控制模型的缺失数据补充以及初始化的方法的实施例的流程图，由图5可知，步骤302包括：

步骤30201，在区域内随机选择一个交叉口作为基础交叉口。

步骤30202，基于其他交叉口中相关数据，对基础交叉口的单交叉口交通控制模型训练数据中的缺失数据进行补充。

步骤30203，初步训练基础交叉口的单交叉口交通控制模型，作为区域中其他交叉口的初始单交叉口交通控制模型。

步骤303，基于协作图进行最优联合动作搜索，以区域内各交叉口的联合动作a₁,a₂,…,a_i,…,a_n为行动，区域内各交叉口评价指标c_i之和为行动后的评价机制确定区域交通信号控制模型。协作图的顶点为各个交叉口，协作图的边为交叉口之间的道路，协作图通过迭代在无向图相邻顶点间传递顶点的最优信息求解。

具体的，协作图中相邻顶点i向j间传递的最优信息包含两顶点间联合函数最大值及发送信息顶点i的最优信息，相邻顶点i,j间联合函数f_ij(a_i,a_j)的计算公式为：f_ij(a_i,a_j)＝Q(s_i,a_i|θ_i)×p_ij+Q(s_j,a_j|θ_j)。

其中，Q(s_i,a_i|θ_i)为相邻顶点深度学习模型输出；p_ij为机动车经过各顶点的移动概率；Q(s_j,a_j|θ_j)为当前顶点深度学习模型输出。

机动车移动模式描述了机动车在路网中的移动状态，可实现对机动车在移动预测，从而获得机动车在协作图中经过各顶点的移动概率p_ij。

考虑交叉口在区域内的相互合作及相互影响关系，基于协作图构建区域路网中各交叉口的拓扑关系；基于机动车移动模式中的机动车位置预测，在协作图中相邻顶点间最优信息传输中引入车辆经过各边的移动概率，实现了更为准确且精确的区域内信息传输。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。