一种基于胶囊网络和嵌套式长短时记忆神经网络的路网状态预测方法

摘要

本发明公开了一种基于胶囊网络和嵌套式长短时记忆神经网络的路网状态预测方法，涉及交通信息预测技术领域。首先将目标路网划分为n个路段，将时间等间隔划分，建立空间对应关系；然后将所在的空间地理区域划分网格，对网格进行取值；将取值作为像素产生对应的图片作为输入样本集，建立胶囊网络模型提取空间特征。搭建嵌套式长短时记忆神经网络模型，并将胶囊网络模型和嵌套式长短时记忆神经网络模型顺序连接，构成组合预测模型。利用输入样本集对组合预测模型进行训练及验证，构成最准确的预测模型。最后将测试集图片作为输入进行准确预测，得到未来某一时间段内路网的状态。本发明进行更为精准的预测，表现稳定，效率更高。

说明书

技术领域

本发明涉及交通信息预测技术领域，具体地说是一种基于胶囊网络和嵌套式长短时记忆神经网络的路网状态预测方法。

背景技术

交通状态预测作为交通研究中的重要课题之一，利用过去的交通状态数据预测未来的交通拥堵信息，不但可以为出行者提供最优的出行路径，提高出行效率，同时也能为相关交管部门提供更好的城市规划方案，是当前国际社会公认的解决交通问题的最佳途径之一。

随着智能交通系统及GPS技术的不断进步，浮动车数据的出现也使得交通状态预测突破了利用基础设施采集数据的瓶颈，其可控制的大覆盖范围及实时性为对城市路网交通状态的预测奠定了夯实的数据基础，也更有利用交通管理者从宏观层面对城市拥堵现状进行把控。

由于城市路网覆盖交叉口、快速路以及主干路等多种道路结构，其交通状态呈现出高度的动态、随机和复杂性，庞大的数据量和复杂的数据结构为预测的准确性带来了挑战，而传统的基于统计学模型和机器学习的交通状态预测方法又难以从如此大规模、复杂事变、异质多样、价值密度高低并存的数据中获取有价值的信息。因此，近年来现有技术也逐渐转向利用网络表达能力更强、学习能力更强以及泛化能力更强的深度学习模型来解决这一问题，通过从复杂的交通大数据中挖掘出路网状态的时空演变规律，然后对路网层级的交通状态做出准确预测。

常见的几种基于深度学习的路网交通状态预测方法及其局限性：

(1)基于时间序列的处理方法，将路网中每个路段的交通状态按一定间隔组成时间序列，采用递归神经网络挖掘出路网中各路段交通状态的时间演化规律进行预测。但是，该方法只考虑了单个或多个路段交通演变的时间相关性，无法从路网整体角度考虑路段之间的空间关联性，其准确度有待提高。

(2)基于图片处理的方法，将路网中各路段的交通状态表征成时空图的形式，采用卷积神经网络来挖掘交通时空图中隐含的路网状态的时空特征，以进行准确预测。但由于在时空图中，路网的空间结构要被拆分并重新组合到一维空间，所以该方法局限于时空图中对于路段的排列顺序，而不同的顺序对于预测结果有很大的影响。

(3)基于二维空间，保留路网的空间拓扑关系，对路网进行网格化处理，将每一时刻路网的状态表征成一张图片，类似于视频中的帧，然后利用卷积神经网络和递归神经网络的组合形式，分别挖掘路段间的空间关系及时间演化规律，从而进行更精准的路网状态预测。但该种方法无法对空间重叠道路(如高架桥)进行有效的区分预测，而且算法准确度受限于网格的大小，当网格较大，表征图片出现低分辨率的模糊区域时，其准确度也有所下降。

发明内容

有鉴于上述局限性及不足，本发明提供了一种基于胶囊网络和嵌套式长短时记忆神经网络的路网状态预测方法，在充分挖掘路段之间的空间关系和交通状态的时间演化规律的同时，解决上述存在的问题。具体是：首先，利用胶囊网络对于模糊区域进行区分预测时的性能，提取出路段之间更完整的空间结构特征，然后利用嵌套式的长短时记忆神经网络来挖掘交通状态在时序上的演变规律，最后将上述两个模型顺序连接，搭建深度学习预测模型，从而实现路网层级交通状态的准确预测。

具体步骤如下：

步骤一、选取目标路网，将其划分为n个路段，并将时间等间隔划分；

时间间隔以尽量捕捉到路网交通状态在短时间内的变化规律为原则进行划分；

步骤二、针对某个时间间隔t，计算在该时间间隔t内每个路段上所有经过的车辆的平均速度；

若某路段a在时间间隔t内没有车辆通过，则用上一时间间隔的平均速度代替。

路段a在时间间隔t内的平均速度计算方法如下：

其中，V_at即表示时间间隔t内路段a的平均速度，a∈(1,2,...,n)；k为该时间间隔内通过该路段的车辆数，V_it表示每辆车在该路段的平均速度。

步骤三、结合GIS地图，将每个时间间隔内，各个路段的平均速度投影到路网中，建立各路段与平均速度的空间对应关系；

空间对应关系是指：将每个路段的平均速度值匹配到其对应的空间地理区域中的线段上，并用不同灰度来表示速度大小。

步骤四、对目标路网所在的空间地理区域，根据经纬度范围进行网格划分，并根据路段的平均速度对每一个网格进行取值；

取值标准如下：对于没有路段的网格区域，取值为零；

对于仅有一条路段通过的网格，取值即为该路段对应的平均速度；

对于两条以上路段经过的网格，取值为所有路段对应平均速度的均值。

步骤五、将每个时间间隔内的每个网格对应的取值作为像素，产生各时间间隔对应的图片，在研究时间范围内得到的所有图片作为预测模型的输入样本集。

每张图片代表着在每个时间间隔内路网的交通状态；

预测模型形为(X,Y)，用每个路段速度组成的状态向量来表示。X表示输入的训练及测试样本集图片，Y表示输出，为预测的路网状态真实值，形式为状态向量。

步骤六、构建胶囊网络模型提取输入样本集的空间特征。

根据输入的样本集图片，首先建立初级胶囊层，提取图片中隐含的路网交通状态的多组空间局部特征，作为低级胶囊；然后建立高级胶囊层，通过全连接的方式整合所有低级胶囊中的局部特征，进一步提取出所有局部特征之间的空间关系，得到一组高级胶囊，其表征着路网交通状态的全局空间关系，并将其转换为一组空间特征向量，为后续模型建立做准备。

步骤七、将LSTM结构中的一个记忆单元用一个完整的LSTM结构代替，并通过门单元进行连接，搭建嵌套式的长短时记忆神经网络模型，用于提取路网交通状态的时间序列演化特征。

步骤八、将胶囊网络模型和嵌套式长短时记忆神经网络模型顺序连接，构成最终形式组合预测模型。

顺序连接是指：将胶囊网络模型输出的每个时间间隔的空间特征向量作为嵌套式长短时记忆神经网络模型的输入，并在嵌套式长短时记忆神经网络模型的末尾加入全连接层，搭建完整的深度学习框架，组合成预测模型。

步骤九、利用输入样本训练集对组合预测模型进行反复训练及验证，得到最佳的模型参数构成最准确的预测模型；并利用前若干时间段内的测试集图片作为输入进行准确预测，得到未来某一时间段内路网的状态。

未来某一时间段内路网的状态由每个路段的速度组成的状态向量表示。

本发明的优点在于：

(1)一种基于胶囊网络和嵌套式长短时记忆神经网络的路网状态预测方法，解决了传统统计模型及机器学习相关方法在进行路网状态预测时，无法处理路网复杂空间结构特征的缺点，本发明通过网格化处理，将路网状态表征成多帧图片的形式，利用胶囊网络提取图片中各路段之间的空间关系，然后通过嵌套式长短时记忆神经网络提取路网状态的时变规律，在充分考虑时空信息的条件下，建立组合进行更为精准的预测。

(2)一种基于胶囊网络和嵌套式长短时记忆神经网络的路网状态预测方法，利用新型胶囊网络代替卷积神经网络，弥补了其在处理路网空间重叠信息和低分辨率图片时，能力稍显不足的问题。通过将标量神经元转换成向量，使得模型在空间特征提取时可以保存路网中各路段之间更多的空间关系，如路段的位置、方向、长度，代表速度的大小等等。

(3)一种基于胶囊网络和嵌套式长短时记忆神经网络的路网状态预测方法，利用嵌套式长短时记忆神经网络，将传统顺序堆栈式的结构转换成内外嵌套结构，并通过门结构进行连接。由此，外部记忆单元可以自由选择读取、编写相关长期信息到内部单元，省去了堆栈结构中，相关长期信息需要先输出再输入的二次筛选过程，使得模型在处理更长时间规模的历史信息时，表现更为稳定，效率也更高。

(4)一种基于胶囊网络和嵌套式长短时记忆神经网络的路网状态预测方法，相比传统的分析方法，本发明不但在进行路网层级的交通状态预测时充分挖掘了其时空特征，而且对包含多种道路形式的复杂路网，尤其是高架桥、闸道等空间排列重叠或紧凑的路段，具有一定的针对性，解决了对于该类路网交通状态进行准确预测的方法稀缺问题，且结果具有一定的高准确性及鲁棒性。

附图说明

图1为本发明一种基于胶囊网络和嵌套式长短时记忆神经网络的路网状态预测方法原理图；

图2为本发明一种基于胶囊网络和嵌套式长短时记忆神经网络的路网状态预测方法流程图；

图3为本发明将各路段的速度映射到路网的示意图；

图4为本发明对目标路网所在的空间地理区域网格化处理的示意图；

图5为本发明构建的胶囊网络模型结构图；

图6为本发明搭建的嵌套式长短时记忆神经网络模型结构图；

图7为本发明预测模型的整体框架示意图；

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

本发明一种基于胶囊网络和嵌套式长短时记忆神经网络的路网状态预测方法，如图1所示，首先对数据预处理，通过浮动车上GPS设备以一定的时间间隔返回的速度数据计算路段级别的平均速度，并投影到GIS地图上，然后利用网格化处理过程将路网交通状态表征成多帧图片形式，并建立样本集；然后，构建胶囊网络模型提取样本集中隐含的路网状态的空间特征；在完成空间特征提取的基础上，将胶囊网络提取出的空间特征向量作为输入，构建嵌套式长短时记忆神经网络进行路网状态时间演化规律的提取，进行时间序列预测。最后，将胶囊网络和嵌套式长短时记忆神经网络顺序连接，搭建深度学习框架，构建组合预测模型进行训练，预测未来的路网状态。

如图2所示，具体步骤如下：

步骤一、选取目标路网，将其划分为n个路段，并将时间等间隔划分；

选取北京市某一路网为研究对象，如图3A所示，共包括278条长度不等的路段，实际涵盖的面积为2.4272平方公里(1.64km×1.48km)。时间间隔以尽量捕捉到路网交通状态在短时间内的变化规律进行划分，本发明时间间隔选为2分钟。

步骤二、针对某个时间间隔t，计算在该时间间隔t内每个路段上所有经过的车辆的平均速度；

将装有GPS设备的浮动车返回的速度数据以2分钟为时间间隔，以路段为单位，计算每条路段在时间间隔内的平均速度，作为初始输入。若某路段a在2分钟内没有车辆通过，则用前2分钟的平均速度代替。

路段a在时间间隔t内的平均速度计算方法如下：

其中，V_at即表示时间间隔t内路段a的平均速度，a∈(1,2,...,278)；k为该时间间隔内通过该路段的车辆数，V_it表示每辆车在该路段的平均速度。

步骤三、结合GIS地图，将每个时间间隔内，各个路段的平均速度投影到路网中，建立各路段与平均速度的空间对应关系；

投影过程如图3B和3C所示，空间对应关系是指：将每个路段的平均速度值匹配到其对应的空间地理区域中的线段上，不同灰度表示的速度值不同。

步骤四、对目标路网所在的空间地理区域，根据经纬度范围进行网格划分，并根据路段的平均速度对每一个网格进行取值；

网格划分如图4所示，以路网的一小部分为例。首先通过0.0001°*0.0001°大小(用经纬度衡量，实际距离大致为10米)的网格对路网进行切分，然后根据路段的速度值对网格进行赋值，无路段经过的网格区域取值为零，单一路段经过的网格区域取值即为该路段对应的平均速度，对于两条以上路段通过时则取值为所有路段对应的平均速度的均值。

步骤五、将每个时间间隔内的每个网格对应的取值作为像素，产生各时间间隔对应的图片，在研究时间范围内得到的所有图片作为预测模型的输入样本集。

对于整个研究路网，将每个网格的速度值作为像素，则每2分钟都可以产生一张路网交通状态的表征图片，其分辨率大小为164×148。图片中不但包含着在2分钟内以速度表征的路网交通状态，更隐含着路网的空间结构以及各路段之间的关联关系。

预测模型形为(X,Y)，用每个路段速度组成的状态向量来表示。X表示输入的训练及测试样本集图片，Y表示输出，为预测的路网状态真实值，形式为状态向量。

样本集的作为预测模型的输入部分，为多个二维路网空间状态矩阵；预测模型的输出为以路段为单位的状态向量，将样本集图片形式的输入划分为两部分，将其中一个月的数据用于模型训练，后续两周的数据用于测试。

在预测模型的测试中，将2015年06月01日到2015年06月30日的样本作为训练集，2015年08月01日到2015年08月14日的样本作为测试集。时间范围从上午6点到晚上22点，以2分钟为单位，每天即包含481个样本。考虑到路网状态演化的时序性，本实施例预测模型输入部分包含了15个历史状态，输出部分可以采用多步输出，同时预测未来1、5、10步，即根据30分钟的历史状态预测未来2、10、20分钟的路网状态。因此单个样本的输入为s＝[(x₁,x₂,...x₁₅),(y₁,y₅,y₁₀)]，其中表示连续的15个路网状态输入矩阵，(y₁,y₅,y₁₀)分别表示未来2、10、20分钟的路网状态预测值。

步骤六、构建胶囊网络模型提取输入样本集的空间特征。

胶囊网络是一种新型神经网络结构，针对卷积神经神经网络的一些局限性而提出的，其特征在于利用向量形式的胶囊代替传统标量形式的神经元，使得胶囊网络在提取图片中局部特征时可以考虑到更多维度的信息，包括局部特征的旋转角度、方向、大小等等，从而解决了卷积神经网络对转换后的局部特征(位置、角度、颜色等发生变化)识别能力欠缺的问题。另一方面，胶囊网络省去了卷积神经网络中的池化层操作，从而保留了所有提取出的局部特征，避免了为降低模型复杂度造成的一些局部特征之间关联关系缺失的问题。

胶囊网络模型主要由卷积层和全连接层组成，本实施例中的模型采用两层卷积层加一层全连接层的结构，如图5所示，对于输入的路网交通状态表征图片，首先利用常规卷积层提取出相近路段间的空间信息，即路网交通状态的空间局部特征；然后利用初级胶囊层(也属于卷积操作)进一步提取出稍远距离路段间的空间信息，并将神经元转换为向量形式的初级胶囊；最后通过交通胶囊层(即全连接层)，充分考虑所有初级胶囊中隐含的局部特征之间的空间关系，利用高级胶囊来挖掘距离较远的路段之间的空间关系。

初级胶囊层的卷积操作采用一种针对于向量的新型非线性激活函数squashing，其公式如下：

其中，v_j为输出向量，s_j为其输入。通过该操作，较短向量的长度转换为接近于0，而较长向量的长度则转化为接近于1。这也就使得胶囊向量的长度可表征其提取出的局部特征的存在与否，即存在的概率，而向量的方向则编码了该局部特征的存在姿态，例如路段的位置、方向和速度大小等等。

在卷积神经网络中，低层级神经元通过加权操作和激活函数与高层级神经元进行连接，并通过反向传播进行权重的学习；而在胶囊网络中，向量形式的胶囊之间的加权操作、激活方式和权重的学习会略有不同。

首先，对于初级胶囊层提取出的路网交通状态局部空间特征向量，需要通过与权重矩阵相乘进行仿射变换，以得到局部特征与高级特征之间的空间关系。若令u_i表示局部特征向量，则经仿射变换后的输入向量即为：

W_ij为权重矩阵。

然后对上述输入进行加权操作，即高级胶囊的总输入s_j由所有初级胶囊层的输出向量加权得到，公式如下：

其中权重c_ij通过不断迭代的动态路由算法确定，该算法的核心思想为确定高级胶囊会接受哪一部分的低级胶囊作为输入，即确定高级特征是由哪些局部特征所决定，这一步也表征着模型对于挖掘距离较远路段之间空间关系的能力。

其具体流程如下：

1)对于初级胶囊层中每一个初级胶囊i，通过softmax函数，使得其与所有高级胶囊的耦合系数b_ij之和变成1，函数输出c_ij即表征着低级胶囊被接受的概率，其公式如下：

初始b_ij均为0，即每个低级胶囊初始状态下被接受的概率相同。

2)对于交通胶囊层的每一个高级胶囊j进行加权操作，如公式(3)所示。

3)对于高级胶囊的总输入s_j，利用squshing函数进行激活，得到输出向量v_j。

4)对权重b_ij进行更新，公式如下：

通过上述操作，对于两个向量，当和v_j相似时，其点积会变大，说明低级胶囊i连接到高级胶囊j的概率变大，反之则减小。

5)重复执行1～4步。通过实验，一般重复执行三次即可使模型达到最优。

将上述模型作用于输入的路网状态表征图片，即可得到模型的输出，一组包含着路网中各路段之间空间关系的交通状态表达向量，由多组高级胶囊表示。

步骤七、将LSTM结构中的一个记忆单元代替一个完整的LSTM结构，并通过门单元进行连接，搭建嵌套式的长短时记忆神经网络模型，用于提取路网交通状态的时间序列演化特征。

将长短时记忆神经网络的一个细胞替换为一个完整的长短时记忆神经网络，建立嵌套式结构的长短时记忆神经网络，由此构成内外两层的长短时记忆单元(Long Short-Term Memory，LSTM)。其中内部LSTM的运算方式与基本的LSTM单元相同，而对于外部LSTM单元，只需将其元胞状态更新规则变为内部LSTM的输出，即可构成嵌套式的双层LSTM结构。

在完成空间特征提取的基础上，还需建立递归神经网络模型进行时间序列预测；该部分本实施例选用了一种新型的嵌套式长短时记忆神经网络结构，其结构如图6所示，包含着内外两层LSTM(Long Short-Term Memory，长短时记忆)单元，将前15个历史状态的空间特征作为输入，通过学习输入序列之间的时序变化规律，预测未来2、10、20分钟的路网状态。其中内部LSTM的运算方式与基本的LSTM单元相同，具体表示如下：

其中，为内部LSTM单元的输入，由外部单元参数计算得到，其计算方式分别为：

为内部LSTM单元的三个门结构，为内部单元的元胞状态。为连接和门结构及元胞状态的权重矩阵,，为连接和门结构及元胞状态的权重矩阵，为偏置项。σ为sigmoid激活函数，⊙表示向量的点乘。

对于外部LSTM单元，只需变换其中一步，将其元胞状态更新规则变为内部LSTM的输出，即由此即可构成嵌套式的双层LSTM结构。

步骤八、将胶囊网络模型和嵌套式长短时记忆神经网络模型顺序连接，搭建深度学习框架，构建组合预测模型。

对胶囊网络和嵌套式长短时记忆神经网络模型进行顺序连接，将胶囊网络输出的一组空间特征向量聚合为一个特征向量，传递给嵌套式长短时记忆神经网络作为输入，形式如下：

其中为高级胶囊j在历史时间状态t的输出向量，p为高级胶囊的数量，即空间特征向量的个数。最终的输入形式为15个历史状态构成的时间序列{x_t-14,x_t-13…,x_t}。

最后在嵌套式长短时记忆神经网络模型末尾添加一层全连接层(Fullyconnected layer,FC)，得到以路段为单位的交通状态预测结果。预测速度值计算方法如下：

y^t+1＝w×h_t+b

其中h_t为嵌套式长短时记忆神经网络的输出，w和b分别表示隐含层和全连接层之间的权重和偏置。y^t+1即为最终的预测结果。整体路网状态的预测模型如图7所示，模型将从端到端反复进行训练，并根据15个步骤的历史数据进行多步预测。

步骤九、利用输入样本训练集对组合预测模型进行反复训练及验证，得到最佳的模型参数构成最准确的预测模型；并利用前若干时间段内的测试集图片作为输入进行准确预测，得到未来某一时间段内路网的状态。

未来某一时间段内路网的状态由每个路段的速度组成的状态向量表示。

通过Keras深度学习框架搭建组合预测模型，采用RMSprop作为优化器，并调用GPU对训练集进行训练，同时，为防止过拟合，引入Dropout层，更有利于模型收敛；模型的参数结构如表1所示。

表1

将测试集数据输入训练好的模型，即可根据前30分钟的路网状态预测出后2分钟、10分钟、20分钟的路网状态。将预测结果与真实值进行对比，计算均方误差MSE和平均相对百分误差MAPE，以衡量预测的准确性，方法如下：

其中为预测值，y_i为真实值。

选取多种流行的深度学习算法进行对比，不同算法的预测误差如表2所示：

表2

由上表可知，在众多深度学习预测方法中，本发明所搭建的胶囊网络+嵌套式长短时记忆神经网络(CapsNet+NLSTM)模型在短时预测和长时预测均获得最小的误差，平均MSE误差相较于卷积神经网络+长短时记忆神经网络(CNN+LSTMs)分别减少了15％，8.8％和6.6％。上述结果说明，本发明可以充分挖掘路网层级交通状态的时空特征，并获得更准确地预测结果，从而也验证了该种基于胶囊网络和嵌套式长短时记忆神经网络的路网状态预测方法的准确性及可靠性。

以上仅为本发明优选的具体实施方式，凡是在本发明构思下进行的修改、删除和替换，由于不脱离本发明的构思，因此均应被纳入到本发明的保护范围。