一种恶劣天气下基于图像融合的城市交通调度系统及方法

摘要

本发明公开了一种恶劣天气下基于图像融合的城市交通调度系统及方法，系统包括交通调度中心和搭载在卫星上的合成孔径雷达及光学遥感雷达；交通调度中心包括用于对实时照片进行处理得到道路实时车流量等级的图像处理子中心和用于将道路的实时车流量等级发布给车辆群的信息发布子中心。方法包括卫星实时拍摄城市SAR图与PAN图的图像序列、图像传送与预处理、SAR图和PAN图的图像融合、道路车流量等级划分和道路信息发布等步骤。本发明利用图像融合对城市道路交通情况进行识别并评估每条道路车流量级别，通过交通调度中心实时广播信息给车辆，从而实现城市交通调度，有效防止因恶劣天气引起的交通拥堵。

说明书

技术领域

本发明属于城市交通调度领域，是图像融合技术与基于城市地图 交通调度技术的综合性应用，特别是涉及一种恶劣天气下基于图像融 合的城市交通调度系统及方法。

背景技术

近两年来，雾霾天气频繁出现，车辆数量的飞速增长，道路交通 事故频发，拥堵现象严重成为人们日益关注的焦点。以摄像机拍摄道 路信息传统的交通调度及信息发布系统，由于受到雾霾影响，能见度 大大下降，不能准确、及时地获得道路交通情况而面临着巨大的压力。

发明内容

针对现有技术存在的不足，本发明目的是提供一种恶劣天气下基 于图像融合的城市交通调度系统及方法，能够降低恶劣天气下车辆拥 挤的概率。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明的一种恶劣天气下基于图像融合的城市交通调度系统，包 括交通调度中心和搭载在卫星上的合成孔径雷达及光学遥感雷达；合 成孔径雷达及光学遥感雷达用于间隔一定的时间段连续地拍摄城市 的实时照片，并将其传送给交通调度中心；交通调度中心包括用于对 实时照片进行处理得到道路实时车流量等级的图像处理子中心和用 于将道路的实时车流量等级发布给车辆群的信息发布子中心。

本发明的一种城市交通调度系统的方法，具体包括以下几个步骤：

步骤（1）、采集城市每个道路的经度坐标和纬度坐标；

步骤（2）、按一定的时间间隔合成孔径雷达及光学遥感雷达实时 拍摄城市的SAR图和PAN图的图像序列，并发送给图像处理子中心；

步骤（3）、根据步骤（1）得到的每个道路的经度坐标和纬度坐 标，对步骤（2）得到的图像序列进行分割，得到每条道路的SAR图 和PAN图的图像序列；

步骤（4）、对分割后得到的SAR图和PAN图的图像序列进行预处 理；

步骤（5）、对步骤（4）预处理后得到的图像序列中，同一时刻 拍摄的SAR图和PAN图进行图像融合，得到融合后的图像序列；

步骤（6）、对步骤（5）中得到的图像序列进行处理，得到该道 路实时的车流量等级；

步骤（7）、通过信息发布子中心将每条道路的车流量等级发布给 车辆群。

步骤（4）中，SAR图和PAN图预处理的方法如下：

(1a)、当SAR图和PAN图分辨率不同时，以分辨率低的图像的分 辨率为标准，对高分辨率图像进行重采样，得到分辨率相同的两类图 像；

(1b)、对分辨率相同的SAR图和PAN图分别进行中值滤波，去除 图像的噪声；

(1c)、将SAR图进行直方图匹配，使其与PAN图在色调和反差上 相同：$S_M=\frac{{\sigma }_{\mathrm{PAN}}}{{\sigma }_{\mathrm{SAR}}}\times (\mathrm{SAR}\left(I\right)-{\mu }_{\mathrm{SAR}})+{\mu }_{\mathrm{pan}},$其中，S_M是直方图匹配后 的SAR图像；SAR(I)是匹配前的SAR图像；σ_PAN和σ_SAR分别是PAN 图像和SAR图像的标准差；μ_pan和μ_SAR则分别是PAN图像和SAR图像 的均值。

步骤（5）中，对SAR图和PAN图进行图像融合的方法如下：

(2a)、用公式求出SAR图 的纹理矩阵，G_0°、G_45°、G_90°、和G_135°分别对应方向θ的角度 0°,45°,90°,135°时的灰度共生矩阵，Ent_0°、Ent_45°、Ent_90°和Ent_135°则 是对应角度矩阵的熵，根据其纹理矩阵，得到SAR图的纹理图像；

(2b)、用四叉树分割与合并法对纹理图像进行区域划分，得到不 规则特征区和规则特征区，根据区域特征一致性来判定区域是否分割 或合并；区域特征一致性值的定义为：

$R\left(S_i\right)=\frac{d\left(S_i\right)}{\sigma \left(I\right)};$$d\left(S_i\right)=\frac{1}{\left|S_i\right|}\underset{(x,y)\in S_i}{\Sigma }{(I(x,y)-\mu \left(S_i\right))}^2;$其中，S_i是每一个子区域的像素点集合， R(S_i)为该区域S_i的区域特征一致性值，σ(I)是整幅图像的方差， d(S_i)和μ(S_i)分别是区域S_i的均值和方差，I(x,y)为像素点(x,y)的 光强；如果一个区域的R(S_i)值低于预先设定的阈值ξ，则该区域的 特征可以视为一致的，即不需要再分割，否则，该区域继续被分为四 个子区域，直到每个区域都符合一致性条件，或者达到设定的最小区 域大小；

(2c)、用平移不变离散小波变换对PAN图和SAR图进行图像分解， 并对近似图像和细节图像采用不同的融合规则；近似图像的融合准则 表示为：

$a_N^{\prime }=\left(\begin{array}{cc}{a}_N\left(P\right)& \mathrm{ifM}\left(p\right)=0\\ a_N\left(P\right)\times {\beta }_1+a_N\left(S\right)\times {\beta }_2& \mathrm{otherwise}\end{array}\right);$a'_N为融合后的近似图像，a_N(P)和a_N(S) 分别对应PAN图和SAR图的近似图像；M(p)表示一个值只有0和 1的掩模图，0代表不规则特征区，1代表规则特征区；β₁和β₂分别 PAN图和SAR图的权值，和则分别是a_N(P)和a_N(S)的方差； 对于细节图像，采用的融合准则是取两者绝对值最大的系数作为最终 的融合系数；

(2d)、根据融合后的小波系数逆变换，得到融合图像；

(2e)、根据上述步骤依次对不同时刻对应的SAR图和PAN图像进 行融合，得到融合后的图像序列。

步骤（6）中，对图像序列进行处理得到该道路实时车流量等级 的方法如下：

（3a）、利用连续图像序列之间的差分，得到图像中移动的区域， 检测出道路中行驶的车辆；检测过程中，若第t+n'时刻与第t时刻之 差所对应的移动的区域面积，小于第t时刻与第t-n'时刻之差中对应 区域面积的1/4，即此刻有很多车辆停止前进，则认为行驶中的车辆 遇到红灯停止，此时以第t时刻与第t-n'时刻之差得到的车辆为区域 中的车辆，其中，n'为卫星拍摄图像序列的时间间隔；

（3b）、求出路口车道中车辆的总长度，然后用车道中车辆的总 长度除以对应车道的总长度L'，结果为n，总长度是指两端路口的停 止线之间的距离，根据n得到该车道上车流量级别L。

将路口的车流量分为四个级别，分别定义为：

当n<1/4时，道路情况为道路空闲，L=0；

当1/4≤n<1/3时，道路情况为道路正常，L=1；

当1/3≤n<2/3时，道路情况为一般拥堵，L=2；

当n≥2/3时，道路情况为严重拥堵，L=4。

步骤（7）中，通过信息发布子中心将每条道路的车流量等级发 布给车辆群的方法如下：

(4a)、预存整个城市的道路线路图；

(4b)、根据车流量等级L对线路图着色，L=0的道路为白色，L=1 的道路为淡绿色，L=2的道路为深绿色，L=4的道路为红色；

(4c)、将着了色的道路交通图通过信息发布子中心发布实时车流 量等级，且实时地根据车流量等级进行颜色变化，使车辆群能够收到。 本发明的有益效果如下：

本发明基于图像融合技术进行城市交通调度，避免了传统交通调 度的低效率，提高了交通的流畅度，调度速度快，准确性强，效率高， 受天气影响小；本发明的系统基于雷达拍摄的道路信息，受天气因素 影响极小，算法效率高，图像融合效果好，让车辆群在第一时间了解 到城市交通的信息，避开拥堵道路，有效缓解交通压力，降低道路交 通事故的发生。

附图说明

图1为本发明的系统组成框图；

图2为本发明中城市交通调度方法的流程图；

图3为本发明中对SAR图和PAN图预处理的流程图；

图4为本发明中图像融合的流程图；

图5为本发明中车流量等级划分的流程图；

图6为本发明中道路信息发布的流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明 白了解，下面结合具体实施方式，进一步阐述本发明。

本发明的基于图像融合的城市交通调度系统及方法以整个城市 的交通情况为基础进行调度，速度快，准确性强，效率高，受天气影 响小，在缓解交通压力、交通调度方面非常实用。

合成孔径雷达由于其成像原理的不同于光学遥感，可以穿透大气 中的云雾等干扰获得地表信息，因此在雾霾，大雨等恶劣天气情况下 具有重要的应用价值。

参见图1，本发明的一种恶劣天气下基于图像融合的城市交通调 度系统，包括交通调度中心和搭载在卫星上的合成孔径雷达和光学遥 感雷达。合成孔径雷达和光学遥感雷达可以间隔一定时间段连续拍摄 城市的实时照片，并将其传送给交通调度中心。交通调度中心包括图 像处理子中心和信息发布子中心，图像处理子中心对图像进行融合处 理及车流量等级划分，信息发布子中心将道路的实时车流量等级发布 给车辆群。

上述系统利用卫星对城市道路实时拍摄并发送给交通调度中心， 通过图像融合和道路车流量划分，将道路信息发布给车流群。

参见图2，一种恶劣天气下基于图像融合的城市交通调度方法， 包括如下步骤：

步骤（1）、采集城市每个道路的坐标，包括经度和纬度；

步骤（2）、通过同时搭载合成孔径雷达和光学遥感雷达的卫星， 按一定时间间隔实时拍摄城市的SAR图和PAN图（为全色图像 panchromatic image的缩写）的图像序列，发送给交通调度中心的 计算机；

步骤（3）、根据步骤（1）的城市道路信息，对步骤（2）中计算 机接收到的图像序列进行分割，得到每条道路的SAR图和PAN图的图 像序列；

步骤（4）、对SAR图和PAN图进行预处理；

步骤（5）、对步骤（4）得到的图像中，同一时刻拍摄的SAR图 和PAN图进行图像融合，得到融合后的图像序列；

步骤（6）、对步骤（5）中得到的图像序列进行处理，得到该道 路实时的车流量等级；

步骤（7）、通过交通调度中心的电视电台将每条道路的车流量等 级发布给车辆群，特别是车流量较大的道路，车辆群进行自主选择， 避开交通拥挤的道路。

参见图3，步骤（4）中“对SAR图和PAN图进行预处理”是指：

(1a)、由于两类图像是同一卫星获取到的，方位向和距离向都是 一样的，故图像没必要进行旋转矫正；

(1b)、两类图像是不同的雷达传感器获取到的，分辨率不同时需 要进行处理，以分辨率低的图像的分辨率为标准，对高分辨率图像进 行重采样，得到分辨率相同的两类图像；

(1c)、对SAR图和PAN图进行中值滤波（中值滤波为现有技术， 此处不再赘述），去除图像的噪声；

(1d)、将SAR图进行直方图匹配，使其与PAN图在色调和反差上 趋于相同：$S_M=\frac{{\sigma }_{\mathrm{PAN}}}{{\sigma }_{\mathrm{SAR}}}\times (\mathrm{SAR}\left(I\right)-{\mu }_{\mathrm{SAR}})+{\mu }_{\mathrm{pan}},$S_M是直方图匹配后的 SAR图像；SAR(I)是匹配前的SAR图像；σ_PAN和σ_SAR分别是PAN图像 和SAR图像的标准差；μ_pan和μ_SAR则分别是PAN图像和SAR图像的均 值。

参见图4，步骤（5）中“对SAR图和PAN图进行图像融合，得 到融合后的图像序列”是指：

(2a)、用公式求出SAR图 的纹理矩阵，G_0°、G_45°、G_90°、和G_135°分别对应方向θ的角度 0°,45°,90°,135°时的灰度共生矩阵，Ent_0°、Ent_45°、Ent_90°和Ent_135°则 是对应角度矩阵的熵。根据其纹理矩阵，得到SAR图的纹理图像；

(2b)、用四叉树分割与合并法对纹理图像进行区域划分，得到不 规则特征区和规则特征区，根据区域特征一致性来判定区域是否分割 或合并。区域特征一致性值的定义为：

$R\left(S_i\right)=\frac{d\left(S_i\right)}{\sigma \left(I\right)};$$d\left(S_i\right)=\frac{1}{\left|S_i\right|}\underset{(x,y)\in S_i}{\Sigma }{(I(x,y)-\mu \left(S_i\right))}^2;$其中，S_i是每一个子区域的像素点集合， R(S_i)为该区域S_i的区域特征一致性值，σ(I)是整幅图像的方差， d(S_i)和μ(S_i)分别是区域S_i的均值和方差，I(x,y)为像素点(x,y)的 光强。一个区域的特征一致性值越低，区域的一致性就越高。如果一 个区域的R(S_i)值低于预先设定的阈值ξ，则该区域的特征可以视为 一致的，即不需要再分割。否则，该区域继续被分为四个子区域，直 到每个区域都符合一致性条件，或者达到设定的最小区域大小。

(2c)、用平移不变离散小波变换对PAN图和SAR图进行图像分解， 并对近似图像和细节图像采用不同的融合规则。近似图像的融合准则 表示为：

$a_N^{\prime }=\left(\begin{array}{cc}{a}_N\left(P\right)& \mathrm{ifM}\left(p\right)=0\\ a_N\left(P\right)\times {\beta }_1+a_N\left(S\right)\times {\beta }_2& \mathrm{otherwise}\end{array}\right);$a_N(P)和a_N(S)分别对应PAN图和SAR 图的近似图像；M(p)表示一个值只有0和1的掩模图，0代表不规 则特征区，1代表规则特征区；β₁和β₂分别PAN图和SAR图的权值， 和则分别是a_N(P)和a_N(S)的方差。对于细节图像，采用的融合 准则是取两者绝对值最大的系数作为最终的融合系数。

(2d)、根据融合后的小波系数逆变换，得到融合图像。

(2e)、根据上述步骤依次对不同时刻对应的SAR图和PAN图像进 行融合，得到融合后的图像序列。

参见图5，步骤（6）中“图像序列进行处理，得到该道路实时 的车流量等级”是指：

（3a）、系统中预存路口的总长度信息，这里的总长度是指两端 路口的停止线之间的距离；

（3b）、利用连续图像序列之间的差分，得到图像中移动的区域， 检测出道路中行驶的车辆。检测过程中，若第t+n'时刻与第t时刻 之差所对应的移动的区域面积，小于第t时刻与第t-n'时刻之差中 对应区域面积的1/4，即此刻有很多车辆停止前进，则认为行驶中的 车辆遇到红灯停止，此时以第t时刻与第t-n'时刻之差得到的车辆 为区域中的车辆（n'为卫星拍摄图像序列的时间间隔）；

（3c）、求出路口车道中车辆的总长度，然后用车道中车辆的总 长度除以对应车道的总长度L'，结果为n，根据n得到该车道上车流 量级别L。将路口的车流量分为四个级别，分别定义为：

n 道路情况 L n<1/4 道路空闲 L=0 1/4≤n<1/3 道路正常 L=1 1/3≤n<2/3 一般拥堵 L=2 n≥2/3 严重拥堵 L=4

参见图6，步骤（6）中“通过交通调度中心的电视电台将每条 道路的车流量等级发布给车辆群”是指：

(4a)、预存整个城市的道路线路图；

(4b)、根据车流量等级L对线路图着色，L=0的道路为白色，L=1 的道路为淡绿色，L=2的道路为深绿色，L=4的道路为红色；

(4c)、将着了色的道路交通图以电视频道的形式播出，且实时地 根据车流量等级进行颜色变化，使车载电视能收到；

(4d)、对交通拥挤及严重拥挤的道路，交通调度中心的工作人员 可以同时播报在电视和电台上，并可在电视上发布严重拥挤道路的融 合图像。

本发明基于图像融合技术进行城市交通调度，避免了传统交通调 度的低效率，提高了交通的流畅度，调度速度快，准确性强，效率高， 受天气影响小。本发明提出了一种基于图像融合的城市交通调度的思 想，不仅创新并丰富了城市交通调度的方法，同时提出了交通调度中 心的概念与作用，能够大大提高道路交通情况的识别能力，加快信息 播报的速度。本发明提出了一种恶劣天气下的城市交通调度系统，系 统基于雷达拍摄的道路信息，受天气因素影响极小，算法效率高，图 像融合效果好，让车辆群在第一时间了解到城市交通的信息，避开拥 堵道路，有效缓解交通压力，降低道路交通事故的发生。本发明在目 前以及将来的智能交通调度中具有极大的现实意义和应用价值。

以上显示和描述了本发明的基本原理和主要特征和本发明的优 点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上 述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明 精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改 进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权 利要求书及其等效物界定。