一种基于大数据技术的城市防汛决策支持系统

摘要

本发明公开了一种基于大数据技术的城市防汛决策支持系统，包括如下步骤：步骤一、构建历史水情数据库；步骤二、实时水情数据采集与存储；步骤三、建立组合水位预测模型；步骤四、实时水情展示和水位预报；步骤五、历史水情数据统计分析。本发明的有益效果是：能对1到6小时的水位提供有效的预测，从而在城市汛期来临时为防洪减灾工作提供决策支持。系统采用分布式数据库HBase，能有效地存储海量水情数据并应对数据的快速增长，同时利用大数据分析引擎Impala对海量历史水情数据进行实时处理分析，应用数据可视化技术发掘历史数据的内在价值，为防汛工作提供信息指导。

说明书

技术领域

本发明涉及城市防汛决策支持系统，更具体说，它涉及一种基于大数据技术的城市防汛决策支持系统。

背景技术

近年来，随着经济的快速发展，我国的城市化进程一直呈加速发展的态势，城市的数量在不断增多，城市的规模也在不断扩大。城市化进程在促进社会文明进步的同时，也给城市带来了很多问题与挑战，城市突发洪涝灾害就是其中之一。每当汛期来临，不断有城市遭受洪涝灾害的新闻见诸报端。

由于城市突发洪涝灾害所造成的后果极其严重，人们在抵御洪水上做了很多努力。六十年代以前，人们在抵御洪水所做的工作上侧重于采取工程措施。随着社会经济的发展、人口的不断增长和城市化进程的加快，防洪工程的减灾效益越来越少；七十年代，美国首先找到了抵御洪水的新方法，提出了非工程措施的概念，此后世界各国在防洪减灾规划上同时采用工程措施和非工程措施相结合的办法。洪水无法完全避免，防洪工程并不能完全消除洪水的威胁，采取有效措施减少城市洪涝灾害所造成的经济损失和人员伤亡是城市防汛的重点研究内容。非工程措施在防洪减灾中扮演着重要角色，主要包括，对城市土地进行合理规划、建立有效的洪水预报预警体系、提高人们的防洪意识、制定可行的疏散方案等。防汛决策支持系统就是一种有效地非工程措施。

随着水利信息化建设的不断完善，物联网传感器设备不断增加，城市防洪减灾相关数据呈爆炸式增长，步入了大数据时代。利用大数据技术对城市防汛工作中采集到的数据进行挖掘分析，为城市突发洪涝灾害的预防与预警提供了一条新途径，具有重要的理论和现实意义。近年来，云计算技术发展迅猛，而传统的数据处理方式已无法应对大数据的快速增长，云计算技术的成熟为大数据技术提供了强大的技术支持。在大数据时代背景下，如何利用大数据和云计算技术处理海量城市水情数据，为城市的防汛工作提供指导，是一项具有重要研究意义的课题。

专利2015104969095“一种防汛调度决策支持系统”提出了一种根据水文遥测数据进行洪水预测模拟的方法,该系统包括：在线模型服务器，用于接收水文遥测数据，并根据水文遥测数据进行洪水预测模拟，还包括：数据库，与各水文遥测设备连接，用于存储水文遥测设备 采集的水文遥测数据；数据接口及WEB应用服务器，分别于数据库和在线模型服务器连接，用于将数据库中的水文遥测数据推送至在线模型服务器，并接收预测模拟结果，向远程网络终端发布。该系统可以根据降雨情况，实时模拟降雨积水情况，预报积水点位置、积水深度和退水时间，为排水应急抢救和泵站优化运行提供决策支持。专利201520604493X“一种远程防汛控制系统”提供了一种利用视频监控装置对水库水情进行实时动态监视以确保水库安全运行的方法，该系统包括：监控装置、交换机和防汛指挥中心，防汛指挥中心包括视频服务器、管理服务器、监控显示装置和预警装置，监控装置获取的监控信息与交换机之间采用微波定向无线传输方式传送，交换机与防汛指挥中心采用VPN专网连接，监控显示装置经解码服务器与管理服务器相连。该系统结构简单，可及时对水库水情进行实时动态监控，以便采取相应的预防和补救措施确保水库安全运行，且采用无线方式传输数据，施工周期短、线路铺设成本低。这些方法和系统只是实现了对某一方面数据信息的利用，并没有充分利用海量历史水情数据和城市中多源异构的数据。

发明内容

本发明的目的是克服现有技术中未对海量历史水情数据进行充分利用的不足，提供一种基于大数据技术的城市防汛决策支持系统。

这种基于大数据技术的城市防汛决策支持系统，包括如下步骤：

步骤一、构建历史水情数据库：采用基于Hadoop的分布式数据库HBase对历史水情数据进行存储；

步骤二、实时水情数据采集与存储：采用物联网技术将传感器与服务器相连，从而使服务器能获取各测站的实时水情信息；

步骤三、建立组合水位预测模型：城市水情数据是时空序列数据，对测站水位的预测从时间和空间两个角度进行；将不同角度预测的结果进行动态组合；

步骤四、实时水情展示和水位预报：服务器根据城市的历史水情数据和实时水情数据，应用步骤三得到的组合水位预测模型对未来1-6小时的水位进行预测；客户端访问服务器获得JSON格式的每个测站的地理位置信息、实时水情数据和水位预测结果，并将获得的数据展示以可视化的方式展示在电子地图上；

步骤五、历史水情数据统计分析：客户端向客户端发起指定时间范围的水情数据查询请求，服务器端将接收到的查询请求转换为相应的JDBC方法，利用大数据分析引擎Impala进行分布式查询，并将查询的结果封装成JSON格式返回给客户端，客户端将接受的数据结合数据可 视化工具进行展示。

所述步骤一具体包含：HBase表设计Code和Value两个列簇分别存储以上两类数据，新增的数据类型在相应列簇中添加；城市水情数据都是增量式数据，这些数据都与时间相关，HBase提供一个时间戳来存储数据的相应版本；HBase数据库只为行键这一个属性建立索引，为了查询相应时间范围内的数据，数据的时间属性添加到行键中；数据库的表采用了以小时为“bucket”的结构,将时间精确到小时TM.hour与测站编码STCD组成行键，同一小时内的数据以不同的时间版本存储在统一数据单元中。

所述步骤二具体包含：传感器每5分钟采集一次数据，并通过HTTP协议的POST方法将数据和测站编号以JSON格式传送到服务器端，服务器端将数据写入HBase数据库中，服务器同时将每个测站的最近24小时水位以小时为间隔存储在内存中，以快速响应实时水情查询和方便应用于水位预报。

所述步骤三具体包含：

时间水位预测模型：

模型的输入数据有：1)所预测监测站点的最近6小时的水位观测值；2)最近1小时该站点所在地的降雨量；对1-6小时的每一个时间间隔建立一个预测模型；设当前时间为t_c，时间相关水位预测模型将以t_c-5，t_c-4，t_c-3，t_c-2，t_c-1，时刻该站点的水位观测值和t_c时刻一小时内的降雨量为输入，对未来t_c＋1，t_c＋2，t_c＋3，t_c＋4，t_c＋5，t_c这些时刻的水位值进行预测，每个时刻都有一个对应的预测模型，即每个站点都有6个时间相关水位预测模型；

时间水位预测模型采用线性回归进行建模，如公式3.1所示：

$S_{c+i}={\Sigma }_{j=0}^5{\theta }_{ij}{S}_{c-j}+{\theta }_{ir}{R}_c+E---\left(3.1\right)$

S_c＋i为需要预测的t_c+i时刻的水位，S_c-j为t_c-j时刻的历史水位，θ_ij为相对应的系数，R_c为t_c时刻最近一小时的累积降雨量，E为常数；

空间相关水位预测模型：

采用BP神经网络，将指定水位测站附近测站和雨量传感器的观测值作为输入，以BP神经网络处理后的输出作为预测结果；R₁，R₂，...，R_m是测站附近雨量传感器的观测值，S₁，S₂，...，S_n是测站附近水位测站的观测值；经过归一化处理转换为[0,1]范围内的数值；神经网络的输出为预报时刻水位与当前水位的差值ΔS，输出神经元的激活函数为线性函数；该模型只有一层隐>

组合水位预测模型：

时间水位预测模型反映的是局部的单站点的水位变化趋势，空间水位预测模型反映的是空间上站点之间的隐含关系，采用一个分类回归树模型用于动态组合两个模型；分类回归树是决策树和线性回归的结合，它根据数据属性将数据集划分为不同的子集，并在每个叶节点的数据子集上建立一个线性回归模型；分类回归树的节点分裂的步骤与决策树一样，但是分类回归树既能处理离散值也能处理连续值；在处理连续值时，分类回归树模型采用线性回归模型的方差的减小来决定节点是否要分类；能够提供最大的方差减小的属性将作为节点的分割依据；在水位组合预报中应用分类回归树时，先将时间预测模型的预测结果S_temporal、空间预测模型的预测结果S_spatial、当前水位S_current和最近一小时的累计降雨量R_current以及预测时段的真实水位S_{ground_truth}组成数据集Set(S_temporal，S_spatial，S_current，R_current，S_{ground_truth})树节点可依据两个模型预测结果、当前水位和最近一小时累计降雨量决定是否分裂节点，在叶节点上，将利用叶节点的数据集为预测时段的水位值S_predict相对时间、空间两个模型的预测结果建立线性回归模型S_predict＝f(S_temporal，S_spatial)。

所述步骤四具体包含：客户端向服务器端请求所有测站的实时水情数据，服务器端将步骤二中采集到的实时水情数据以JSON格式返回给客户端，客户端对数据进行解析并将数据绑定到相应测站标记上；客户端的测站标记绑定了鼠标点击监听器，实现了相应的交互逻辑，当用户点击一个测站时，将弹出该测站最近24小时的水位过程线；服务器端将最近1-6小时的水情数据输入步骤三建立的组合水位预测模型，从而得出测站未来1-6小时的预测水位；如果测站的预测值超过水位警戒线，测站标记上将会展现警告信息，为防汛工作提供参考。

所述步骤五具体包含：在服务器端，将对用户需要的数据处理操作进行分解成最基础的功能，并为这些功能提供RESTful API的web services；客户端通过ajax调用这些API接口获取处理后的数据，再利用这些数据进行渲染、显示；客户端将测站编号和时间范围作为参数向服务器发起请求，服务器对接收到的参数进行解析处理，调用相应的业务层方法，利用大数据分析引擎Impala对历史水情数据库进行相应查询，查询结果以JSON格式返回到客户端，客户端对范围结果进行解析，并通过数据可视化工具进行展示。

本发明的有益效果是：本发明提出了一种基于大数据技术的城市防汛决策支持系统，该系 统利用大数据分析技术挖掘海量历史水情数据的隐含价值，可以为城市防汛工作提供有效参考。本专利提出了一个综合考虑时间相关性和空间相关性的组合水位预测模型，能对1到6小时的水位提供有效的预测，从而在城市汛期来临时为防洪减灾工作提供决策支持。系统采用分布式数据库HBase，能有效地存储海量水情数据并应对数据的快速增长，同时利用大数据分析引擎Impala对海量历史水情数据进行实时处理分析，应用数据可视化技术发掘历史数据的内在价值，为防汛工作提供信息指导。

附图说明

图1是本发明提出的基于大数据技术的城市防汛决策支持系统总体结构图；

图2是本发明使用的河道水情表的结构图；

图3是本发明建立的河道水情HBase表；

图4是本发明描述的时间预测模型示意图；

图5是本发明描述的空间预测模型示意图；

图6是本发明描述的组合水位预测模型示意图；

图7是本发明实现的城市防汛决策支持系统界面；

图8是本发明实现的测站24小时水位过程线示意图；

图9是本发明实现的测站预测结果示意图；

图10是本发明实现的历史水情数据统计分析示意图；

图11是本发明的时间预测模型的训练数据；

图12是本发明的空间预测模型的训练数据；

图13是本发明的操作界面示意图一；

图14是本发明的操作界面示意图二。

具体实施方式

下面结合附图和实施例对本发明做进一步描述。虽然本发明将结合较佳实施例进行描述，但应知道，并不表示本发明限制在所述实施例中。相反，本发明将涵盖可包含在有附后权利要求书限定的本发明的范围内的替换物、改进型和等同物。

该系统的总体结构如图1所示，具体实现步骤如下：

步骤一、构建历史水情数据库

通过对城市水情数据的深入研究可以发现，城市水情数据主要包括代码类和数值类两种，如图2所示的河道水情表中，河流特征码、水势、潮流方法、测积方法、测速方法等为代码类数据，水位、流量、断面过水面积、断面平均流速、断面最大流速等为数值类数据。因此HBase表将设计Code和Value两个列簇分别存储以上两类数据，新增的数据类型可在相应列 簇中添加。城市水情数据都是增量式数据，这些数据都与时间相关，而HBase已提供一个时间戳来存储数据的相应版本。HBase数据库只为行键这一个属性建立索引，为了查询相应时间范围内的数据，数据的时间属性应当添加到行键中。城市防汛决策支持系统的用户对数据进行统计分析时，往往都是以小时为最小单位。因此数据库的表将采用了以小时为“bucket”的结构,将时间精确到小时(TM.hour)与测站编码(STCD)组成行键，同一小时内的数据以不同的时间版本存储在统一数据单元中，这样可以获得更高的查询效率，河道水情数据的HBase表如图3所示。

步骤二、实时水情数据采集与存储

传感器每5分钟采集一次数据，并通过HTTP协议的POST方法将数据和测站编号以JSON格式传送到服务器端，服务器端将数据写入HBase数据库中，服务器同时将每个测站的最近24小时水位以小时为间隔存储在内存中，以快速响应实时水情查询和方便应用于水位预报。

步骤三、建立组合水位预测模型

(一)空间水位预测模型

时间水位预测模型可以预测单个监测站点随时间的变化趋势，用于预测未来6小时的测站水位，模型的输入数据有：(1)所预测监测站点的最近6小时的水位观测值；(2)最近1小时该站点所在地的降雨量。这些数据对未来不同时间长度的预测水位有着不同的影响因子，因此需要对1-6小时的每一个时间间隔建立一个预测模型。图4是时间相关水位预测模型的基础框架，假如当前时间为t_c，时间相关水位预测模型将以t_c-5，t_c-4，t_c-3，t_c-2，t_c-1，时刻该站点的水位观测值和t_c时刻一小时内的降雨量为输入，对未来t_c+1，t_c+2，t_c+3，t_c+4，t_c+5，t_c这些时刻的水位值进行预测，每个时刻都有一个对应的预测模型，即每个站点都有6个时间相关水位预测模型。本文没有采用预测水位作为输入对下一时刻进行预测的方法，因为预测值具有不确定性，将预测值作为输入会造成不确定性的叠加。

时间水位预测模型采用线性回归进行建模，如公式3.1所示：

S_c+i为需要预测的t_c+i时刻的水位，S_c-j为t_c-j时刻的历史水位，θ_ij为相对应的系数，R_c为t_c时刻最近一小时的累积降雨量，E为常数。

(二)空间水位预测模型

空间相关水位预测模型采用BP神经网络，将指定水位测站附近测站和雨量传感器的观测 值作为输入，以BP神经网络处理后的输出作为预测结果。图5是空间相关水位预测模型的框架。R1_，R₂，…，R_m是测站附近雨量传感器的观测值，S₁，S₂，…，S_n是测站附近水位测站的观测值。因为水位数据和雨量数据的单位和大小范围都不相同，需要经过归一化处理转换为[0,1]范围内的数值。水位是相对于高程基准面，变化范围较大，而水位相邻时刻变化的差值则变化较小。因此，神经网络的输出为预报时刻水位与当前水位的差值ΔS，输出神经元的激活函数为线性函数。该模型只有一层隐含层，隐含层神经元的激活函数为正切双曲函数tanh。

(三)组合水位预测模型

时间相关水位预测模型和空间相关水位预测模型的预测角度各不相同。时间水位预测模型反映的是局部的单站点的水位变化趋势，空间水位预测模型反映的是空间上站点之间的隐含关系，在不同的水文条件下，应当给两个模型赋予不同的权重。本文采用了一个分类回归树模型用于动态组合两个模型。分类回归树是决策树和线性回归的结合，它根据数据属性将数据集划分为不同的子集，并在每个叶节点的数据子集上建立一个线性回归模型。分类回归树的节点分裂的步骤与决策树一样，但是分类回归树既能处理离散值也能处理连续值。在处理连续值时，分类回归树模型采用线性回归模型的方差的减小来决定节点是否要分类。能够提供最大的方差减小的属性将作为节点的分割依据。在水位组合预报中应用分类回归树时，先将时间预测模型的预测结果St_emporal、空间预测模型的预测结果S_spatial、当前水位S_current和最近一小时的累计降雨量R_current以及预测时段的真实水位S_{ground_truth}组成数据集Set(S_temporal，S_spatial，S_currentR_current,S_{ground_truth})树节点可依据两个模型预测结果、当前水位和最近一小时累计降雨量决定是否分裂节点，在叶节点上，将利用叶节点的数据集为预测时段的水位值S_predict相对时间、空间两个模型的预测结果建立线性回归模型S_predict＝f(S_temporal，S_spatial)。图6是一个测站的组合预报模型。

步骤四、实时水情展示和水位预报

客户端向服务器端请求所有测站的实时水情数据，服务器端将步骤二中采集到的实时水情数据以JSON格式返回给客户端，客户端对数据进行解析并将数据绑定到相应测站标记上。客户端的测站标记绑定了鼠标点击监听器，实现了相应的交互逻辑，当用户点击一个测站时，将弹出该测站最近24小时的水位过程线。测站绑定鼠标点击监听器的关键代码如下：

图7是实时水情的操作界面，每个测站都标注了测站编号和最近观测水位。图8是点击测站后弹出的24小时水位过程线。

服务器端将最近1-6小时的水情数据输入步骤三建立的组合水位预测模型，从而得出测站未来1-6小时的预测水位。如果测站的预测值超过水位警戒线，测站标记上将会展现警告信息，为防汛工作提供参考。图9是展示的是测站1-6小时水位预测结果。

步骤五、历史水情数据统计分析

本专利实现了对海量历史水情数据的存储方案，对历史水情数据进行统计分析可以把握防汛工作的总体形势，为防汛工作提供指导。在服务器端，将对用户需要的数据处理操作进行分解成最基础的功能，并为这些功能提供RESTful API的web services。客户端通过ajax调用这些API接口获取处理后的数据，再利用这些数据进行渲染、显示。客户端将测站编号和时间范围作为参数向服务器发起请求，服务器对接收到的参数进行解析处理，调用相应的业务层方法，利用大数据分析引擎Impala对历史水情数据库进行相应查询，查询结果以JSON 格式返回到客户端，客户端对范围结果进行解析，并通过数据可视化工具进行展示。图10是历史水情统计分析的结果展示。

图2是河道水情表的结构图，其他水情表有相似的结构，可以用类似的方式建立相应的HBase水情表。之前的历史水情数据是存放在传统的数据库中，通过Sqoop工具将历史数据导入到HBase数据库中。

将历史数据以每个测站一个文件的方式将数值类字段导出为CSV格式，对每个文件中的缺失数据进行补偿，之后再将数据以小时为单位进行聚合，水位、流速等数据取平均值，流量、降雨量等数据取累加和。按图11中的方式将1-6小时的水情数据组织到同一行，为时间预测模型准备训练数据。对每个测站找出其相邻5km内的所有测站，并将这些测站的数据按图12中的方式整合到一个文件中，为空间预测模型准备训练数据。分别利用准备好的数据训练时间预测模型和空间预测模型，将每个测站的两个预测模型的预测结果和真实观测值组织到一个文件中，为组合预测模型准备训练数据。利用上一步准备的训练数据训练组合预测模型。

测站传感器将采集的数据传送到服务器端，服务器端利用数据库的存储接口将数据存储到服务器上，同时更新内存中保存的最近24小时水情数据。服务器端将最近24小时的水情数据输入时间和空间预测模型，得到两个模型的预测值，再将两个模型的预测值输入组合预测模型得到最终预测结果并保存在内容中以供客户端请求数据。服务器端每1小时对预测结果进行一次重新计算更新。用户点击进入实时水情查询模块后，客户端以测站编号作为参数向服务器端请求实时水情数据，服务器端将相应的数据以JSON格式返回给客户端，客户端将数据解析之后再电子地图的相应位置上展示测站标记。用户鼠标移动到测站标记上时，如图8所示将测站的24小时水位过程线展现给用户。用户点击进入水位预报模块后，客户端以测站编号作为参数向服务器端请求水位预测结果，服务器端将预测结果以JSON格式返回给客户端，客户端解析数据并将数据绑定到相应测站标记上，如果测站的预测结果超出了测站的警戒值，相应的测站标记上将显示警告信息。用户鼠标移动到测站标记上时，如图9所示将测站1-6小时的预测结果展示给用户。

用户点击进入统计分析模块后，通过如图13的界面选择要查询的测站，之后通过如图14的界面选择要查询的时间范围，客户端将用户选择的测站编号和时间范围以参数方式发送到服务器端，服务器对接收到的参数进行解析，调用相应的数据查询方法，利用Impala大数据分析引擎对历史水情数据库进行查询统计，查询的结果以JSON格式返回到客户端。客户端将 返回的结果通过数据可视化工具如图10进行渲染、展示。