一种新能源汽车的海量数据存储检索系统和方法

摘要

本发明公开了一种新能源汽车的海量数据存储检索系统和方法，包括车载终端、负载均衡服务器、缓存服务器、定时归档调度模块、分布式文件管理器和检索请求模块，其中，所述车载终端的输出与负载均衡服务器的输入连接；所述负载均衡服务器的输出与缓存服务器的输入连接；所述缓存服务器的输出与定时归档调度模块和检索请求模块的输入分别连接；所述定时归档调度模块的输出与分布式文件管理器的输入连接；所述分布式文件管理器的输出与检索请求模块的输入连接。本发明提供一种海量新能源汽车车联网实时数据的储存系统，以解决传统数据库系统容量有限，存储及检索速度不够及时以及归档数据的存储及检索的问题。

说明书

技术领域

本发明属于数据处理领域，特别涉及一种新能源汽车的海量数据存储检索系统和方法。

背景技术

随着计算机技术的发展以及自动化水平的提高，出现了很多对数据的存取和管理具有时间约束的应用，例如电力系统调度、工业控制、证券交易、航空航天等等。这些应用通常需要实时对设备进行采样以了解系统运行最新状况，因而采集频率非常高，达到每秒25、50甚至100帧；同时，指定时间内的所有数据必须完整保存，从而需要维护海量的数据；并且要求在指定的时刻或时间范围内对数据进行采集、处理并作出正确响应，具有明显的时效性。如此海量、实时、高频的数据，传统的关系型数据库无论是存储还是检索都显得捉襟见肘，很难满足这些应用的需求。近年来，实时数据库的出现使得这些应用需求的实现成为可能。实时数据库是专门设计用来处理具有时间序列特性的数据库管理系统，该系统用于对上述领域实时、高频、海量数据进行存储管理。同时，为了提高系统的扩展性、容错性以及存储检索速度，将实时数据库系统分布式化。

传统的新能源汽车数据采集管理系统，以传统关系型数据库为数据存储基础，虽然能承担数据储存读写检索功能，但难以满足100TB级大规模数据上传检索的数据容量和读写速度的需求，同时在周期性的数据备份归档中，传统数据库存储都有待归档历史数据分离困难，性能与速度较难满足生产环境需求。

发明内容

有鉴于此，本发明的目的在于提供一种海量新能源汽车车联网实时数据的储存系统，以解决传统数据库系统容量有限，存储及检索速度不够及时以及归档数据的存储及检索的问题。

为达到上述目的，本发明提供了一种新能源汽车的海量数据存储检索系统，包括车载终端、负载均衡服务器、缓存服务器、定时归档调度模块、分布式文件管理器和检索请求模块，其中，

所述车载终端的输出与负载均衡服务器的输入连接；所述负载均衡服务器的输出与缓存服务器的输入连接；所述缓存服务器的输出与定时归档调度模块、和检索请求模块的输入分别连接；所述定时归档调度模块的输出与分布式文件管理器的输入连接；所述分布式文件管理器的输出与检索请求模块的输入连接。

优选地，所述缓存服务器包括内存队列、检测处理器、索引文件库和数据文件库，所述内存队列的输入与所述负载均衡服务器的输出连接；所述内存队列与检测处理器的输入连接；所述检测处理器的输出与索引文件库、数据文件库和检索请求模块的输入分别连接。

优选地，所述分布式文件管理器包括冷数据文件库、Hadoop模块和分布式文件集群，所述冷数据文件库的输入与定时归档调度模块连接，输出与Hadoop模块的输入连接；Hadoop模块的输出与分布式文件集群的输入连接；分布式文件集群的输出与检索请求模块连接。

基于上述目的，本发明还提供了一种基于上述新能源汽车的海量数据存储检索系统的数据存储方法，包括以下步骤：

由负载均衡服务器接收车载终端上传的实时数据，车辆实时数据根据国标或各地方标准协议格式，采集新能源汽车的实时数据；

收到的实时数据流中转到缓存服务器中作预处理，并在内存中建立连接车辆的实时数据缓存；根据协议解析数据流头部获得终端设备号信息和实时数据类型；缓存服务器将收到的数据及对应设备号信息和类型加载到缓存中的相应生产者数据队列；

检测缓存中数据包数量是否达到配置阈值；

若达到阈值，则在缓存服务器中根据收到的实时数据查找数据类型、设备号和年份的索引文件，判断是否为最新实时数据；

若未达到阈值，则储存在缓存服务器的内存队列；

若是最新实时数据，则生成新的索引文件和数据文件，并存储；

若不是最新实时数据，根据写入数据量更新索引文件中索引记录结束位置的项目，将数据重写并从内存中清除；

定期根据预设的时间阈值判断数据文件是否为冷数据；

若是冷数据，则将热数据归档后，碎片化储存到分布式文件管理器中，形成冷数据归档文件；

若不是冷数据，则不进行冷数据归档操作，仍然储存于缓存服务器中。

优选地，所述缓存服务器包括内存队列、检测处理器、索引文件库和数据文件库，所述内存队列的输入与所述负载均衡服务器的输出连接；所述内存队列与检测处理器的输入连接；所述检测处理器的输出与索引文件库、数据文件库和检索请求模块的输入分别连接。

优选地，所述分布式文件管理器包括冷数据文件库、Hadoop模块和分布式文件集群，所述冷数据文件库的输入与定时归档调度模块连接，输出与Hadoop模块的输入连接；Hadoop模块的输出与分布式文件集群的输入连接；分布式文件集群的输出与检索请求模块连接。

基于上述目的，本发明还提供了一种基于上述新能源汽车的海量数据存储检索系统的数据检索方法，包括以下步骤：

检索请求模块向缓存服务器发出数据检索指令；

判断检索请求的是否为实时数据；

若是实时数据，则向缓存服务器请求返回该设备最新实时数据；

若不是实时数据，则判断请求的是否为冷数据；

若是冷数据，则检索分布式文件管理器，读取归档的冷数据；

若不是冷数据，则根据指令中请求的数据所属时间段获取该设备该类型的索引，根据索引文件的位置从相应数据文件中获取数据；

根据指令要求对数据进行筛选后，将结果传送给检索请求模块。

优选地，所述缓存服务器包括内存队列、检测处理器、索引文件库和数据文件库，所述内存队列的输入与所述负载均衡服务器的输出连接；所述内存队列与检测处理器的输入连接；所述检测处理器的输出与索引文件库、数据文件库和检索请求模块的输入分别连接。

优选地，所述分布式文件管理器包括冷数据文件库、Hadoop模块和分布式文件集群，所述冷数据文件库的输入与定时归档调度模块连接，输出与Hadoop模块的输入连接；Hadoop模块的输出与分布式文件集群的输入连接；分布式文件集群的输出与检索请求模块连接。

本发明的有益效果在于：本发明提出一种新型的基于分布式云平台技术的数据采集、存储、检索的系统和方法，与现有的基于数据库或XML文件的非分布式处理系统相比，针对车联网领域的汽车实时数据的特点，提出了独有文件存储格式和处理、检索方法，极大的提高了数据存储效率和灵活度，提供了完善的数据备份、归档接口，在部分服务失效的情况和数据局部丢失的情况下，然后可以正常提供数据存储服务和恢复。因为采用了独特的文件格式和独立文件索引技术，历史数据的检索与总体数据规划几乎直接关联，在100TB数据中查找某辆车某个时间节点的实时数据与在100MB数据中检索具备同样的时效性，安全可靠，很大程度上提高了效率。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明实施例1的一种新能源汽车的海量数据存储检索系统结构示意图；

图2为本发明实施例2的一种新能源汽车的海量数据存储检索系统结构示意图；

图3为本发明实施例3的一种新能源汽车的海量数据存储检索系统结构示意图；

图4为本发明实施例的一种新能源汽车的海量数据存储方法的步骤流程图；

图5为本发明实施例的一种新能源汽车的海量数据检索方法的步骤流程图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

实施例1

参见图1，所示为本发明实施例1的一种新能源汽车的海量数据存储检索系统结构示意图，一种新能源汽车的海量数据存储检索系统，包括车载终端11、负载均衡服务器12、缓存服务器13、定时归档调度模块14、分布式文件管理器15和检索请求模块16，其中，

车载终端11的输出与负载均衡服务器12的输入连接；负载均衡服务器12的输出与缓存服务器13的输入连接；缓存服务器13的输出与定时归档调度模块14、和检索请求模块16的输入分别连接；定时归档调度模块14的输出与分布式文件管理器15的输入连接；分布式文件管理器15的输出与检索请求模块16的输入连接。

通过上述设置的新能源汽车的海量数据存储检索系统，采用缓存服务器13、定时归档调度模块14和分布式文件管理器15配合，新能源汽车的海量数据，包括车辆基本信息、电量信息、里程信息、GPS位置信息、车辆报警信息和动力电池实时数据，动力电池实时数据包括电池组电池管理系统信息、电池模块单体信息、电池单体信息和动力电池报警信息，将上述数据进行实时处理、数据备份、定时归档。

实施例2

参见图2，所示为本发明实施例的一种新能源汽车的海量数据存储检索系统结构示意图。

缓存服务器13包括内存队列131、检测处理器132、索引文件库133和数据文件库134，内存队列131的输入与负载均衡服务器12的输出连接；内存队列131与检测处理器132的输入连接；检测处理器132的输出与索引文件库133、数据文件库134和检索请求模块16的输入分别连接。

上述检测处理器132根据预设的数据刷写阈值，来判断内存队列131的数据包数量是否达到阈值；并且在检索请求模块16提出数据检索指令时分析是否为实时数据、历史数据和冷数据，若请求检索的为实时数据，则在内存队列131中检索并返回数据；若请求检索的为历史数据，则根据检索指令中请求的数据所述的时间段获取该类型该车辆标识的索引，再根据索引记录的位置从数据文件库134中相应数据文件获取数据；若请求检索的为冷数据，则在分布式文件管理器15中检索获取冷数据。数据文件库134中实时数据文件的格式为类型-车辆标识-年月，具体从上至下分别为实时车辆数据、报警数据、位置数据，以此循环，实时车辆数据的记录内容为：起始符、命令单元、车辆标识VIN码、加密方式、数据单元长度、驱动电机数据、车辆状态数据、电池包实时数据、电池包极值数据；索引文件库133中索引文件的格式为类型-车辆标识-年，由若干索引块组成，每个索引块记录内容为：日期、记录起始序号和记录终止序号。

实施例3

参见图3，所示为本发明实施例的一种新能源汽车的海量数据存储检索系统结构示意图。

分布式文件管理器15包括冷数据文件库151、Hadoop模块152和分布式文件集群153，冷数据文件库151的输入与定时归档调度模块14连接，输出与Hadoop模块152的输入连接；Hadoop模块的输出与分布式文件集群153的输入连接；分布式文件集群153的输出与检索请求模块16连接。

当定时归档调度模块14对数据文件库134中的数据文件检查判断为冷数据时，将其传输给冷数据文件库151，后经Hadoop模块的Hadoop框架将冷数据文件库151中的数据碎片化储存到分布式文件集群153中，形成冷数据的归档文件，以供检索请求模块16在请求冷数据时调用。

与上述数据存储检索系统对应的，本发明还提供了一种数据存储方法，实施例参见图4，所示为本发明实施例的新能源汽车的海量数据存储方法的步骤流程图，包括以下步骤：

S101，由负载均衡服务器接收车载终端上传的实时数据，车辆实时数据根据国标或各地方标准协议格式，采集新能源汽车的实时数据；

S102，收到的实时数据流中转到缓存服务器中作预处理，并在内存中建立连接车辆的实时数据缓存；根据协议解析数据流头部获得终端设备号信息和实时数据类型；缓存服务器将收到的数据及对应设备号信息和类型加载到缓存中的相应生产者数据队列；

S103，检测缓存中数据包数量是否达到配置阈值；

S104，若达到阈值，则在缓存服务器中根据收到的实时数据查找数据类型、设备号和年份的索引文件，判断是否为最新实时数据；

S105，若未达到阈值，则储存在缓存服务器的内存队列；

S106，若是最新实时数据，则生成新的索引文件和数据文件，并存储；

S107，若不是最新实时数据，根据写入数据量更新索引文件中索引记录结束位置的项目，将数据重写并从内存中清除；

S108，定期根据预设的时间阈值判断数据文件是否为冷数据；

S109，若是冷数据，则将热数据归档后，碎片化储存到分布式文件管理器中，形成冷数据归档文件；

S110，若不是冷数据，则不进行冷数据归档操作，仍然储存于缓存服务器中。

具体实施例参照上述系统实施例，在此不赘述。

与上述数据存储检索系统对应的，本发明还提供了一种数据检索方法，实施例参见图5，所示为本发明实施例的新能源汽车的海量数据检索方法的步骤流程图，包括以下步骤：

S201，检索请求模块向缓存服务器发出数据检索指令；

S202，判断检索请求的是否为实时数据；

S203，若是实时数据，则向缓存服务器请求返回该设备最新实时数据；

S204，若不是实时数据，则判断请求的是否为冷数据；

S205，若是冷数据，则检索分布式文件管理器，读取归档的冷数据；

S206，若不是冷数据，则根据指令中请求的数据所属时间段获取该设备该类型的索引，根据索引文件的位置从相应数据文件中获取数据；

S207，根据指令要求对数据进行筛选后，将结果传送给检索请求模块。

具体实施例参照上述系统实施例，在此不赘述。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。