用于车辆数据接收和实时分析的集群分布式系统及方法

摘要

本发明公开了一种用于车辆数据接收和实时分析的集群分布式系统及方法，包括前端设备、通信服务器和分析服务器，多个通信服务器组合为一个接收集群，多个分析服务器组合为一个分析集群，接收集群和分析集群中设置有集群管理器和集群服务器状态列表，通过对服务器的工作负载性能数值计算，从而有集群管理器动态的分配连接地址，在前端设备、通信服务器和分析服务器间建立通信。从而达到避免因一个汇聚点上的接收或者分析模块宕机后造成的数据传输中断，和因中断造成的数据的丢失或者成批量的数据长时间无法分析的缺点。

说明书

技术领域

本发明涉及车辆数据接收和实时分析领域，具体地，涉及一种用于车辆数据接收和实时分析的集群分布式系统及方法。

背景技术

随着我国汽车数量的不断增加，需要对大量采集的车辆数据进行处理，而现有技术对车辆数据的接受和实时分析时仍采用如图1所示的方法，在每个汇聚点上进行车辆数据的各种分析运算。而采用这样的方式，在数据接收和数据分析上都是会有很大的延时，而且当一个汇聚点上的接收或者分析模块宕机后，在汇聚点修复之前，整个汇聚点下的所有设备数据接受和分析都会中断，造成数据的丢失或者成批量的数据长时间无法分析。

发明内容

本发明的目的在于，针对上述问题，提出一种用于车辆数据接收和实时分析的集群分布式系统及方法，以实现防止因一个汇聚点上的接收或者分析模块宕机后造成的数据传输中断，及因中断造成的数据的丢失或者成批量的数据长时间无法分析的优点。

为实现上述目的，本发明采用的技术方案是：

一种用于车辆数据接收和实时分析的集群分布式系统，包括前端设备、通信服务器和分析服务器，

所述前端设备：收集车辆数据；

所述通信服务器：接收上述前端设备采集的车辆数据；

所述分析服务器：接收上述由通信服务器传输的前端设备采集的车辆数据并进行数据处理；

所述多个通信服务器组合为一个接收集群；

所述多个分析服务器组合为一个分析集群；

上述接收集群和分析集群中设置有集群管理器和集群服务器状态列表；

上述集群管理器：根据服务器的工作负载性能数值，动态的分配连接地址，在上述通信服务器和前端设备间及分析服务器和通信服务器间建立通信，并负责整个集群中服务器的运行和对外的服务响应；

上述集群服务器状态列表：保存上述通信服务器和分析服务器自身的实时运行状态和性能数值。

一种用于车辆数据接收和实时分析的集群分布式的方法，包括以下步骤：

前端设备向接收集群提出连接请求；

上述接收集群中的集群管理器接收到上述请求并根据接收集群内集群服务器状态列表中的通信服务器的实时运行状态和性能数值计算通信服务器的工作负载性能数值；

上述接收集群中的集群管理器根据上述计算的工作负载性能数值分配连接地址；

上述接收集群中的集群管理器根据上述分配的连接地址在通信服务器与前端设备间建立通信；

上述接收集群中的集群管理器向分析集群提出连接请求；

上述分析集群中的集群管理器接收上述请求，并根据分析集群内集群服务器状态列表中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负载性能数值；

上述分析集群中的集群管理器根据上述工作负载性能数值分配连接地址；

上述分析集群中的集群管理器根据上述分配的连接地址在分析服务器和通信服务器间建立通信。

根据本发明的优选实施例，所述接收集群中的集群管理器接收到上述请求并根据接收集群内集群服务器状态列表中的通信服务器的实时运行状态和性能数值计算通信服务器的工作负载性能数值，包括以下步骤：

上述集群管理器从集群服务器状态列表中读取通信服务器的实时运行状态和性能数值；

上述集群管理器分析上述通信服务器的实时运行状态和性能数值判断上述集群服务器状态列表中通信服务器的信息是否及时更新；

如通信服务器的信息没有及时更新则从新读取通信服务器的实时运行状态和性能数值；

如通信服务器的信息得到及时更新集群管理器则根据上述通信服务器的信息计算通信服务器的工作负载性能数值。

根据本发明的优选实施例，所述分析集群中的集群管理器接收上述请求，并根据分析集群内集群服务器状态列表中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负载性能数值，包括以下步骤：

上述集群管理器从集群服务器状态列表中读取分析服务器的实时运行状态和性能数值；

上述集群管理器分析上述分析服务器的实时运行状态和性能数值判断上述集群服务器状态列表中分析服务器的信息是否及时更新；

如分析服务器的信息没有及时更新则从新读取分析服务器的实时运行状态和性能数值；

如分析服务器的信息得到及时更新集群管理器则根据上述分析服务器的信息计算分析服务器的工作负载性能数值。

根据本发明的优选实施例，所述服务器的工作负载性能数值的计算公式如下：

F(C,M,N,H,L) = (p1*C + p2*M + p3*N + p4*H + p5*L )/( p1 + p2 + p3 + p4 + p5);

其中F值越高，表示该服务器的工作负载越重；

C表示： CPU使用率，M 表示：内存使用率，N表示：网络带宽使用率，H表示：硬盘缓存使用率，L表示：外部设备的连接比例，F 表示：工作负载量，Px表示：权重参数。

本发明的技术方案通过将通信服务器和分析服务器组合成集群，并在集群中设置集群管理器和集群服务器状态列表，并对服务器的工作负载性能数值进行计算，从而动态的分配连接地址，使前端设备和通信服务器和分析服务器建立动态通信，从而避免了因一个汇聚点上的接收或者分析模块宕机后造成的数据传输中断，和因中断造成的数据的丢失或者成批量的数据长时间无法分析的缺点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为现有的车辆数据的接受和实时分析的结构系统图；

图2为本发明所述的用于车辆数据接收和实时分析的集群分布式系统的结构系统图；

图3为本发明所述的用于车辆数据接收和实时分析的集群分布式的方法的流程图；

图4为本发明计算通信服务器工作负载性能数值的流程图；

图5为本发明计算分析服务器工作负载性能数值的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

如图2所示，本发明的技术方案公开的用于车辆数据接收和实时分析的集群分布式系统，包括前端设备：收集车辆数据；通信服务器：接收前端设备采集的车辆数据；分析服务器：接收由通信服务器传输的前端设备采集的车辆数据并进行数据处理；多个通信服务器组合为一个接收集群；多个分析服务器组合为一个分析集群；接收集群和分析集群中设置有集群管理器和集群服务器状态列表；集群管理器：根据服务器的工作负载性能数值，动态的分配连接地址，在通信服务器和前端设备间及分析服务器和通信服务器间建立通信，并负责整个集群中服务器的运行和对外的服务响应；集群服务器状态列表：保存通信服务器和分析服务器自身的实时运行状态和性能数值。

如图3所示，本发明的技术方案公开的于车辆数据接收和实时分析的集群分布式的方法，包括以下步骤：

步骤101：前端设备向接收集群提出连接请求；

步骤102：接收集群中的集群管理器接收到请求并根据接收集群内集群服务器状态列表中的通信服务器的实时运行状态和性能数值计算通信服务器的工作负载性能数值；

步骤103：接收集群中的集群管理器根据计算的工作负载性能数值分配连接地址；

步骤104：接收集群中的集群管理器根据分配的连接地址在通信服务器与前端设备间建立通信；

步骤105：接收集群中的集群管理器向分析集群提出连接请求；

步骤106：分析集群中的集群管理器接收请求，并根据分析集群内集群服务器状态列表中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负载性能数值；

步骤107：分析集群中的集群管理器根据工作负载性能数值分配连接地址；

步骤108：分析集群中的集群管理器根据分配的连接地址在分析服务器和通信服务器间建立通信。

如图4所示，在步骤102中接收集群中的集群管理器接收到请求并根据接收集群内集群服务器状态列表中的通信服务器的实时运行状态和性能数值计算通信服务器的工作负载性能数值，包括以下步骤：

步骤201：集群管理器从集群服务器状态列表中读取通信服务器的实时运行状态和性能数值；

步骤:202：集群管理器分析通信服务器的实时运行状态和性能数值判断集群服务器状态列表中通信服务器的信息是否及时更新；

如通信服务器的信息没有及时更新则从新读取通信服务器的实时运行状态和性能数值及返回步骤201；

步骤203：如通信服务器的信息得到及时更新集群管理器则根据通信服务器的信息计算通信服务器的工作负载性能数值。

如图5所示，步骤106中分析集群中的集群管理器接收请求，并根据分析集群内集群服务器状态列表中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负载性能数值，包括以下步骤：

步骤301：集群管理器从集群服务器状态列表中读取分析服务器的实时运行状态和性能数值；

步骤302：集群管理器分析分析服务器的实时运行状态和性能数值判断集群服务器状态列表中分析服务器的信息是否及时更新；

如分析服务器的信息没有及时更新则从新读取分析服务器的实时运行状态和性能数值及返回步骤301；

步骤303：如分析服务器的信息得到及时更新集群管理器则根据分析服务器的信息计算分析服务器的工作负载性能数值。

另外，服务器的工作负载性能数值的计算公式如下：

F(C,M,N,H,L) = (p1*C + p2*M + p3*N + p4*H + p5*L )/( p1 + p2 + p3 + p4 + p5);

其中F值越高，表示该服务器的工作负载越重；

C表示： CPU使用率，M 表示：内存使用率，N表示：网络带宽使用率，H表示：硬盘缓存使用率，L表示：外部设备的连接比例，F 表示：工作负载量，Px表示：权重参数。

其中服务器的运行状态包括:CPU使用率，内存使用率，网络带宽使用率，硬盘缓存使用率，接收、分析软件运行状态，外部设备的连接比例。

集群管理器通过分析每一台服务器的运行性能来动态的调配对外设备的连接和内部分析运算。

集群内部通信采用TCP通信模式。各个节点服务器上的客户端实时把运行数值传输到集群管理器。

最后，基于工作负载性能数值计算结果，在一系列的服务器中挑选出有哪台服务器适合作为最新的接入对象，将接入端口分发给外部设备，完成外部设备与集群的对接。

接入集群中每一台服务器上的接收软件与分析集群的对接也是如此，由分析集群的集群管理器动态分派。

分发过程中挑选工作负载量最低的服务器作为外部设备的接入对象，同时，为了防止出现接入请求密度高时无法及时更新的服务器状态的状况，一旦连接分发出去之后在状态更新之前就不再对外分发。

一、低工作负载节点挑选过程；

二、从服务器状态列表中取得最低工作负载的服务器信息；

三、分析该信息是否及时更新，是否已进行分发；

四、如果不符合条件，重复步骤一；

五、把服务器信息发送至请求方；

六、在服务器状态列表中进行状态标注，标志已分发出去；

七、等到下一个请求。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。