一种基于大数据平台的端到端业务质量优化装置及方法

摘要

本发明公开了一种基于大数据平台的端到端业务质量优化装置及方法，涉及大数据通信技术领域。该装置的DPI系统，用于利用探针捕获通信信令，对异常ICMP包进行预处理；并经过ETL操作后，将通信信令分发至Kafka集群；Kafka集群，用于对通信信令进行指标计算并存储；Spark大数据平台，用于从Kafka集群获取信息，判断是否有异常，将有异常的通信信道作为需要优化的信道发送至Redis集群；Redis集群，用于将信息持久化至HBase数据库；告警单元，用于监控Redis集群，一旦监控到性能劣化告警事件，则通知基站和终端通过功率控制和复杂信道编码来提高信道质量。本发明能从减少时延、提高信道质量等多方面实现对端到端业务质量的优化。

说明书

技术领域

本发明涉及大数据通信技术领域，具体来讲是一种基于大数据平台的端到端业务质量优化装置及方法。

背景技术

随着无线通信的飞速发展，无线通信之间的端到端业务质量日益受到人们的关注。端到端业务质量不但对统计时延的实时性要求越来越高，而且日益增长的数据量已经无法用传统的数据处理技术来实现，必须使用大数据技术来优化端到端业务质量。

而目前，还没有一种理想的实现方法来解决上述问题。因此，如何有效的实现对端到端业务质量的优化是本领域技术人员亟待解决的问题。

发明内容

本发明的目的是为了克服上述背景技术的不足，提供一种基于大数据平台的端到端业务质量优化装置及方法，能从减少时延、提高信道质量等多方面实现对端到端业务质量的优化。

为达到以上目的，本发明提供一种基于大数据平台的端到端业务质量优化装置，包括设于每条通信信道上的DPI系统、Kafka集群、Spark大数据平台、Redis集群、HBase数据库以及设于基站交换中心的告警单元；

所述DPI系统基于Spark大数据平台，用于：利用探针捕获各条通信信道上的通信信令；对通信信令产生的异常ICMP包进行预处理；并经过ETL操作后，将处理后的通信信令分发至Kafka集群；

所述Kafka集群作为消息中间件集群，用于：对DPI系统发来的通信信令进行指标计算并存储；

所述Spark大数据平台用于：从Kafka集群获取信息，经过逻辑处理，判断通信信道是否有延时或丢包的异常；将有异常的通信信道作为需要优化的信道，并将其信道信息发送至Redis集群；

所述Redis集群用于：将收到的信道信息持久化至HBase数据库；

所述HBase数据库用于：存储Redis集群进行持久化的信道信息；

所述告警单元用于：通过毫秒级的心跳方式来监控Redis集群，一旦监控到性能劣化告警事件，则通知基站和终端通过功率控制和复杂信道编码来提高信道质量。

本发明还提供一种应用上述装置的基于大数据平台的端到端业务质量优化方法，包括以下步骤：步骤S1：在端到端之间的每条通信信道上设置一个利用探针进行深度包检测的DPI系统，转入步骤S2；步骤S2：各条通信信道上的DPI系统的探针检测到通信信令后，对通信信令产生的异常ICMP包进行预处理；并经过必要的ETL操作后，将处理后的通信信令分发至Kafka集群，转入步骤S3；步骤S3：Kafka集群对收到的通信信令进行指标计算并存储，转入步骤S4；步骤S4：Spark大数据平台从Kafka集群获取信息，经过逻辑处理，判断通信信道是否有延时或丢包的异常；将有异常的通信信道作为需要优化的信道，并将其信道信息发送至Redis集群，转入步骤S5；步骤S5：Redis集群将收到的信道信息持久化至HBase数据库；同时，告警单元通过毫秒级的心跳方式来监控Redis集群，一旦监控到性能劣化告警事件，则通知基站和终端通过功率控制和复杂信道编码来提高信道质量。

本发明的有益效果在于：

(1)本发明中，采用基于大数据平台的数据处理技术和深度包检测探针技术来处理通信之间的信令数据，并且从深度包检测阶段开始处理信令数据，一旦探针检测到通信信令后，会对通信信令产生的异常ICMP包进行预处理；并对通信信令进行必要的ETL操作后，将通信信令分发至Kafka集群进行指标计算并存储；Spark大数据平台从Kafka集群获取信息后判断通信信道是否有异常，并将异常信道的信息发送至Redis集群；Redis集群将信息持久化至HBase数据库；而告警单元则通过毫秒级的心跳方式来监控Redis集群，一旦监控到性能劣化告警事件，则通知基站和终端通过功率控制和复杂信道编码来提高信道质量。

与现有技术相比，本发明采用基于大数据平台的数据处理技术和深度包检测探针技术来处理通信之间的信令数据，并且从深度包检测阶段开始处理信令数据，满足了日益增长的数据量的应用要求，且能从减少时延、提高信道质量等多方面实现对端到端业务质量的优化，用户体验佳。

(2)本发明中，在对通信信令进行ETL操作时，会对原始通信信令进行XDR字段的精简。该精简XDR字段的操作是针对实时保障应用的需求，减少原始通信信令的XDR字段，从而减少数据传送、信令指标计算等环节的数据处理量，从而达到缩短时延的目的。并且，Kafka集群是基于内存计算的服务器，能在内存中实现通信信令的指标计算和存储。本发明将处理后的通信信令分发至基于内存计算的Kafka集群中，而不是直接存储在硬盘数据库中，其主要思想是用内存计算取代基于硬盘的处理过程，从而减少IO时延。

(3)本发明中，告警单元在生成性能劣化告警事件后，还可以在呈现界面以告警流水窗或拓扑监控的形式展示告警信息，或者将告警事件送至故障管理系统生产流程，从而有效、及时的起到告警提示的作用。

(4)本发明中，还增设了质差小区分析单元，该质差小区分析单元能对HBase数据库内存储的信息进行日分析，判断哪些小区为质差小区；对于经质差小区分析单元判定的质差小区，则通过增加直放站或室内吸顶天线来增加信号覆盖，从而提高信号质量，进而利于及时的对终端信号进行实时质量监测和处理。

附图说明

图1为本发明实施例中基于大数据平台的端到端业务质量优化装置的结构框图；

图2为本发明实施例中基于大数据平台的端到端业务质量优化方法的流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细描述。

参见图1所示，本发明实施例提供一种基于大数据平台的端到端业务质量优化装置，包括DPI(Deep Packet Inspection，深度包检测)系统、Kafka集群、Spark大数据平台、Redis集群、HBase数据库以及设于基站交换中心的告警单元。

其中，所述DPI系统基于Spark大数据平台，用于：利用探针捕获各条通信信道上的通信信令；对通信信令产生的异常ICMP包进行预处理；并经过必要的ETL操作后，将处理后的通信信令分发至Kafka集群。

所述Kafka集群作为消息中间件集群，用于：对DPI系统发来的通信信令进行指标计算并存储。

所述Spark大数据平台用于：从Kafka集群获取信息，经过逻辑处理，判断通信信道是否有延时或丢包等异常；将有异常的通信信道作为需要优化的信道，并将其信道信息发送至Redis集群。

所述Redis集群用于：将收到的信道信息持久化至HBase数据库。

所述HBase数据库用于：存储Redis集群进行持久化的信道信息。

所述告警单元用于：通过毫秒级的心跳方式来监控Redis集群，一旦监控到性能劣化告警事件，则通知基站和终端通过功率控制和复杂信道编码来提高信道质量。

更进一步地，参见图1所示，该装置还包括质差小区分析单元，所述质差小区分析单元用于对HBase数据库内存储的数据进行日分析，判断哪些小区为质差小区。对于经质差小区分析单元判定的质差小区，通过增加直放站或室内吸顶天线来增加信号覆盖，从而提高信号质量。

参见图2所示，本发明实施例还提供一种应用上述装置的基于大数据平台的端到端业务质量优化方法，包括以下步骤：

步骤S1：在端到端(即基站到终端)之间的每条通信信道上设置一个利用探针进行深度包检测的DPI系统，该DPI系统基于Spark大数据平台，转入步骤S2。

步骤S2：各条通信信道上的DPI系统的探针检测到通信信令后，会对通信信令产生的异常ICMP(Internet Control Message Protocol，互联网控制报文协议)包进行预处理；并经过必要的ETL(Extract-Transform-Load，抽取、转换、加载)操作后，将处理后的通信信令分发至作为消息中间件集群的Kafka集群，转入步骤S3。

本实施例中，步骤S2中所述经过必要的ETL操作，具体包括以下流程：对原始通信信令进行XDR(XDomainRequest，跨域请求)字段的精简；并提取该通信信令对应的用户唯一标识。其中，精简XDR字段，是针对实时保障应用的需求，减少原始通信信令的XDR字段，从而减少数据传送、信令指标计算等环节的数据处理量，从而达到缩短时延的目的。而提取通信信令对应的用户唯一标识，则是为了后续在进行功率控制时需要识别到具体的用户。

步骤S3：Kafka集群对收到的通信信令进行指标计算并存储，转入步骤S4。

可以理解的是，本实施例中的Kafka集群是基于内存计算的服务器，能在内存中实现通信信令的指标计算和存储。本发明将处理后的通信信令分发至基于内存计算的Kafka集群中，而不是直接存储在硬盘数据库中，其主要思想是用内存计算取代基于硬盘的处理过程，从而减少IO时延。

步骤S4：Spark大数据平台从Kafka集群获取信息，经过逻辑处理，判断通信信道是否有延时或丢包等异常；将有异常的通信信道作为需要优化的信道，并将其信道信息发送至Redis集群，转入步骤S5。

步骤S5：Redis集群将收到的信道信息持久化至HBase数据库；同时，设于基站交换中心的告警单元通过毫秒级的心跳方式来监控Redis集群，一旦监控到性能劣化告警事件，则通知基站和终端通过功率控制和复杂信道编码来提高信道质量。

可以理解的是，所述性能劣化告警事件是告警单元根据静态阈值或动态波动幅度生成的。并且，告警单元在生成性能劣化告警事件后，还可以在呈现界面以告警流水窗或拓扑监控的形式展示告警信息，或者将告警事件送至故障管理系统生产流程，从而有效、及时的起到告警提示的作用。

更进一步地，为了更好的提高终端的信号质量，及时的对终端信号进行实时质量监测和处理，在步骤S5之后，还包括步骤S6：质差小区分析单元对HBase数据库内存储的信息进行日分析，判断哪些小区为质差小区；对于经质差小区分析单元判定的质差小区，通过增加直放站或室内吸顶天线来增加信号覆盖，从而提高信号质量。

本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。