基于实时流式处理方案的网优大数据系统架构

摘要

随着计算机硬件与软件技术的发展,使得海量数据的处理成为可能,实时数据处理也逐渐成为新的需求.中国移动每天都会产生大量网络数据,如何实时处理这些数据使得网优专家更及时了解网络状况成为一个新的问题.通过对集中网络优化平台介绍了如何实时处理网络数据.介绍了利用开源作业调度框架和多线程采集完成各省海量数据的快速采集,运用列模式解决多样数据的解析困难并提高解析效率,使用流式处理架构提高数据分析的实时性.