基于Hadoop手机上网日志处理系统的设计与实现

摘要

利用Hadoop开源的大数据处理架构,在x86服务器集群上实现海量手机上网日志数据的ETL、存储和查询,指出GPRS上网日志包含采集模块、存储模块和查询模块，采集接口接收GGSN模块分流并预处理GPRS日志话单。日志话单包含：开始时间、手机号码、IMEI号、访问APN、终端IP、响应时间、上行流量、下行流量、基站LAC、网络类型、上网类型（如HTTP、APP等）、目标IP、URL等信息，存储模块利用Hadoop的HDFS和HBase进行管理，查询模块中由于前台展现的主要信息包括：用户手机号、承载类型、用户IP地址、用户请求的URL、用户请求的目的IP地址、连接时间、上行流量、下行流量、IMEI串号和基站ID等信息。在前台查询界面输入查询条件：号码+AP N+查询的起始时间和结束时间，后端在收到前台的查询请求后，服务端根据startkey，endkeyl查询用户的上网日志并在前台显示，由于查询条件为HBase表的Key值，因此查询速度极快。从而用较低的成本实现PB级的海量数据系统并提供快速服务.