基于移动通信大数据的流动人口统计中Hadoop的应用研究

摘要

根据移动通信客户的来话与去话等话务信息，结合客户身份证件资料，可以对特定区域人口的流入、流出情况以及流动类型进行分析及统计，为当地政府决策提供信息服务。鉴于移动通信数据源多样化、数据量大、数据增长快速等大数据处理问题，采用并行分布处理大数据的 Hadoop技术，构建基于 Hadoop的移动通信大数据处理框架，并通过设计ODS‐DWD‐DW三层数据处理、并行ETL和冗余删除以及分布式MySQL集群的查询代理层，满足移动通信大数据的数据载入、分布式存储和查询等用途的高效处理要求。