基于云计算平台的电信经营分析系统中海量数据处理研究

摘要

移动经营分析系统（Business Analysis and Supporting System，简称BASS ）是中国移动业务运营支撑系统的核心子系统之一。移动BASS 具有海量数据存储、数据源繁杂、处理能力要求高等特点，这些特点使现有的移动BASS 面临如何为日益增长的海量数据和复杂业务提供强大计算和存储能力的挑战。云计算能够将分散的计算资源集中起来，形成一个巨大的“资源池”，能更好地解决海量数据难以组织、难以处理的问题。要在移动BASS中应用云计算需要解决很多问题，如何高效地对海量源数据进行抽取、转换和装载（Extraction、Transformation and Loading，简称ETL ）处理便是其中之一。
　　 论文针对移动BASS的特点，借鉴中国移动“BigCloud ”云计算平台的建设思想，设计了基于云计算平台的移动经营分析系统（简称CB-BASS ）的框架结构；针对移动BASS现有ETL 处理算法的不足，借鉴Map/Reduce 思想，提出了基于拆分机制的海量数据处理（Split Mechanism Based Data Processing，简称SMB-Dp）算法；针对基于贪婪算法的ETL调度方法的不足，引入了任务优先级概念，提出了改进的基于贪婪算法的ETL 任务调度（Advanced Greedy Based –ETL Tasks Scheduling，简称AGB-ETL ）算法。
　　 在此基础上，搭建了CB-BASS的测试环境，选取移动BASS的计费账务类清单数据进行了测试，并对测试结果数据进行分析和比较，验证了论文提出的SMB-Dp算法和AGB-ETL 算法可以更有效的实现移动BASS 海量数据的ETL 处理，更好地满足移动BASS的实际需求。

目录

文摘

英文文摘

论文说明：缩略词、图表目录

声明

第一章 绪论

第二章 云计算相关概念

第三章 基于云计算平台的移动经营分析系统分析与设计

第四章 CB-BASS 中海量数据ETL 处理算法的分析与设计

第五章 测试与验证

第六章 总结与展望

参考文献

致谢

攻读硕士学位期间发表的学术论文