企业级分布式数据中心系统的设计与实现

摘要

现代社会已经进入大数据时代，数据背后隐藏的巨大价值，驱动着越来越多的企业投入大量的时间跟精力进行大数据基础设施建设。大数据所带来的海量数据访问在传统数据库系统上已经无法满足业务需求，而分布式数据库正是这样一种可用来解决海量数据访问性能问题的方案。基于海量数据的商业智能分析，能够有效整合数据提供给决策者。本课题来源于华中科技大学计算机学院和某企业合作的项目，需要完成对海量数据进行分布式存储，跨节点快速查询以及构建并维护数据立方体。
　　本文首先分析了国内外发展现状，并介绍了系统设计相关的理论基础和关键技术，具体包括分布式数据库中间件、高可用负载均衡技术、数据仓库和多维分析技术等。然后对系统进行需求分析，明确了设计目标后，从整体上介绍了系统总体架构，并按功能划分出模块。紧接着，详细介绍了各模块的具体设计和实现方案，即使用Mycat分布式数据库中间件进行分布式数据存储、使用HAProxy+keepalive实现系统高可用易拓展负载均衡、使用缓存表技术实现跨节点Join查询优化，使用多维分析技术构建数据立方体，使用触发器+日志表方式实现增量更新。最后，进行系统测试相关工作和未来研究展望。
　　本文所设计的系统运行基本稳定、处理效率高、统计结果准确，基本满足了企业的需求。