声明
摘要
1绪论
1.1大数据的背景及现状
1.2本文主要工作
1.2.1基于大数据云计算的基础构架
1.2.2传统信息系统向云模式过渡
1.2.3分布式系统资源的云端整合
1.2.4海量数据存储分类问题
1.3本论文的结构安排
1.4技术线路与方案
1.5研究工作要实现的最终目标和研究成果形式
2相关技术
2.1云计算应用平台的架构设计
2.2大数据与云计算结合
2.3 LVS DR负载均衡技术
2.4 Nginx+Tomcat实现反向代理与动静分离
2.5.1 Struts开发
2.5.2 Spring框架
2.5.3 Hibernate框架
2.5.4 HBase与RDBMS的区别
2.5.5 Hive数据仓库的优势
2.6本章小结
3系统需求分析
3.1系统设计的目标
3.2用户需求
3.3非功能性需求
3.4数据流图及其描述
3.5用户角色分析
3.6业务需求分析
3.7系统主从数据库需求分析
3.8分析HBase数据库需求分析
3.9Hive数据仓库设计分析
3.10本章小结
4系统设计
4.1设计原则
4.1.1灵活可扩展性
4.1.2安全可靠性
4.1.3准确实时性
4.1.4易用可管理性
4.2开发运行环境
4.3总体设计
4.3.1总体架构
4.3.2技术架构
4.3.3数据架构
4.3.4数据采集
4.3.5业务流程及算法
4.4安全体系设计
4.4.1物理安全
4.4.2网络安全
4.4.3应用安全
4.4.4数据安全
4.5系统结构设计
4.6应用模块化设计
4.6.1登录模块
4.6.2用户管理模块
4.6.3教师信息模块
4.6.4学科信息模块
4.6.5科研信息模块
4.7数据库结构设计
4.7.1系统E-R图
4.7.2数据字典
4.7.3主从数据库设计
4.7.4云数据仓库设计
4.8本章小结
5系统的实现
5.1.1登录流程
5.1.2登录实现
5.1.3注册实现
5.2数据库实现
5.3数据仓库HIVE UDF开发
5.4Hadoop云平台部署
5.5数据上传
5.6 K均值算法调用
5.7本章小结
6系统维护与测试
6.1测试环境
6.2测试方案
6.2.1 Web动静态分离测试
6.2.2 HBase分布式数据库测试
6.2.3 HBase优化
6.2.4黑盒测试
6.2.5白盒测试
6.2.6测试结果
6.2.7运行效果图
6.2.8实测结果分析
6.3系统维护
6.3.1系统维护内容
6.3.2系统维护的整合及管理
6.4本章小结
7结论
参考文献
致谢