南通市档案馆大数据管理平台关键技术研究

目录

第 1 章 绪论

1.1 研究背景

1.2 国内外研究现状

1.2.1 批处理模式

1.2.2 流处理模式

1.2.3 混合处理模式

1.3 研究意义

1.4 本文主要研究工作

1.5 本文组织结构

第 2 章 相关理论和技术

2.1 CM 概述

2.2 大数据技术框架概述

2.3 南通市档案馆大数据管理优化平台

2.4 本章小结

第 3 章 南通市档案馆大数据管理平台需求分析和架构设计

3.1 南通市档案馆大数据管理平台需求分析

3.2 南通市档案馆大数据管理平台架构设计

3.2.1数据采集层

3.2.2数据缓存层

3.2.3数据计算层

3.2.4数据展示层

3.3本章小结

第 4 章 南通市档案馆大数据管理平台详细设计与实现

4.1 通过Flume采集数据发送到Kafka

4.1.1 Flume和Kafka整合概述

4.1.2 Flume集群配置与KafkaTopic创建

4.1.3 Flume和Kafka整合实现

4.2 Spark streaming消费Kafka中的数据

4.2.1 Kafka和Spark streaming整合概述

4.2.2 KafkaSpout的应用

4.2.3 Kafka和Spark streaming整合实现

4.3 Spark streaming计算结果写入Redis

4.3.1 Spark streaming和Redis整合概述

4.3.2 编写spark streaming业务处理DStream

4.3.3 Spark streaming和Redis整合实现

4.4 本章小结

第 5 章 实验设计与分析

5.1 实验环境

5.2 实验设置

5.3 实验数据

5.4 实验结果及分析

第 6 章 总结与展望

6.1 总结

6.2 展望

参考文献

致谢

声明