基于Storm的大数据实时处理架构的设计与实现

目录

第一个书签之前

摘 要

Abstract

第1章 绪 论

1.1 课题背景及研究的目的和意义

1.2 国内外研究现状

1.3 本课题研究的主要内容

1.3.1 基于Kafka构建消息队列实现数据缓存区

1.3.2 基于Storm构建流式处理框架

1.3.3 结合MySQL、HBase、ElasticSearch实现数据存储

1.3.4 基于Presto实现分布式SQL查询

1.4 本论文的组织结构

第2章 大数据实时处理架构需求分析

2.1 功能需求分析

2.1.1 数据处理模块

2.1.2 数据输出模块

2.1.3 需求指标数据

2.2 非功能需求分析

2.3 系统关键技术

2.3.1 构建消息队列实现并行处理

2.3.2 基于分布式内存的并行计算

2.3.3 组合式多数据源存储

2.3.4 查询优化

2.4 本章小结

第3章 大数据实时处理架构设计与实现

3.1 总体架构设计

3.2 技术方案及系统部署设计

3.2.1 技术方案

3.2.2 系统部署

3.3 实时数据处理流程设计

3.3.1 Worker

3.3.2 Storm拓扑

3.3.3 Provider

3.3.4 HTTP API

3.4 数据结构的设计

3.4.1 消息设计

3.4.2 数据库表设计

3.5 核心架构实现

3.5.1 消息中间层获取数据来源

3.5.2 基础架构层进行Storm核心计算

3.5.3 JSF服务层提供面向接口的服务

3.5.4 应用支持层提供API

3.6 技术难点

3.7 系统界面展示

3.8 本章小结

第4章 大数据实时处理架构测试与分析

4.1 测试方案

4.1.1 日常流量数据模拟

4.1.2 大促时段数据模拟

4.2 测试方法

4.3 测试数据

4.3.1 日常流量数据模拟

4.3.2 大促时段数据模拟

4.4 本章小结

结 论

参考文献

哈尔滨工业大学学位论文原创性声明和使用权限

致 谢

个人简历