基于大数据的日志采集分析系统的研究与实现

目录

声明

第1章 绪论

1.1 研究背景与意义

1.2 国内外研究现状

1.2.1 日志收集方式研究

1.2.2 日志聚类算法研究

1.2.3 K-means聚类算法研究

1.3 论文主要研究内容

1.4 论文组织结构

第2章 大数据处理的相关技术

2.1 Flume框架

2.2 Kafka框架

2.3 HBase存储

2.4 Storm流式计算

2.5 Zookeeper分布式应用程序协调服务

2.6 本章小结

第3章 K-means聚类算法的改进

3.1 聚类思想的主要内容及特征

3.2 K-means算法的主要内容及特征

3.3 使用K-means算法进行用户行为分析

3.4 改进K-means算法的主要措施

3.5 自适应K值加权K-mean算法

3.6 本章小结

第4章 大数据日志采集分析系统设计

4.1 系统需求分析

4.1.1 日志简介

4.1.2 大数据日志收集

4.1.3 大数据用户行为分析

4.2 大数据日志的收集、分发、处理和存储

4.3 日志采集架构设计

4.3.1 Flume收集日志分发给Kafka

4.3.2 Storm订阅Kafka日志并处理

4.3.3 Hbase存储日志数据

4.4 日志采集分析功能设计

4.4.1 查看日志分析服务列表功能

4.4.2 创建日志分析服务功能

4.4.3 查看日志分析服务详情功能

4.5 本章小结

第5章 系统实现和测试

5.1 系统开发环境

5.2 系统数据库表设计

5.3 系统功能实现

5.3.1 查看日志分析服务列表功能

5.3.2 创建日志分析服务功能

5.3.3 查看日志分析服务详情功能

5.4.1 测试环境

5.4.2 功能测试

5.4.3 性能测试

5.5 本章小结

第6章 总结与展望

6.1 总结

6.2 展望

参考文献

攻读硕士学位期间发表的论文及其它成果

致谢