信息管理系统日志分析系统的设计与实现

摘要

当今社会，互联网面临数以亿计百亿次的用户访问，同时产生了大量记录用户访问信息的日志文件，这些隐藏着用户访问规律的日志信息是一笔非常珍贵的财富。如何处理这些海量日志数据，逐渐成为业界一大热门领域。
　　本文在hadoop平台的基础上，以信息管理系统日志文件为切入点，基于信息管理系统日志文件的特点、日志分析的业务特点，设计了一种能正确满足信息管理系统日志分析业务需求的软件架构，并阐述了该软件架构的设计思想，论述了选择软件架构的理由。该设计在逻辑与功能上将整个系统设计为日志采集、日志存储、日志处理、处理结果存储、结果展示五个部分。在面对海量日志数据时，该设计能较好地满足业务与性能需求，同时具有部件耦合性低，后期维护简单等优点。
　　结合实际的业务需求，以山东大学研究生管理信息系统为例，本文给出了该软件结构设计的具体软件实施方案与核心代码实现。在论述系统中日志采集部分的实现方式时，比较了Flume与Scribe的异同，介绍了如何配置Tomcat日志与Flume组件，并给出来具体的配置方案。在讲解系统中日志存储部分的设计与实现时，论述了选择HDFS作为存储方式的理由，并给出了具体实现。在设计实现系统中日志处理部分时，结合日志分析的业务特点，详细介绍了MapReduce在该系统中如何实现日志分析，阐述了MapReduce编程模型在处理海量日志文件的优势，比较了Hive与传统关系型数据之间的异同。同时，根据业务设计出Hive表结构。在介绍系统中处理结果存储部分的实现方式时，展示了MySQL数据库在实现该部分时具有的优点，并给出具体表结构。在论述系统中结果展示部分的实现方式时，简单配置实现了一个小型信息展示系统，并简单介绍了如何使用可视化控件ECharts实现结果数据展示，并给出核心实现代码。

目录

声明

摘要

1．1 课题背景

1．2 国内外研究现状

1．2．1 国外研究现状

1．2．2 国内研究现状

1．3 本文主要工作

1．4 本文的组织结构

2．1 总体需求分析

2．2 系统架构设计

2．3 系统数据流

2．4 系统的业务需求

2．5 信息管理系统日志分析的业务特征

3．1 总体系统设计

3．1．1 总体数据流向

3．1．2 基于hadoop生态体系实现日志分析系统的利弊

3．2 日志采集部分系统设计

3．2．1 日志文件内容设计

3．2．2 Flume实现日志采集

3．2．3 日志采集部分不同设计方案比较

3．3 日志存储部分系统设计

3．4 日志处理部分系统设计

3．4．1 MapReduce预处理日志数据

3．4．2 利用Hive对数据进行逻辑处理

3．4．3 Hive实现系统的横向扩展

3．4．4 Hive实现预处理结果存储与传统关系型数据库实现方式的比较

3．5 日志处理结果存储部分系统设计

3．6 结果展示部分系统设计

第4章 系统实现

4．1 日志采集部分系统实现

4．1．1 配置tomcat日志格式

4．1．2 配置Flume组件

4．2 日志存储部分系统实现

4．3 日志处理部分系统实现

4．3．1 MapReduce实现日志的预处理

4．3．2 Hive实现日志的预处理结果的存储

4．4 日志处理结果存储部分实现

4．5 结果展示部分系统实现

4．5．1 系统访问流量模块业务实现

4．5．2 系统访问时序模块业务实现

4．5．3 系统异常种类分析模块业务实现

4．5．4 系统访问热门模块与系统访问人员构成模块业务实现

第5章 总结与展望

参考文献

致谢