基于HADOOP架构的社保项目网络日志分析系统的研究

摘要

社会保险业务作为全国一项基本惠民国策，正在有序而实效的展开。随着业务系统的不断增加，系统需要管理的设备也不断增加，硬件系统故障也越来越多。查看网络日志作为一个基本手段，是查看、解决系统故障的重要措施，也是监控系统运行状态的重要方法。但目前日志信息数据量大，难以理解，对系统管理员来说手工查看记录日志来说，不仅数据量太大的问题难以解决，更会直接导致对系统日志中的有用信息难以发现。
　　本文使用Hadoop分布式计算框架来解决这个问题，利用使用系统自带的syslog日志进行收集、整理工作。细致对Hadoop分布式框架进行分析，对原有系统syslog文件传输进行分析，在此基础上对原有分布在在各地需要的主机快速有效的收集日志，设计并实现一套基于Hadoop的社保网络日志分析系统，实现原有syslog日志文件整理、分析。
　　本文综合考虑到目前社保网络中的日志特点，使用Hadoop的HDFS分布式文件系统进行搭建环境，为原系统提供有效、实用、快速的分析结果，使用户对整体网络系统做到心中有数，使整体系统满足社保行业发展需要，同时也验证基于Hadoop框架结构的网络日志分析系统是有效而实用的。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景及意义

1.2 研究现状和发展

1.3 研究内容和组织

第二章 hadoop架构基本原理及相关技术

2.1 Hadoop架构概述

2.2 hadoop架构设计原则

2.3 hadoop架构实现技术

第三章 网络日志管理系统简介

3.1 日志管理系统发展

3.2 系统整体解决方案

3.3 本章小结

第四章 网络日志管理系统需求分析

4.1 社保系统网络需求分析

4.2 网络日志系统功能分析

4.3 系统流程分析

4.4 系统用例图

4.5 本章小结

第五章 基于Hadoop系统框架设计

5.1 Hadoop系统框架硬件搭建设计

5.2 Hadoop框架下的系统模型设计

5.3 开发环境及工具

5.4 本章小结

第六章 网络日志管理系统设计

6.1 系统活动图

6.2 系统时序图

6.3 系统分层设计

6.4 系统功能描述

6.5 性能要求

6.6 数据处理

6.7 其他要求

6.8 本章小结

第七章 网络日志管理系统实现

7.1 系统日志收集

7.2 系统日志写入

7.3 日志分析功能实现

7.4 日志分析系统规划

7.5 系统运行环境

7.6 本章小结

第八章 结 论

致谢

参考文献