基于分区的网络行为监控系统数据库设计与优化研究

摘要

在21世纪这样的信息时代,数据库技术已经渗透到各种应用领域当中,互联网的快速发展推动着数据库技术应用的激烈变革。在信息数据量飙升的环境下,用户不再仅仅需求某种单一软件,而是越来越关注并寻求稳定、高效的数据层解决方案。
　　 本文所依托的课题项目背景--某企业B/S结构员工网络行为监控系统引用了当前最流行的LAMP(Linux+Apache+Mysql+PHP)架构进行开发。被大家公认为目前Linux系统下运行速度最快的MySQL数据库保存了各种网络行为日志信息。然而面对要频繁读写大规模日志数据这样的需求,如何进行合理的数据库设计与性能优化,使得网络行为监控系统数据库稳定、高效的运行是本课题的主要工作目的。
　　 为保证大规模数据的查询效率,本文设计了一种基于静动隔离数据拆分的架构。首先将大规模日志数据拆分为活跃数据与静态数据,即实时与历史日志,通过定时任务调度实现活跃数据到静态数据的复制,其次结合MySQL5.1版本引入的新特性-partition表分区技术,按照不同时间粒度对日志进行表分区。对于数据量较小且频繁访问的基础数据表,采用磁盘表与内存表并存方式保存数据,以提高表连接效率。为监控策略制定模块设计了灵活的监控策略表,以模板形式应用策略到单个被控对象或组被控对象中,并实现了监控策略应用的组优先,方便管理员操作。从而设计了一套合理、高效的数据库Schema。
　　 在Query优化方面,本文通过分析频度较高的Query语句explain执行计划,设计了适当的索引。对于不适合建立索引的数据列,本文提出了一种数据分类模型,按照列属性对数据表进行一维或二维关系的数据分类,并以视图方式保存,通过匹配对应的数据子集,实现查询语句重组,取代原来繁琐的Query语句。经测试表明,Query优化后避免了全表扫描造成的响应时间延迟,查询效率比优化前大大提高,证明了该优化方案的可行性。

目录

文摘

英文文摘

第一章 引言

1.1 课题背景

1.2 国内外研究现状与发展趋势

1.3 论文研究目标

1.4 论文解决的问题

1.5 论文主要工作与组织结构

第二章 MySQL数据库简介及其架构研究

2.1 MySQL的发展历史与特性介绍

2.2 MySQL的主要应用领域

2.3 MySQL系统架构

2.4 MySQL插件式存储引擎

2.5 本章小结

第三章 MySQL数据库性能优化理论与方法研究

3.1 数据库性能优化概论

3.2 影响MySQL性能的主要因素研究与分析

3.2.1 客户需求对性能的影响

3.2.2 数据库Schema设计对性能的影响

3.2.3 Query语句对性能的影响

3.3 数据库性能优化方法

3.3.1 数据库Schema设计优化思想

3.3.2 Query语句优化

3.3.3 索引的使用

3.4 本章小结

第四章 网络行为监控系统需求分析与数据库架构设计

4.1 客户功能需求介绍

4.2 针对大规模数据查询的需求分析

4.3 基于静动隔离数据拆分的架构设计

4.4 本章小结

第五章 网络行为监控系统数据库设计与优化研究实现

5.1 MySQL服务器安装与配置优化

5.1.1 MySQL服务器安装优化

5.1.2 MySQL服务器参数配置优化

5.2 日志管理模块表设计与优化

5.2.1 日志管理模块表结构字段设计

5.2.2 实时与历史日志分离实现

5.2.3 日志管理模块的高效分区实现

5.2.4 设计最恰当的索引

5.2.5 日志表的数据分类模型与视图设计

5.2.6 历史日志数据的转储与定期清理

5.3 被控主机IP/MAC管理模块表设计与优化

5.3.1 模块功能分析

5.3.2 寻找访问频繁的字段

5.3.3 逆规范化表设计——添加冗余提高查询效率

5.3.4 基础数据表的存储方案

5.3.5 批量数据导入功能的实现

5.4 监控策略模板制定模块

5.4.1 设计灵活的策略模板表

5.4.2 监控策略实现组优先

5.5 网络行为监控系统主要数据表实体关系

5.6 本章小结

第六章 总结与展望

6.1 全文总结

6.2 本文展望

致谢

参考文献

攻硕期间取得的研究成果