基于日志文件的数据监控系统设计与实现

摘要

随着互联网技术的日益发展，网络为人们提供了海量信息和多样性的娱乐环境，如新闻资讯、影视视频、音乐等。然而，面对如此繁杂的信息和服务，针对用户的个性化需求，如何帮助用户便捷地从海量数据资源中获取到他们真正想要的信息和感兴趣的资源，个性化推荐引擎技术由此应运而生。
　　通过个性化推荐，能够极大地降低用户的浏览和检索成本，帮助用户更快定位有效的信息和感兴趣的资源。但由于用户喜好的差异性、需求的复杂性以及推荐信息的多样性，往往使得有效的推荐策略和推荐算法不能一蹴而就，也就必然导致在产品推广和生产实验的过程中，需要依赖于个性化推荐引擎的日志来进行分析和评估，再根据分析评估结果对推荐策略进行迭代、优化和改进，以达到辅助优化推荐过程的目的。面对成千上万的产品实验和海量的用户访问日志，如何通过一个日志数据监控系统来实时有效地掌控产品的使用情况，以及快速客观地评估产品推荐的效果和质量，并辅助促进推荐策略算法的优化和改进，这就成了一个非常值得研究的课题。
　　本文通过设计并实现了一个基于推荐引擎日志文件下的数据监控系统来解决上述问题，该监控系统主要针对产品实验和海量用户访问日志进行监控分析，并根据监控分析结果快速客观地评估产品推荐的效果和质量，从而对产品或实验的推广效果进行量化评价，具有一定的进步性。系统首先从HDFS的数据仓库中获取经过过滤处理后的日志数据，接着采用临时的分布式处理框架，对事先定制的实验指标进行快速的统计，并将统计结果导入MySQL数据中，最后再对数据库中的参数指标按照配置的监控策略进行监控，监控的结果以邮件和短信的形式实时发送给相应的实验和产品负责人，最终实现为推荐的效果评估和监控策略算法的改进优化提供实时、有价值的数据支持。

目录

声明

摘要

第1章 绪论

1．1 课题研究背景和意义

1．1．1 课题的主要背景

1．1．2 工程设计意义及价值

1．2 国内外研究现状

1．3 课题先进性和实用性

1．4 本文主要研究内容

1．5 论文组织结构

第2章 系统相关技术

2．1 python简介

2．2 海量数据处理技术介绍

2．2．1 Hadoop Streaming QuickStart

2．2．2 Streaming优缺点分析

2．3 MySQL数据库

2．3．1 Mysql数据库介绍

2．4 Django框架介绍

2．4．1 Django框架概述

2．4．2 Django框架特性

2．5 Apache服务器介绍

2．6 本章小结

第3章 基于个性化推荐日志下监控系统的需求分析

3．1 监控系统的业务需求

3．2 监控系统的功能需求

3．2．1 实验指标统计功能需求

3．2．2 日志数据监控功能需求

3．3 监控系统的非功能需求

3．4 本章小结

第4章 基于个性化推荐日志下监控系统的设计

4．1 系统的设计目标

4．2 系统的概要设计

4．3 临时统计框架子系统的详细设计

4．3．1 日志数据的来源

4．3．2 实验指标统计功能的详细设计

4．4 用户信息子系统的详细设计

4．4．1 用户信息维护模块设计

4．4．2 短息邮件发送模块设计

4．5 监控策略定制子系统的详细设计

4．5．1 监控策略维护模块的设计

4．5．2 主监控模块的设计

4．6 实验指标值查询子系统的详细设计

4．7 系统数据库设计

4．8 本章小结

第5章 基于个性化推荐日志下监控系统的实现

5．1 系统的开发环境

5．2 用户信息子系统的实现

5．3 发送短信和邮件的实现

5．4 临时统计框架子系统的实现

5．5 主监控模块的实现

5．6 本章小结

第6章 测试与结果分析

6．1 测试环境

6．1．1 测试环境配置及方法

6．2 测试工具介绍

6．2．1 unittest测试框架

6．2．2 Siege测试工具

6．3 测试方案介绍

6．4 测试用例、结果及结果分析

6．4．1 单元测试

6．4．2 集成测试

6．4．3 系统测试

6．4．4 性能测试

6．5 本章总结

结论

参考文献

致谢