基于WEB挖掘的高校网络日志BI系统的设计与实现

摘要

随着网络用户的增多和网络行为的多样性,高校网络浏览记录快速增长到Tb级,传统的数据统计已经无法满足使用.通过Excel进行统计,会出现无法打开或失去响应等问题,因此众多学校投入到网络信息管理系统的开发.本文通过Pandas对Excel中的高校网络WEB日志数据进行统计和分析、生成统计图等方式使得管理员可以直观了解到网络浏览情况.系统前端采用了CSS架构用于优化界面,选择Mysql数据库进行数据存储,使用Django框架进行系统搭建,实现前后端的连接和用户管理.在系统的使用过程中,通过生成的统计图,管理员可以直观了解到用户在各个时间段的浏览情况和用户的浏览网站类别倾向,从而对实现网络舆情的监督.