学堂在线MOOC课程的数据爬取与统计分析

摘要

cqvip:网上学习逐渐成为新的学习潮流,但各种各样的课程纷繁复杂。因此针对MOOC学堂在线网站,爬取相关数据进行研究分析,得出可以供更多学习者参考的学习建议。本次设计采用自行设计的爬虫结构,爬取采用了request,chromedriver+selenium 3.0库两种形式分别对静态网页以及动态网页进行爬取。标签数据分析库对爬取下来的数据进行分析,提取出想要的数据并对异常数据进行清洗。利用pandas,numpy对数据进行处理,处理完的数据采用matplotlib进行绘图。最后采用MySQL8.0对数据进行存储及处理,通过对数据的处理及作图比较,发现在学堂在线网站上的课程类型、学生数等特征之间存在一些联系。