基于Python网络爬虫的设计研究——K12教育教学网数据获取

摘要

在教育大数据背景下,传统的搜索引擎已经不能满足教师获取线上教育数据的需求,网络爬虫作为搜索引擎组成部分,在数据获取方面的作用尤为重要.文章从如何获取K12教育教学资源出发,研究Python网络爬虫技术,设计了一个爬虫程序,并应用于案例分析.该程序不仅仅可以运用在K12平台上，还可以运用在同类型的网站，比如中国地理网、研究生招生信息网、信息技术教育与科研网等。比如地理老师需要大量的有关地形图片，中国地理网数据是对外开放，可以通过本程序在其平台上通过关键词“地形”，批量下载图片。