招聘网站职位需求的WebMagic主题爬虫技术分析

摘要

互联网招聘是人才招聘不可或缺的核心途径.论文为自动抓取招聘网站信息并精准分析职位需求,基于WebMagic框架研发面向招聘网站职位信息分析的主题网络爬虫关键技术,对数据下载、信息抽取、筛选与管理、存储分析与可视化等系统开发环节均提出有效的解决方法.并以互联网行业为例挖掘互联网行业对人才的真正要求,对有效利用招聘网站数据和指导职业生涯规划具有重要的借鉴意义.