基于大数据技术的大学生就业技能需求分析系统

摘要

针对大学生很难从海量网络招聘信息中获取有价值的就业技能信息问题,设计并实现了一种基于大数据技术的大学生就业技能需求分析系统。使用Scrapy爬虫框架采集职位信息,存储于Hadoop分布式集群,使用MapReduce程序进行处理,利用Hive从招聘职位的多个维度进行提炼和分析,最后将结果进行可视化展示。实践表明,该系统能够帮助大学生更有针对性地学习就业所需技能,为职位规划提供更有效的决策。