基于文本挖掘的网络招聘信息分析

摘要

随着互联网技术的发展，人才招聘方式发生了非常大的变化，逐步从以前那些招聘方法过渡到现在的网络招聘，网络招聘平台的信息最直观地反映了当今社会对人才的需求，尤其是近年来风生水起的大数据行业。为了研究当今招聘市场的详情和大数据行业的需求情况，本文以山东省为例，对普通岗位和大数据岗位的招聘数据进行了相关研究。 本文通过爬取前程无忧和智联招聘两个综合性的招聘网站的数据，主要对山东省普通岗位和大数据岗位进行了研究。针对普通岗位，主要是采用描述性统计分析的方法，从工作地点、工作经验要求、薪资水平、学历水平、公司性质、公司规模等方面对普通岗位的招聘情况进行了分析；对大数据岗位，一方面利用描述性分析，对上述指标进行了统计分析，另一方面，针对岗位要求和岗位职责两个指标进行详细分析，利用TF-IDF算法、构建LDA主题模型和职位画像，对大数据各类岗位对人才的要求进行了研究。 通过分析，可以得到不管是普通岗位也好，还是大数据类岗位也好，在山东省内部大多都是分布在济南和青岛两座城市，普通岗位对经验、学历的要求要低于大数据类岗位，相应的薪资水平也较低，而公司性质和公司规模都是以小型民营企业为主。通过对大数据类岗位的分析，还能得到目前社会对于数据分析师、数据开发工程师、算法工程师的需求量较大，各类岗位对专业技能和个人品质素养方面也有较高的要求。通过多方面分析，最后为培养大数据人才的高校和致力于进军大数据行业的求职者提出相应的参考建议。

目录

声明

1 前言

1.1研究背景及意义

1.1.1研究背景

1.1.2研究意义

1.2国内外研究现状

1.3论文主要内容

2 相关概念和理论模型介绍

2.1文本挖掘

2.2网络爬虫技术

2.2.1网络爬虫原理及分类

2.2.2 Scrapy爬虫框架

2.3 LDA主题模型介绍

2.3.1 TF-IDF算法概念及原理

2.3.2 LDA主题模型概念及原理

2.4社会网络分析方法

3 网络招聘信息实证分析

3.1山东省普通岗位招聘信息的采集和预处理

3.1.1信息采集

3.1.2信息预处理

3.2山东省普通岗位描述性统计分析

3.3大数据岗位招聘信息的采集和预处理

3.3.1大数据人才界定与职位划分

3.3.2大数据岗位招聘信息采集和预处理

3.4大数据岗位需求分析和技能要求分析、职位画像

3.4.1大数据岗位人才需求信息描述性统计分析

3.4.2大数据岗位专业要求技能分析和职位画像

4 总结与展望

4.1总结

4.2不足与展望

参考文献

致谢