基于简历数据的职位推荐系统的设计与实现

摘要

简历是个人人生经历的简述，大多数用于求职筛选，除此之外简历中很多信息没有被充分利用，然而个人过往的求职经历往往能给予其他相似求职者以借鉴意义。因此，本文希望通过深入挖掘简历信息，包括简历的项目经历和个人信息，从而为求职者找到适合的工作职位推荐，也希望能通过其求职经历帮助其他求职者。 鉴于当前求职市场存在的低效的处理方式，本文以挖掘简历的方式对职位进行推荐，提高效率与效果。存在的问题首先是很多公司简历筛选依靠人工或是简单的对学历，性别，专业，工作年限等关键词信息进行匹配后再次进行人工筛选，导致招聘整体流程时间偏长，效率偏低；其次，对于求职者来讲，当前的求职网站推荐大多依靠求职者意向职位的关键词匹配，岗位推荐数量多，但不一定适合该求职者，需要花大量时间与精力去甄别，因此基于以上情况，本推荐系统会根据求职者上传的简历信息，推荐合适且更有把握的的职位列表给求职者，并根据其点击的职位偏好，对推荐结果进行调整更新职位列表并显示于求职网站的个人中心。论文的主要贡献如下： 1)使用基于Hadoop的大数据平台对用户建立用户模型。将用户简历中的具体字段转化为数字字段，并将数据存入用户库。同时用fastText的深度学习方法，训练职位分类模型，得到用户对应的行业标签，使得整个推荐系统的效率有了极大的提高。 2)采用基于内容以及基于人口统计学的混合推荐模型，来为用户找出相似的其他用户，混合推荐的模型综合了这两种算法各自的优势，既包括对用户在个人属性上的判断也对项目与过往求职经历的考量。确定影响算法的影响因子，使用层次分析方法得到其对应比重后进行局部加权得到相似用户。 3）使用flume日志收集系统将日志汇聚到kafaka集群，kafaka再将数据发送给Sparkstreaming实时处理同时也将数据存入HDFS中以便离线分析。Sparkstreaming根据日志数据得到热门职位列表，用户可以点击职位列表更新或通过网页更新得到最新的职位推荐列表。同时，Flume也将数据存入离线数据磁盘，系统会定期处理磁盘上的离线数据，得到用户的浏览记录表，根据用户的点击浏览情况调整推荐列表，使其更符合用户需求。 最后，对整个系统进行阶段性的系统功能测试以及性能测试。系统研发基本完成，还未上线，使用历史的点击投递的日志数据进行系统的离线推荐效果测试，实验结果证明系统基本可以满足用户的合适职位推荐的求职需求，可以作为一个工具提高企业与求职者的效率，也为职位推荐领域增加一种推荐探索。

目录

第一个书签之前

摘 要

ABSTRACT

第一章 绪论

1.1课题研究背景

1.2 研究目的及意义

1.3 国内外研究现状

1.4 研究内容

1.5 论文组织结构

第二章 相关技术

2.1 推荐算法

2.2 关键词提取

2.3 FastText

2.4 kafaka

2.5 本章小结

第三章 系统需求分析

3.1 推荐系统的目标

3.2系统的需求分析

3.2.1 系统的功能需求

3.2.2 系统的性能需求

3.3 本章小结

第四章 系统概要设计

4.1 系统功能设计

4.2 系统的整体架构设计

4.3 数据库设计

4.4 本章小结

第五章 详细设计与实现

5.1 数据输入

5.2 离线数据处理

5.2.1 职位分类模型

5.2.2 关键词提取

5.2.3 日志分析

5.3 在线推荐

5.3.1 量化规则

5.3.2 相似度计算

5.3.3 混合推荐

5.3.4 职位更新

5.4 推荐输出

5.5 本章小结

第六章 测试与分析

6.1 测试环境

6.2 应用展示与功能测试

6.3 系统性能测试

6.3.1 分类性能

6.3.2 运行性能

6.3.3 关键词提取算法比较

6.3.4 推荐系统效果

6.4 本章小结

第七章 总结与展望

7.1 总结

7.2 展望

致 谢

参考文献