第四方就业信息推荐系统的研究与实现

摘要

随着Web2.0的不断发展和流行,互联网上的信息量急剧增加,用户很容易迷失在信息的海洋中。网络招聘信息,作为互联网信息的一种,广泛充斥在互联网中。而且,就业信息网站林林总总、真假难辨。面对海量信息,信息检索和信息过滤是当前两种主要的解决方案。其中,信息检索的结果是大众化的,只要输入的关键词一样,搜索结果就相同,并且搜索结果的数据量可能仍然很大。而信息过滤则能有效的弥补信息检索的不足,通过个性化定制的方法进一步提升用户体验度。常用的信息过滤方式为个性化推荐。因此,本文在就业信息的处理中充分结合信息检索和信息过滤这两种方式,为求职者尽可能简洁高效的提供真实有用的信息。此外,本文结合一些Web开发的相关技术,利用Mysql、SolrCloud等开源软件设计并实现了第四方就业信息推荐系统。
　　论文主要工作包括:
　　①实现就业信息的抓取、解析和清洗。本文首先采用网络爬虫的方式从各大第三方招聘网站抓取信息。然后对获取的就业信息进行清洗和格式整理。最后,将所有格式化的就业信息映射到一个标准的行业分类目录上,形成一个分类一致的就业信息数据集。
　　②实现就业信息的分布式存储。本文采用Mysql数据库集群的数据存储方案,通过负载均衡、数据切分、读写分离等方法,保证数据库并发读写效率和分布式数据库事务的正确性。
　　③搭建分布式全文检索系统。本文采用SolrCloud作为分布式全文检索引擎, Zookeeper作为搜索引擎集群监视器和配置文件管理器,搭建了一个高性能、高可用的分布式全文检索系统。
　　④实现就业信息的个性化推荐。利用用户的行为数据,基于用户的个性化推荐算法为用户推荐感兴趣的工作;利用评分可信度和Hadoop框架,研究和设计了基于评分可信度的UserCF并行推荐算法。