基于Spark的电影推荐系统的设计与实现

摘要

在人们的生产生活中经常可见大数据[1]的身影,数据量呈现几何式的增长,传统的信息传递机制越显弊端.现在正是推荐系统大力发展的上升期,但是也要克服随之而来的诸多问题,经常出现的冷启动[2]、数据稀疏性[3]等问题被众多学者广泛研究.该文打算采用聚类技术和协同过滤等技术来缓解这些问题,提升推荐质量,从而满足人们能够快速地获取所需信息.然后设计出一个关于电影的推荐网站,采用现今比较流行的处理大数据的Spark[4]技术以及依托建立在其上层的MLlib机器学习生态库.达到处理海量数据的能力,根据现有的条件技术从离线推荐和热门推荐两种方式分区组合推荐来实现本系统.