面向推荐系统的用户行为记录数据实时预处理研究与实现

摘要

随着大数据的发展,人们对大数据的处理要求也越来越高,原有的批处理框Map Reduce适合离线计算,却无法满足实时性要求较高的业务,如实时推荐、用户行为分析.为解决实时推荐系统中数据的实时处理问题,文章在研究FIume日志采集系统、Kafka消息系统、Spark Streaming流式数据处理、Redis数据存储的基础上提出一种基于FIume+Kafka+Spark Streaming+Redis的面向推荐系统服务的数据实时预处理系统.