基于Storm的在线个性化商品推荐系统的设计与实现

摘要

近年来，电子商务的规模不断扩大，商品个数和种类快速增长，顾客在网上购物时需要花费大量的时间才能找到自己想买的商品。这种需要浏览大量无关商品信息的行为无疑会使许多消费者失去耐心，进而造成网站消费者的流失。个性化推荐系统的产生就是要解决这些问题。传统的推荐系统大多离线计算用户商品模型，定时计算推荐列表，继而进行推荐。但是离线计算的结果不足以为用户提供更准确的服务。出于对实时性和个性化商品推荐的要求，本文实现一个基于分布式计算系统Storm的在线个性化商品推荐系统。 论文阐述了系统所使用的相关推荐算法，包括基于物品的协同过滤算法，矩阵分解算法和基于流行度的推荐算法。介绍了分布式计算系统Storm，并行运算编程模型MapReduce以及分布式列式数据库HBase。论文分析了个性化商品推荐系统的业务流程，给出了系统功能需求和非功能需求，给出了各个子功能的用例图和用例说明。论文给出了个性化商品推荐系统的应用架构设计，并设计了系统的日志收集与处理模块，推荐算法模块，推荐请求处理模块和数据存储模块四个功能模块，并描述了数据库的设计和系统中数据结构的设计。实现了用户日志收集与处理模块包括利用Kafka进行数据采集，使用Storm处理异常IP，计算用户对商品的评分并归一化等；实现了推荐算法模块包括基于Storm的矩阵分解的分布式实现，生成负样本作为矩阵分解的部分数据来源。利用MapReduce实现分布式的余弦相似度计算。对于用户冷启动问题，实现了基于流行度的推荐算法。生成用户时间衰减因子配置文件用于更新用户商品评分数据，提高推荐效果。推荐结果的计算与筛选模块在Storm完成对推荐结果的计算和筛选，识别推荐场景，选择不同的推荐策略为用户生成推荐列表返回给前端，同时保存推荐列表，为用户进行在线推荐。数据存储模块主要包括日志信息存储，异常IP存储，推荐结果存储，矩阵分解结果的存储，分别以表的形式存放到HBase中。 本文通过实现个性化商品推荐系统的四个模块，对系统进行了离线测试，给出了部分功能测试的结果，对比不同算法的召回率和准确率，测试结果显示，系统所采用的方法在一定程度上提高了推荐的准确度，实现了系统预期的功能。

目录

第一个书签之前

摘要

ABSTRACT

插图索引

表格索引

符号对照表

缩略语对照表

第一章 绪论

1.1 选题背景及意义

1.2 国内外现状分析

1.3 论文工作内容

1.4 论文组织架构

相关技术概述

2.1 推荐算法介绍

2.1.1 基于物品的协同过滤推荐算法

2.1.2 基于矩阵分解的推荐算法

2.1.3 混合推荐算法

2.2 Storm流式计算框架

2.3 HBase介绍

2.4 本章小结

第三章 系统需求分析

3.1 系统业务分析

3.2 系统功能需求

3.2.1 用户日志数据收集与整理功能需求

3.2.2 个性化商品推荐算法功能需求

3.2.3 数据存储功能需求

3.2.4 个性化商品推荐功能需求

3.3 系统数据建模

3.4 非功能性需求分析

3.5 本章小结

系统的设计与实现

4.1 系统应用架构

4.2 系统功能设计

4.2.1 用户日志收集与整理模块设计

4.2.2 个性化商品推荐算法模块设计

4.2.3 推荐请求处理模块设计

4.2.4 数据存储模块设计

4.3 数据库设计与数据结构设计

4.3.1 数据库设计

4.3.2 数据结构设计

4.4 系统详细设计与功能实现

4.4.1 日志处理模块的详细设计与实现

4.4.2 推荐算法模块的详细设计与实现

4.4.3 推荐请求处理模块的详细设计与实现

4.4.4 数据存储模块的详细设计与实现

4.5 本章小结

第五章 系统测试及分析

5.1 系统测试环境

5.2 系统功能测试

5.2.1 日志收集与处理模块测试

5.2.2 推荐算法模块功能测试

5.2.3 推荐请求处理模块功能测试

5.2.4 数据存储模块功能测试

5.3 系统性能测试

5.3.1 测试用例及测试过程

5.3.2 测试结果分析

5.4 本章小结

第六章 结束语

6.1 论文工作总结

6.2 后续工作展望

参考文献

致谢

作者简介

基本情况

教育背景

攻读硕士学位期间的研究成果