基于文本主题模型和朴素贝叶斯的乐评网站音乐自动打分算法研究

摘要

随着机器学习的发展，意见挖掘技术也越来越成熟，另一方面，工业和互联网的发展又催生出很多需求机器进行情感分类的应用场景，比如评分预测。本研究首先综述了自然语言处理中意见挖掘研究的现状，继而讨论了传统内容推荐算法在内容推荐和评分预测方面的优缺点，并且针对音乐评论为数据源的推荐和评分算法做了算法可行性的分析，之后发现基于主题模型的朴素贝叶斯音乐评分预测算法在音乐评分预测问题上非常合适，并将算法与Supervised LDA，SVM，Textgrocery等算法进行了比较。
　　UNBTM首先使用主题模型方法对用户评论进行处理，产生评论主题概率分布。之后从评论主题概率分布中计算用户主题概率分布和用户最重视特征。基于用户最重视特征，计算条件概率分布，再根据贝叶斯公式计算用户在已有评分分段上的评分概率。评分和检验方面，研究采用最高概率评分作为用户的评分预测并且利用实验设计来验证结果。
　　主要结论如下:
　　1)分析了目前在评论挖掘、主题模型、协同过滤算法领域国内外的研究发展现状，创造性地提出了基于主题模型的朴素贝叶斯音乐评分预测算法UNBTM。
　　2)朴素贝叶斯音乐评分预测算法能对音乐评论的情感偏好（好评，差评）进行预测，但对于具体的评分预测效果，受到数据集和主题模型的限制。
　　3)通过与相关的算法Supervised LDA，SVM，Textgrocery对比，UNBTM在评分预测上的表现与三种算法相当，在情感分类上和Textgrocery表现相当。但是它对于数据稀疏的问题具有更大的灵活性。

目录

声明

摘要

插图和附表清单

1．引言

1．1 研究背景

1．2 研究意义

1．2．1 现有相关意见挖掘模型

1．2．2 音乐评论网站用户调查

1．3 可行性分析

1．4 文章结构

2．数据预处理技术-NLP方法

3．LDA主题模型方法

3．1 主题模型综述

3．2 经典Latent Ditichlet Allocation模型

3．3 Sentence Latent Dirichlet Allocation模型

3．4 Aspect and Sentiment Unification Model模型

3．5 音乐评论主题模型

3．6 LDA工具包

4．朴素贝叶斯分类器

4．1 贝叶斯决策理论

4．2 条件概率和贝叶斯准则

4．3 朴素贝叶斯算法

5．基于主题模型的朴素贝叶斯评分预测算法

5．1 符号定义

5．2 评论主题概率分布

5．3 朴素贝叶斯评分预测算法

5．3．1 用户主题概率分布

5．3．2 用户最重视主题特征

5．3．3 最重视特征条件概率分布

5．3．4 评分预测

5．4 算法评价标准

5．4．1 平均绝对误差方法

5．4．2 准确率召回率方法

5．5 本章小结

6 实验与分析

6．1 数据集

6．2 实验一

6．2．1 数据预处理

6．2．2 LDA文档模型建立

6．2．3 朴素贝叶斯算法实现

6．3 实验二

6．3．1 数据预处理

6．3．2 LDA文档模型建立

6．3．3 朴素贝叶斯算法实现

6．4 算法对比研究

6．4．1 Supervised LDA算法

6．4．2 SVM算法

6．4．3 TextGrocery算法

6．5 讨论

7 总结与展望

参考文献

附录

致谢