Stochastic Variational Inference-Based Parallel and Online Supervised Topic Model for Large-Scale Text Processing

摘要

话题建模是一种主流、有效的技术处理文章数据，用在文章分析的宽应用，自然语言，个性化的建议，计算机视觉，等等。在所有已知的话题模型之中，监督了潜伏的 Dirichlet 分配(sLDA ) 作为一个流行、竞争的监督话题模型被承认。然而，数据集的规模的渐渐的增加使 sLDA 越来越低效、费时间，并且在一个很狭窄的范围限制它的应用程序。解决它，平行联机 sLDA，命名 PO-sLDA (平行、联机的 sLDA ) ，在这研究被建议。它使用使训练过程更快速、有效的学习方法，和并行计算机制经由 MapReduce 框架实现了的随机的变化推理被建议支持云计算并且大数据处理的能力。PO-sLDA 支持的联机训练能力扩展这条途径的申请范围，为有高即时的需求的真实应用使它有帮助。当 sLDA 和罐头高效地加速训练过程，用有不同尺寸的二数据集的确认证明建议途径有比较精确性。而且，它的好集中和联机训练能力为分析并且处理的大规模文章数据使它赚钱。