MPI/OpenMPハイブリッド並列化による潜在的デイリクレ配分法の効率的推定

摘要

近年，確率的トピックモデルがテキストデータをはじめとした多様なデータに適用され，有効性が示されている．トピックモデルの代表的なものに潜在的デイリクレ配分法（Latent Dirichlet Allocation: LDA）があげられる．LDAのパラメータ推定には変分ベイズ法やギプスサンプリング法などが用いられるが，大規模データに対して計算コストが要求されるため，効率化が望まれている．本稿では，LDAのためのギプスサンプリング法の効率化のため，並列計算技術を用いる．計算環境として，近年広く普及している分散・共有メモリ型（SMPクラスタ型）を想定する．従来のLDAのための並列推定手法はMPIまたはOpenMPがそれぞれ単独で用いられてきた．それに対してSMPクラスタ型並列計算機では，SMPノード間通信にメッセージパッシングを，SMPノード内並列化にループディレクティブを用いるハイブリッド並列プログラミングモデルが適している．そこで本稿では，LDAのためのMPI/OpenMPハイブリッド型並列推定手法を開発し，SMPクラスタ型計算機において高速化を実現した．%In recent years, probabilistic topic models have been applied to various kinds of data including text data, and its effectiveness has been demonstrated. Latent Dirichlet Allocation (LDA) is one of the well-known topic models. Variational Bayesian inference or Collapsed Gibbs sampling is often employed to estimate parameters in LDA; however, these inference methods require high computational cost for large-scale data. Therefore, high efficiency technology is needed for this purpose. In this paper, we make use of parallel computation technology for the sake of efficient Collapsed Gibbs sampling inference for LDA. We assume to use a shared memory cluster (SMP cluster), which is widely used in recent years. In prior work of efficient inference for LDA, MPI or OpenMP has been used alone. On the other hand, for a SMP cluster it is more suitable to adopt hybrid parallel programming models which use message passing for communication between SMP nodes and loop directives for parallelization within each SMP node. In this paper, we developed a MPI/OpenMP hybrid parallel inference method for LDA, and achieved remarkable speed-up under various settings of a SMP cluster.