並列分散処理における共変量シフトを導入したRandom Forestsの学習

摘要

データの大規模化は，統計的機械学習において高い識別性能を得るために重要な要件の1つであるが，学習時間を増加させる問題がある．しかし複数の計算機やGPUを用いて並列分散処理を適切に用いることができれば，学習時間を大幅に削減できる．本研究では，効率的に並列分散処理を行うモデルとしてMapReduceを採用し，MapReduceモデルに適した識別器の1つであるRandom Forestsの並列分散学習法を提案する．Map処理では，並列分散学習に共有データを導入し，転移学習を行うことで各ワーカノードに割り当てられた学習データあ少量であっても高い識別性能を獲得する．Reduce処理では決定木を削除することで識別時の計算コストを削減する．提案手法では，各ワーカノードに分布の偏りが強いデータが与えられた場合においても，識別性能の低下を防ぐことが可能である．