条件付き確率場の理論と実践

摘要

Most tasks of Natural Language Processing are formalized as a prediction problem of an output for a given input.Assuming that an input and output have a structure such as a sequence and tree,which is a natural assumption for a language,we can formalize more tasks as the prediction problem.This paper explains Conditional Random Fields(CRF)where an input and output are in the form of a sequence.In order to apply the multi-class logistic regression to the sequential labeling problem,CRF introduces feature functions that assume the Markov property for a label sequence and facilitates an efficient inference and parameter estimation by using dynamic programming.Therefore,this paper reviews the fundamental theories of logistic regression,feature functions,training with stochastic gradient descent,regularization,etc.,and describes the overall theory of CRF.In addition,it covers recent research topics and practices including active learning for CRF,learning from partially-annotated supervision data,and models with deep neural networks.%自然言語処理のタスクの多くは，入力から出力のラベルを予測する問題として定式化できる．言語は構造を持つと考えられるので，入力や出力に単語列や木などの構造を持たせることで，さらに多くのタスクが予測問題として定式化できる．本稿では，系列ラベリング問題，すなわち入力と出力が系列データの場合の条件付き確率場を解説する．条件付き確率場は，多クラスロジスティック回帰を系列データに適用するため，ラベル列のマルコフ性を仮定した素性関数を導入し，動的計画法でラベル列の予測とパラメータの学習を効率化している．そこで，ロジスティック回帰の素性関数，確率的勾配降下法による学習，正則化などの基礎理論を復習し，条件付き確率場の理論全体を説明する．また，能動学習，部分的に正解が付与された訓練データからの学習，深層ニューラルネットワークの適用など，条件付き確率場の最近の研究動向や実践について概観する．