日本語解析システム「雪だるま」～単語解析部の設計思想

摘要

現在我々が構築している日本語解析システム「雪だるま」のうち、単語解析部について述べる。既存の形態素解析器は十分な精度と速度を持ってはいるが、出力結果は形態素列であって単語列ではない。これに対し、我々は表記ゆれの解消や慣用句等の形態素結合処理を備えた日本語単語解析器を構築している。本稿では、既存形態素解析の問題点について述べたあと、我々の考える解決方針の概略を述べる。