平易なコーパスを用いないテキスト平易化のための単言語パラレルコーパスの構築

摘要

統計的機械翻訳の枠組みを用いたテキスト平易化が近年活発に研究されているが、その学習に必要な単言語パラレルコーパスを人手で構築することはコストが高い。そのため、公開されておりテキスト平易化のために自由に利用できるのは、English Wikipedia とSimple English Wikipedia のコンパラブルコーパスから単言語アライメントによって自動的に構築された英語のパラレルコーパスのみであるが、Simple English Wikipedia のように平易に書かれた大規模なコーパスは英語以外の多くの言語では利用できない。そこで、我々は日本語をはじめとする任意の言語でのテキスト平易化を実現することを目指し、生コーパスのみからテキスト平易化のための単言語パラレルコーパスを自動構築する手法を提案する。我々はまず文のリーダビリティを計算し、生コーパスを難解な文からなるコーパスと平易な文からなるコーパスに分解する。そして、単語分散表現を用いて計算される単語アライメントに基づく文間類似度によって、難解な文と平易な文の文アライメントを求める。我々の提案手法は、ラベル付きデータや辞書などの外部知識を必要とせず、生コーパスのみを用いてテキスト平易化のための単言語パラレルコーパスを自動構築するので、任意の言語に適用できる。フレーズベース統計的機械翻訳を用いたテキスト平易化の実験の結果、提案手法は平易なコーパスを用いずに入力文よりも平易な同義文を生成することができた。