文書要約における抽出単位と評価法についての考察

摘要

近年,自動要約研究の分野では,共通のデータセットを用いて互いの技術を比較的に評価する動きが盛hである.しかし,現状では主に人間の主観評価にもとづいて比較をおこなっているため,追加実験をおこなっても以前の結果と比較することが困難であるという問題点がある.そこで,本研究では,人間による要約とプーリングデータを用いて要約の自動評価を行う方法を提案し,疑似データによる精度評価を行った結果について報告する.実験の結果,提案手法は,従来用いられてきた正解要約との重複度にもとづく方法より,高精度な評価ができることがわかった.また,精度向上にはプーリングデータが重要な役割を果たすこともわかった.