Doc2Vec を用いた国語記述式答案の自動評価

摘要

本研究では，Doc2Vec を用いて記述式答案を評価する手法を提案し，その有効性を評価した．その結果，自由再生テストと抽出型の問題で類似度と人手のスコアの間に有意な正の相関が得られた．このことは，答案と模範解答に含まれる単語の一致度合いで答案の良さを評価できる場合に，提案手法が有効であることを示している．一方，要約テストと表現工夫型の問題では有意な相関は得られなかった．その理由としては，提案手法では模範解答の言い換えが含まれるタイプの答案や，表記は全く異なるが特定の文章中でのみ同じ内容を表す単語が含まれるタイプの答案は評価が困難であることが考えられる．これは複数の模範解答を用いることで改善できる可能性があるが，今後の検討を要する．