クラウドソーシングを用いた画像の美的評価に関する検討

摘要

本研究では， MTurk を用いた画像の主観評価収集において，ワーカの受注条件が及ぼす影響を調査した．20 枚の画像に対する実験結果から，高い承認数と承認率をワーカのみに受注資格を与えることの有効性が示された．特に，従来研究で用いられている承認率95%以上，承認数100 以上の設定では，主観評価のHIT には不十分であることが示唆された．また，画像のみならずタイトルとChallengeをともに示すことで，一部の画像の主観評価に影響を及ぼすことが示された．このことからAVA データセットのスコアは純粋な美的評価を示していない可能性があると考えられる．