あいまいな記憶からの映画の複合的シーン検索

摘要

動画からユーザーが視聴したいシーンの内容に辿り着くまでに時間を要することや，必ずしも内容を覚えているとは限らない．本稿では，映画からユーザーがあいまいな記憶であっても，複数の要素から複合的に視聴したいシーン（場面）を見つけることができる検索の手法を提案する．Image Caption や物体検出などの学習済みモデルを利用し，シーンの内容（説明文）や登場人物のセリフ（字幕）など，複数の要素から検索を行い，その条件に合った類似するシーンを提示する．類似度計算手法として，word2vec を用いたベクトル間のコサイン類似度により類似度算出を行った．複数の検索要素を用いることで，全体的に検索精度（順位）が向上した．