時空間的特徴を考慮したDNNによる手話翻訳手法の比較検討

摘要

動画からの手話翻訳において、AlexNetと呼ばれる2DCNN（2次元畳み込みニューラルネットワーク）とSeq2Seqと呼ばれる機械翻訳モデルを組み合わせた手話翻訳モデルが提案されている。これは、2DCNNによって空間的な情報を失った特徴量からGRU（Gated Recurrent Unit）によって時系列的な特徴量を抽出している手法と考えられる。しかし、手話の動作は手及び指の位置や形とその動きによって形成されるため、空間的な情報を保ったまま時系列的な情報を考慮できる手法がより適していると考えられる。そこで、本稿では、動画の各フレームから特徴量を抽出する段階で、時系列的な情報を考慮する様々な手法を提案し、比較検討を行った。時空間的特徴量抽出器の比較実験の結果、本実験で使用したデータセットでは、最適化されるパラメータの数と手話翻訳性能が反比例することが示唆された。そのため、パラメータ数が最も少ないOptical Flowのみを入力としたモデルが高い手話翻訳性能を示したと考えられる。