Deep Learning による視覚・言語融合の最前線

摘要

Deep Learning の恩恵は，音声認識や画像認識，機械翻訳といった種々のタスクの精緻化だけではない．それぞれのタスクにおける手法が畳込みニューラルネットワーク(CNN: Convolutional Neural Network) や再帰型ニューラルネットワーク(RNN: Recurrent NeuralNetwork) によって表されるようになり，異分野の研究者にとっても理解しやすくなった．たとえば，CNN による高精度な画像認識ネットワークは，その中間層をデータの特徴量として再利用でき，従来の特徴量抽出手法よりも優れた特徴量抽出器としてほかの画像理解の研究に使われるようになった．さらに言語などの系列データはRNN で特徴量抽出や自然言語生成が可能となり，最近では商用の翻訳エンジンにも採用されている．各分野の共通ツールとしてDeep Learning が一般化した結果として，かつては独立に扱われていたようなモダリティのデータを融合し，理解・生成するような研究が大きな広がりを見せつつある．