音声·画像情報の融合処理を目指して

摘要

文書、画像、映像、音声を対象としたマルチメディアの処理研究と、視覚、聴覚といったモダリティを統合するマルチモーダル処理研究に関して、筆者の研究内容の概要を述べる。次に、複数のメディアやモダリティから得られるデータ·情報を基に、場の状況認識や人の意図認識を行う研究について述べる。最後に、音声と画像間で、同じ手法を用いることから得られる新たな処理内容についても述べる。