物体操作による視聴覚事象の対応付け

摘要

能動的に対象に働きかけ，運動情報を利用した視聴覚事象の対応付け手法を提案する．本手法は，視聴覚事象の対応付けに物体特有の情報ではなく，一般的な法則（ゲシュタルトの群化の法則）を用いる．物体を操作しようとする脳から筋への信号の変化と，その時，視聴覚によって観測される音の変化および映像の変化の“同時性”，物体操作と視聴覚事象の間における繰り返しの“類似性”，を手掛かりとして対応付ける．実験では，マニピュレータにより物体を振り，マイクロフォンとカメラを用いて観測し，運動と視聴覚情報の対応付けを行った．結果から本手法の有効性を確認した．