講演における話し手と聞き手のインタラクションの分析

摘要

In this paper, we discuss the analysis of the interaction between the speaker and audience in the lecture by using multi-layered neural networks. Here, we adopt the following features as behaviors by speaker and audience; the loudness of speech by speaker, face and hand movements by speaker, face movements by audience. The relations among the above features concerning on the behaviors by the speaker and audience can be approximated by multi-layered neural networks. Furthermore, we use a learning method with forgetting for neural networks for the purpose of extraction of rules. Finally, we have analyzed the interaction between behaviors by speaker and audience based on the internal representations in multi-layered neural networks for a real lecture.%本報告では，講述を中心とした講演会において，話し手の顔の向きや手振りと聞き手の顔の向きの関係に着目する．ここでは，それぞれのの顔画像を検出し，顔領域を構成する画素数の変化に基づき，顔の向きを検出する．つぎに，両者の顔の向きの相互作用を時系列モデルに基づいたモデルにより明確化する．具体的には，講演における話し手と聞き手のインタラクションを非線形写像を近似可能な階層型ニューラルネットワークを用いることにより分析することを試みる．さらに，忘却付き構造学習法により，上述の特徴量間の関係解明を行う．