情感表达的跨文化多模态感知研究

摘要

视频和音频2个模态的信息在交际过程中起着至关重要的作用,该文研究关注的问题是情感表达中不同文化背景的听者对情感的感知(解码)与这2个模态(面部表情和情感声音)的关系。发音人为中国人,录制她的5个语句的7种情感(6种基本情感+中性情感)的音频和面部表情,制作3类刺激:只有音频信息(A-only)、只有面部视频信息(V-only)以及视频和音频同步信息(AV-Congruent)。听辨人为10名不会日语的中国人和10名不会汉语的日本人。对听辨结果分析发现,面部视频信息的加入有益于情感的感知,视频和音频信息在跨文化的情感解码中起着不同的作用,与情感的唤醒度有密切的关系,相关距离空间分布模式说明听辨结果具有稳定性,跨文化的情感感知存在普遍的心理基础。