语言文化背景与多模态情感表达和感知

摘要

视频和音频两个模态的信息在交际过程 中起着至关重要的作用，本研究关注的问题是 情感表达中不同文化背景的发音人和听者对情 感的表达（编码）、感知（解码）与这两个模 态（面部表情和情感声音）的关系，以及文化 背景对情感表达和感知的影响。分析了40位中 国听辨人(其中20位为日语学习者)以及40位日本听辨人（其中20位为汉语学习者）， 对2位中国发音人和2位日本发音人的7 情感 表达在三种模态（即只有面部表情、只有情感 声音和面部表情与声音同时存）情况下的情感 感知模式，比较了不同模态下情感感知模式的 异同，通过感知模式相似度的考察，发现语言 文化背景在不同模态下对情感感知的影响不 同，对声音模态的影响大于面部表情的影响。