多阶段的双通道情绪整合进程——来自ERP的证据

摘要

情绪的准确判断和识别是面对面交流中的重要内容，日常社会交往中用于情绪表达的不只有面部表情，情绪韵律也会参与其中。当面部表情与情绪韵律同时出现时，视觉与听觉的情绪信息将可能发生整合。本研究选择愉快与愤怒两种情绪，使用单音节叹词比如“耶”、“哼”等作为听觉刺激，静态面部表情图片作为视觉刺激，视觉刺激与听觉刺激保持效价一致并同时呈现作为视听刺激，组成了视觉、听觉和视听三种刺激。实验分为行为实验和ERP实验，采用视听双注视点控制注意对双通道情绪信息整合的影响，采用迫选的情绪分类任务，要求被试对知觉到的情绪进行积极和消极分类，使用重复测量两因素的方差分析对数据结果进行处理，结果发现： （1）视听双通道反应时显著短于视觉通道（p＜0.05）和听觉通道（p＜0.01），表现出冗余信号效应。 （2）视听双通道的N100波幅显著比单通道视觉、听觉以及单通道视觉和听觉之和更负（p＜0.001），具有情绪特异性，并表现出明显的冗余信号效应和超加性；视听双通道的N100潜伏期长于视觉通道，短于听觉通道（p＜0.001），与单通道视觉与听觉之和的潜伏期差异不显著，未表现出冗余信号效应和超加性。 （3）视听双通道的P200波幅小于单通道视觉，大于单通道听觉，但与视觉的差异未达到显著性水平，未表现出冗余信号效应；视听双通道的P200波幅大于单通道视觉与听觉之和（p＜0.001），表现出显著的超加性；视听双通道的P200潜伏期未表现出冗余信号效应和超加效应，但单通道视觉加听觉的P200潜伏期与视听情绪整合波（AVI）的P200潜伏期差异显著（p＜0.01）。 （4）视听双通道消极情绪的LPC平均波幅显著大于积极情绪（p＜0.01），具有情绪特异性；视听双通道的平均波幅小于视觉通道，大于听觉通道（p＜0.01）未表现出冗余信号效应；视听双通道的平均波幅大于单通道视觉与听觉之和（p＜0.001），表现出明显的超加性。 根据以上研究结果可以得出以下结论，一致的视听双通道情绪信息在同时呈现时，可以发生整合，并且这种整合是一个多阶段的连续加工过程。在双通道情绪信息整合的早期（100ms左右），双通道情绪信息得到了大量的注意资源的投入，同时单通道情绪加工与双通道整合加工并存。200ms左右双通道整合的认知加工成分逐渐增多。并且，双通道情绪整合的速度优势在P200时窗以后才有所体现。所以本研究认为，很可能双通道情绪信息整合在行为上所表现出的冗余信号效应，是前期大量的注意资源投入的结果。

目录

声明

1 引言

2 综述

2.1 视听双通道情绪整合的特征和影响因素

2.2 视听双通道情绪整合的操作化定义

2.3 视听双通道情绪整合研究进展

2.4 视听双通道情绪整合的进程

3 问题提出与研究假设

3.1 问题提出

3.2 研究方法

3.3 研究设计

3.4 研究目的与假设

3.4.1 研究目的

3.4.2 研究假设

3.5 研究意义

3.5.1 理论意义

3.5.2 现实意义

4 实证研究

4.1 研究一：面部表情与情绪韵律的整合

4.1.1 研究目的

4.1.2 被试

4.1.3 实验材料

4.1.4 实验设计

4.1.5 实验程序

4.1.6 研究结果

4.1.7 实验一讨论

4.2 研究二：面部表情与情绪韵律整合的时间进程

4.2.1 研究目的

4.2.2 被试

4.2.3 实验材料

4.2.4 实验设计

4.2.5 实验程序

4.2.6 数据采集和处理

4.2.7 ERP分析结果

4.2.8 研究二讨论

5 综合讨论

5.1整合的发生

5.2整合的进程

6 结论

7 研究不足和展望

参考文献

个人简历

致谢

附录

附录A 单音节情绪表达词录音材料

附录B 表情材料的评定结果

附录C 韵律材料的评定结果