聋人面孔情绪识别：眼动和事件相关电位研究

摘要

聋人不同程度的听力损失对其日常的沟通交流带来不便，同时，听力损失也可能影响其面孔情绪的识别能力，从而进一步影响其人际交往。先前的研究显示聋人的面孔情绪识别能力存在某种程度的缺陷，尤其是负性情绪识别能力。但先前的研究多以行为表现作为观测指标，而对聋人面孔情绪识别的潜在认知特点了解甚少。本文采用眼动和事件相关电位分析方法试图从不同实验范式研究聋人在面孔情绪识别任务中的潜在认知能力特点。根据眼动和ERPs分析聋人在面孔情绪识别缺陷的认知特点，从而进一步了解聋人的面孔情绪识别的认知神经机制，可以为未来的聋人教育提供思路和实证基础。 本研究共包含4个实验（两个眼动实验和两个脑电实验）。 实验1：面孔情绪识别的眼动研究。研究使用眼动技术考查了面孔部位（眼睛，嘴巴，鼻子）对聋人面孔情识别的影响，从而了解聋人在识别面孔情绪过程中和健听人是否存在视觉加工差异；实验2：聋人情绪匹配识别研究。使用情绪面孔和情绪词的匹配任务考查聋人对面孔情绪匹配过程中差异；实验3：聋人面孔情绪感知研究。通过脑电实验考查聋人对情绪面孔和非面孔图片的感知能力，进而分析聋人对情绪面孔的感知特点；实验4：情绪面孔和情绪词汇的匹配任务研究。通过脑电技术进一步考查聋人在情绪匹配过程中的认知特点。 结果发现，实验一中聋人识别恐惧情绪的准确率显著低于健听人，聋人在面孔首次注视时间低于健听人，且聋人在识别恐惧情绪时进入面孔兴趣区的准备时间更长。实验二显示，聋人在面孔-情绪词（FW）和面孔-面孔（FF）匹配任务中能力显著低于健听人对照组，但是情绪词-面孔（WF）的匹配任务没有显著差异。另外，聋人在FF任务时对参照面孔和目标面孔的注视时间长于健听人。实验三显示聋人和健听人在判断面孔和非面孔任务能力都很好，行为结果没有显著的差异。但是脑电数据显示，聋人引起的N170波幅小于健听人对照组。实验四显示，聋人行为结果在情绪词的匹配过程中与健听人无显著差异，脑电结果显示聋人的N400波幅显著大于健听人。此外，在情绪面孔匹配任务时聋人匹配准确率低于健听人对照组，且聋人引起的N170波幅大于健听人，但是LPP成分的波幅小于健听人。即面孔情匹配任务的早期阶段，聋人投入了更多的认知资源，而加工的晚期阶段则投入的资源小于健听人。 研究结果表明，聋人面孔情绪识别能力存在困难，主要表现在负性情绪的识别上，如恐惧和悲伤情绪的识别。尤其是在识别恐惧情绪时，聋人需要更长的时间才能对面孔主要部位进行感知。这种困难还伴随着聋人面孔晚期的精细加工阶段。认知加工的差异可能是聋人面孔情绪识别困难的主要原因之一。尽管本研究没有将语言水平作为考查指标，但从情绪词的相关匹配任务来看，聋人表现出与健听人不同的认知特点。

目录

1 文献综述

1.1聋人面孔情绪识别的影响因素

1.2聋人面孔情绪识别的认知加工特点

2 研究思路和研究目的

3 实验1：面孔情绪识别的眼动研究

3.1引言

3.2研究方法

3.2.1实验参与者

3.2.2 实验设计

3.2.3实验材料

3.2.4 实验程序

3.3实验结果

3.3.1数据准备

3.3.2 ACCs

3.3.3 RTs

3.3.4 FFD

3.3.5 FC

3.3.6 TFF

3.4讨论与分析

3.5 小结

4 实验2：聋人情绪匹配识别研究

4.1引言

4.2 研究方法

4.2.1实验参与者

4.2.2实验设计

4.2.3实验材料

4.2.4实验程序

4.3实验结果

4.3.1行为数据准备

4.3.2 ACCs

4.3.3 RTs

4.3.5 眼动数据

4.3讨论与分析

4.5 小结

5 实验3：聋人面孔情绪感知研究

5.1 引言

5.2研究方法

5.2.1实验参与者

5.2.2实验设计

5.2.3实验材料

5.2.4实验步骤

5.2.5 EEG数据获得和预处理

5.2.6 EEG分析

5.3实验结果

5.3.1行为数据结果（ACCs和RTs）

5.3.2 ERP数据结果

5.4 讨论与分析

5.5 小结

6 实验4：情绪面孔和词汇的匹配识别任务研究

6.1 引言

6.2研究方法

6.2.1实验设计

6.2.2实验材料

6.2.3实验参与者

6.3情绪词匹配任务实验结果

6.3.1行为数据结果（ACCs和RT）

6.3.2 ERP结果

6.4情绪面孔匹配任务实验结果

6.4.1行为数据结果（ACC 和RT）

6.4.2 ERP结果

6.5讨论与分析

6.6 小结

7 总结

参考文献

附录A 知情同意书

附录B 一般资料问卷

附录C 攻读硕士期间公开发表论文

致谢

声明