视听交互过程中汉字的认知机制

摘要

我们所感知的外界事物，往往含有众多信息，这些不同模式的信息通过不同的感知觉器官转换成电信号，再通过大脑的逐级处理形成感知、判断记忆和动作命令。视觉和听觉神经系统是大脑最重要的信息处理系统，它们以其特殊的信息处理机制，为信息认知提供不同的线索，然而视听通道相互作用的问题与其它的智能问题一样复杂。视听交互是指大脑对视听区域的脑功能活动进行选择与协调，使分散的脑功能活动在功能上得到平衡与协调，并使认知与行为保持连续性。近年来，随着脑成像技术的高速发展，探讨视听交互方面的大脑机制已经成为认知神经科学研究领域的一个热点问题。 就目前而沿，视听交互作用方面的研究得出的结论主要有两种：视觉影响听觉的空间感知(腹语术效应，影院四周的声音被感知来自于银幕；共感觉现象和McGurk效应)；听觉能够调制大脑对视觉刺激的响应(闪光效应，一束光条并同时伴随多个“嘟嘟”声，单个闪光就会被感知成多个闪光)。近年来，研究者们开始选择视听交互任务类型来探讨文字认知的神经机制，获得了一些有趣的研究结论。跨感觉通道的语义加工机制目前存在两种假说：转换假说认为，在视读和听读过程中，文字在各自通路加工后，从一个通路转换到另一个通路；共语义系统假说认为，文字在各自知觉通路与词汇系统进行加工后激活一个共同的语义或概念系统。 本文针对这些争论，采用事件相关电位技术(ERPs)探讨了视听交互过程中汉字认知过程的脑内时程动态变化。实验材料分为视觉刺激与听觉刺激。视觉刺激是《现代汉语字频词典》中选取日常生活中比较常见的双字词。听觉刺激为采用标准普通话诵读这些汉字词的声音。在实验过程中，依次呈现若干个汉字(或错字)和声音(或纯音)，被试的任务之一是判断所呈现的汉字或声音里是否有出现生物类名词，任务之二是判断所呈现的汉字(或错字)和声音(或纯音)是否一致。实验在脑电实验室进行，视觉和听觉刺激分别用液晶电脑显示屏和立体声耳机呈现，对28名自愿参加实验的视觉和听觉正常的大学生被试单独施测。 实验l的实验设计：首先在屏幕中央呈现一个注视点0.3ms；随后，同时呈现视觉刺激与听觉刺激，持续时间为1ms，被试任务是判断所看到和听到的词语是否一致。通过对被试的行为数据进行统计分析发现，被试对“视听不一致”的RTs显著长于“视听一致”的RTs。这表明，在“视听一致”的情况下，被试能较快地作出按键反应；“视听一致”情况下，被试则需要稍长的时间来判断文字和声音是否一致。对脑电数据结果分析发现，“视听一致”和“视听不一致”都诱发了一些相同的早成分，如N1，P2。随后，从350 ms左右开始，“视听不一致”比“视听一致”诱发出了一个更加负性的ERP成分(N490)。在差异波(“不一致”—“一致”)中，该负成分的峰潜伏期约在490 ms左右；差异波的地形图显示，该负成分主要在大脑的额中部有明显的激活。对差异波进行偶极子溯源分析，结果发现，该负成分可能主要起源于扣带后回(PCC)。本研究的结果表明，在视听整合的过程中，当视觉与听觉信息(汉字)不一致的时候，大脑的扣带后回可能主要参与了对汉字视听信息冲突的监控和调节过程。 实验2的实验设计：首先在屏幕中央呈现一个注视点0.3ms，然后同时呈现视觉刺激与听觉刺激1ms，要求被试判断看到或听到的词是否有出现属于生物类的词。视听刺激分为两种类型随机呈现：文字+纯音(嘟嘟声)，文字+语音(文字与语音内容一致)。结果也发现了视听交互的经典ERP成分，如P20-50，N1，P2等，在“文字+语音”条件下，N1，P2的波幅更大。结果表明P20-50可能反映多通道脑区向多个单通道脑区的反向投射；N1不仅代表视觉加工，也说明听觉信息对早期视觉刺激辨别加工的调节作用，不同通道的信息在加工早期就存在动态的交互作用；汉字字形和语音的加工都与P2成分有关，形、音的加工和整合则主要发生在汉字识别的早期阶段。 以往的视听交互的ERP研究大多采用空间位置与非言语性视听刺激，视听交互过程中，听觉能够在早期阶段对视觉通道的加工进行调节，感知系统可能依赖刺激信号的特征与其时间特性的关联来对视听言语信号进行加工。前人的研究多数是关于声音能影响知觉到的视觉刺激时间与空间因素，关于言语知觉的跨通道效应发生在感知加工的哪个水平，就目前而言，研究结论缺乏一致性。为了探究该问题，本研究采用视听交互作用的实验范式，记录并分析汉字视听整合过程中所诱发的ERP成分，深入探讨言语知觉的视听交互脑内时程动态变化和脑区激活情况，一定程度上发展了前人关于视听交互与文字认知的研究，将为最终揭示出视听交互作用过程大脑奥秘提供一些有价值的电生理学证据。

目录

文摘

英文文摘

声明

1引言

2理论研究综述

2.1汉字认知加工区域及加工方式

2.2大脑皮层的视听交互区域

2.3视听感觉通道之间可能存在直接联系

2.4视听交互作用的加工模式

3问题的提出

3.1对以往研究的评价

3.2本课题研究的问题

3.3研究假设

3.4意义及创新

4实验一

4.1实验目的

4.2被试

4.3刺激材料

4.4实验程序

4.5 EEG记录和分析

4.6偶极子朔源分析

4.7实验结果

4.8结论

4.9讨论

5实验二

5.1实验目的

5.2被试

5.3刺激材料

5.4实验程序

5.5 EEG记录和分析

5.6结果

5.7结论

5.8讨论

6总讨论

参考文献

后 记

科研成果登记表