基于眼动和脑电的心理旋转认知机制研究

摘要

空间认知能力是人类最基本的认知能力之一，尤其在一些特殊的职业中，比如飞行员、航天员，以及近年受到广泛关注的无人机领域。空间视觉化作为空间认知能力的一个维度，在这些特殊职业的人员选拔中具有重要作用。心理旋转测试是空间视觉化的经典研究范式，可有效预测和评价人的空间视觉能力。从上世纪70年代开始，Shepard等人开始对心理旋转进行研究，随着研究的不断深入，人们越来越关注心理旋转加工过程的高级认知功能。眼动追踪和神经影像学技术的不断发展，为心理旋转等认知过程的研究提供了更多手段，因此越来越多的研究人员将这些技术相结合，对心理旋转等认知任务进行多角度、多维度综合研究。
　　本研究首先建立眼动与脑电的同步平台，评估了各同步方法的时间精度，并提出了同步平台时钟偏移的校准方法；考察了三维图形心理旋转加工的影响因素，分析了各眼动指标与反应时和各影响因素的相关性，初步揭示了心理旋转的加工过程；使用眼动和脑电的同步技术进一步探究心理旋转的认知过程和脑机制；通过数据驱动模型的方式对不同的心理旋转策略进行预测，并揭示了三维图形心理旋转所包含的加工过程和状态。本文的主要研究内容、研究结果和研究结论如下：
　　(1)眼动与脑电同步平台的建立及其时间精度研究
　　建立眼动与脑电的同步平台，根据所用仪器的自身特性实现了四种同步方法，评估各同步方法的时间精度。结果表明，Tobii眼动仪通过直接调用SDK开发包实现眼动和脑电同步的方法的时间精度最高，在累积时间误差和周期时间误差两个水平上均能降低到10ms的量级，适用于很多其他眼动与脑电的同步研究，同时提出了同步平台时钟偏移的校准方法供同行参考。
　　(2)心理旋转认知加工的行为学和眼动特征研究
　　对Shepard三维图形心理旋转研究增加了像素水平，即三维图形的平面投影面积这一影响因素，考察像素水平的高低对被试的心理旋转加工的影响；除了对反应时和准确率等行为学指标进行统计分析外，还增加了对各眼动指标与不同影响因素和行为学指标的相关性分析，从一维眼动参数中初步获得心理旋转加工的特征和模式。结果表明，心理旋转的反应时与角度差呈显著正相关，这与以往的研究结论一致；此外，对围绕Z轴旋转的图形比围绕X轴旋转的图形的加工的反应时更短，对相同图形比镜像图形的加工的反应时更短，说明被试对围绕Z轴旋转的图形和相同图形的加工速度更快；此外还发现，像素水平越高，即平面投影面积越大，反应时越短，说明投影面积大、视角大的图形的加工难度更低，被试的认知加工速度更快；此外，眼动参数中的注视次数、总注视时间、总眼跳时间与反应时有显著相关性；通过对注视点分布模式的分析，发现三维图形存在一些关键区域，即上臂和下臂的拐角区域，该区域决定了三维图形的关键性拓扑结构。
　　(3)心理旋转认知加工的脑机制研究
　　使用眼动和脑电同步的注视点相关电位(eye-fixation related potential,EFRP)技术进一步探究心理旋转的加工过程和策略，揭示三维图形的不同兴趣区在心理旋转加工中的作用和重要性，同时结合眼动和EFRP指标，对同一因素下的结果进行验证和比较，分析其内在的加工过程，从电生理的角度揭示心理旋转加工的模式及其脑机制。结果发现，在关键兴趣区和一般兴趣区的比较中，平均注视持续时间并未发现显著差异，而在EFRP分析中，发现大脑的右顶叶皮层P1成分的平均幅值会表现出显著性差异，表现为关键兴趣区的平均幅值显著高于一般兴趣区的平均幅值，这很有可能是由于在认知任务过程中发生了注意力的转移和波动，说明在加工关键兴趣区时被试的认知负荷有一定程度的增加；此外我们还发现不同功能的注视点在顶叶皮层P1成分的平均幅值也表现出显著性差异，说明在具有“比较”功能的注视期间，被试的视觉信息加工强度增加，认知负荷有所提高；最后，以上结果也再次证明了眼动和ERP两者联合使用的EFRP技术可为研究者验证研究假设提供收敛性和差异性证据，也为在自然环境中研究视觉感知等认知任务提供了研究方案。
　　(4)心理旋转的眼动模式及其认知加工过程研究
　　通过数据驱动的方式建立模型对两种心理旋转策略进行预测，为心理旋转加工过程提供了实验验证和数据支撑。
　　心理旋转策略包括：
　　(1)左侧图形固定右侧图形旋转，即被试将左侧图形的表象固定，将右侧图形的表象进行心理旋转，并与左侧图形进行比较；
　　(2)右侧图形固定左侧图形旋转，即被试将右侧图形的表象固定，将左侧图形的表象进行心理旋转，并与右侧图形进行比较。为此，我们使logistic回归、支持向量机和判别隐马尔可夫模型，通过数据驱动建模对心理旋转加工过程中的眼动模式进行描述和分析，确定了最佳的分类模型和参数，同时通过隐马尔可夫模型的隐含状态进一步揭示了三维图形心理旋转的加工过程。结果发现，通过隐马尔可夫模型预测心理旋转策略能够达到76.8％的平均准确率，高于其他模式分类方法；同时建模结果表明心理旋转加工包含三个认知过程：编码和搜索、比较、在同一侧图形中搜索。通过实验结果进一步证实，三维图形的心理旋转是以逐段旋转方式而完成的离散过程。
　　本文旨在通过结合行为学指标、眼动和脑电技术，揭示三维图形心理旋转的认知加工过程，对本领域的主要贡献包括：
　　(1)技术基础：眼动仪和脑电仪的同步解决方案及其时间精度测量；
　　(2)实验因素：增加了三维图形的平面投影面积这一实验因素，证实了其对心理旋转加工的影响；
　　(3)研究手段：使用了EFRP技术研究心理旋转的认知过程，结合了眼动和脑电两种技术的优势，初步揭示了心理旋转加工的脑机制；
　　(4)分析方法：数据驱动的方式建立模型，通过眼动模式预测加工策略和推断加工过程，为该领域研究提供新的研究手段、实验验证和分析方法。

目录

声明

缩略词表

第一章 前言

1.1 眼动及眼动追踪技术

1.2 脑电技术的原理及概述

1.3 心理旋转

1.4 基于眼动和脑电的心理旋转研究现状

1.5 论文立题依据、研究内容和创新点

第二章 眼动与脑电同步平台的建立及其时间精度研究

2.1 引言

2.2 材料和方法

2.3 结果与讨论

2.4 小结

第三章 心理旋转认知加工的行为学和眼动特征研究

3.1 引言

3.2 材料和方法

3.3 结果与讨论

3.4 小结

第四章 心理旋转认知加工的脑机制研究

4.1 引言

4.2 材料和方法

4.3 结果与讨论

4.4 小结

第五章 心理旋转的眼动模式及其认知加工过程研究

5.1 引言

5.2 材料和方法

5.3 结果与讨论

5.4 小结

第六章 总结与展望

6.1 研究总结

6.2 未来研究展望

参考文献

附录

附录1 被试招募通知

附录2 实验知情同意书

附录3 认知实验须知

附录4 个人信息调查问卷

附录5 左右利手调查问卷

已发表论文全文

个人简历

致谢