基于功能磁共振成像的自然视频编码与语义网络分析

摘要

大脑是人类最重要的信息处理中心，视觉信息的获取和理解是人类对外界感知和认识的主要途径，对视觉信息的解读成为探索大脑对外界信息处理机制的一种重要方式，是神经信息科学领域的研究热点。而探索大脑的语义信息理解机制为视觉信息解读提供了新的研究思路和方法。功能磁共振成像技术由于能够获取高空间分辨率的大脑功能活动图像而成为大脑视觉信息解读的主要途径之一。 针对大脑语义信息理解机制问题，本文主要借助fMRI技术来对自然视频任务条件下的大脑语义网络进行探索研究。着重研究了自然视频语义特征的视觉编码模型和大脑体素对词语类别的预测响应，并在编码模型的基础上结合fMRI特征选择方法构建大脑语义网络，以及利用复杂网络分析方法来对大脑语义网络及WordNet词语连接网络进行分析，主要工作包括以下三点。 1.构建了一种基于自然视频语义特征的视觉编码模型，并利用该模型来分析大脑体素对语义信息的预测响应。通过对视频中的对象及动作进行标注并借助WordNet词语层次关系来构建视频刺激语义特征，使用机器学习中的模型构建方法来获得视觉编码模型。结果表明，提取的语义特征能够有效表征视频刺激信息。另外，编码模型的性能及大脑体素对不同语义信息的预测响应具有明显的差异表明大脑语义网络构建的有效性。 2.在视觉编码模型的基础上结合fMRI特征选择方法构建大脑语义网络。从复杂网络统计特征的角度来对大脑语义网络及WordNet词语连接网络进行异同点分析。结果表明，不同被试大脑语义网络之间的相似度很高，而与WordNet词语连接网络具有较大的差异。 3.从复杂网络社区检测的角度来对大脑语义网络及WordNet词语连接网络进行异同点分析，通过网络的社区结构及同一个社区间词语节点语义信息的关联关系的分析结果表明，大脑是根据词语对应事物的某种关联特征来对词语进行认知分类，与WordNet词典中按词语的层次关系对词语进行定义、区分的方式有所不同。

目录

声明

摘要

1 绪论

1．1 课题背景

1．2 基于fMRI的视觉信息编码技术研究现状

1．3 大脑语义网络

1．4 课题研究内容与论文结构安排

2 功能磁共振成像技术与复杂网络概述

2．1 功能磁共振成像技术

2．1．1 功能磁共振成像基本原理

2．1．2 fMRI数据处理

2．2 复杂网络理论概述

2．2．1 复杂网络基本概念

2．2．2 复杂网络常用的参数描述

2．2．3 复杂网络的性质

2．3 复杂网络的社区结构

2．3．1 社区结构介绍

2．3．2 社区检测相关算法

2．4 本章小结

3 基于自然视频语义特征的视觉编码模型

3．1 基于语义特征的编码模型构建

3．1．1 视频语义特征提取

3．1．2 基于语义特征的岭回归编码模型

3．2 自然视频编码实验及结果分析

3．2．1 实验设计

3．2．2 模型构建

3．2．3 实验结果分析

3．3 本章小结

4 基于复杂网络的大脑语义网络相似性分析

4．1 大脑语义网络的构建

4．1．1 fMRI特征选择方法

4．1．2 大脑语义网络构建

4．2 基于统计特征的网络相似性分析

4．2．1 全局特征相似性衡量方法描述

4．2．2 实验结果分析

4．3 基于MultiLevel社区检测的网络相似性分析

4．3．1 MultiLevel社区检测算法

4．3．2 实验结果分析

4．4 本章小结

5 总结与展望

5．1 总结

5．2 展望

参考文献

致谢