基于手势识别的认知训练系统研制

摘要

认知是指通过形成概念、知觉、判断或想象等心理活动来获取知识的过程。执行功能作为高级的认知能力，已经成为国际心理学研究的一个热点。执行功能与多种能力的发展有关系，涉及决策、概念形成、认知转换、监控动作等方面，因此执行功能的研究对人类认知发展具有重要的理论和实践意义。近年来的一些研究表明，执行功能训练可有效提高儿童的认知绩效。通过相应的认知训练任务，儿童在智力水平等方面可以得到有效的提高，特别是对患有孤独症谱系障碍的儿童的认知训练具有借鉴价值和实用价值。目前已有的认知训练大多是以行为训练和传统计算机为平台，不够便捷，更不适用于儿童，且计算机化的认知训练所用的交互方式为传统的使用键盘鼠标的交互方式，儿童需要将一部分精力转移到操作过程中，损耗了儿童过多的关注点。
　　针对上述问题，本课题主要研究了以自然人机交互为基础的认知训练系统，采用动作感应传感器、手势识别技术、客户端呈现技术、WEB技术等，设计研发以静态动态两种手势动作为交互基础，以自然人机交互为交互手段，同时具有用户管理，参数设置等功能的计算机化认知训练系统;并根据执行功能核心成分设计了二个用于训练儿童青少年工作记忆与认知灵活性的任务。并将此系统应用于孤独症的干预过程，检验其对认知能力的改善作用。
　　本文首先介绍了认知训练系统的课题背景，并介绍了认知训练的研究现状，对国内外的研究情况进行了调研，在探讨了认知训练缺乏精细的自然的人机交互方式之后，提出本文的课题使用LeapMotion进行人机交互。之后，本文对认知训练系统的各个模块进行了分析设计;其次，本文详细介绍了基于手势识别的认知训练系统的前端设计与实现，包括数据帧的预处理，静态，动态手势识别方法与交互设计。并对认知训练任务进行了详细介绍，介绍了数字连线任务与图形匹配任务的交互方式，及其设计与实现;再次，对系统后端的设计进行了详细介绍，包括数据库设计，服务器后台架构，服务化接口，服务器监控等。最后将本课题开发的认知训练系统应用于孤独症儿童的训练中，经过4周的训练方案实施，对训练前后的数据进行统计分析，探讨实验结果，证明该系统的训练合理有效，达到预期效果。
　　综上所述，系统实现了互联网化的训练，通过自然的人机交互，可有效提高儿童的执行功能中的工作记忆与认知灵活性成分，本课题所取得的研究成果为今后的认知训练方法和手段提供了一定的实用价值和借鉴意义，并展示了自然人机交互在儿童发展等领域的美好应用前景。

目录

声明

摘要

第一章 绪论

1．1 课题研究背景和意义

1．2 课题研究现状

1．2．1 儿童自然人机交互研究现状

1．2．2 认知训练研究现状

1．3 本课题主要研究内容

1．4 论文组织结构

第二章 认知训练系统总体设计

2．1 系统分析

2．1．1 设计目标

2．1．2 系统需求分析

2．2 架构设计

2．2．1 系统整体架构

2．2．2 系统模块划分

2．3 核心技术研究

2．3．1 手势识别相关技术研究

2．3．2 客户端相关技术研究

2．3．3 服务器相关技术研究

2．3．4 数据库相关技术研究

2．4 本章小结

第三章 认知训练系统客户端设计与实现

3．1 客户端架构分析

3．2 手势识别

3．2．1 手势的分类

3．2．2 LeapMatian

3．2．3 数据预处理

3．2．4 静态手势识别

3．2．5 动态手势识别

3．2．6 交互设计

3．3 认知训练任务模块

3．3．1 数字连线训练模块设计与实现

3．3．2 图形匹配模块设计与实现

3．4 用户相关功能

3．4．1 参与者管理

3．4．2 参与者参数管理

3．5 训练结果查询模块

3．6 本章小结

第四章 认知训练系统服务端的设计与实现

4．1 系统服务端总体设计

4．2 数据库设计

4．2．1 MongoDB数据库管理系统

4．2．2 系统数据库设计

4．3 服务器程序设计

4．3．1 服务端编程简介

4．3．2 服务端业务逻辑

4．3．3 视图层

4．3．4 业务逻辑层

4．3．5 数据访问层

4．3．6 其他模块设计

4．4 本章小结

第五章 应用与数据分析

5．1 研究对象及方法

5．1．1 研究目的

5．1．2 研究对象

5．1．3 研究方法

5．1．4 研究流程

5．2 实验结果

5．2．1 工作记忆评测结果

5．2．2 认知灵活性评测结果

5．2．3 抑制能力评测结果

5．2．4 BRIEF量表评测结果

5．3 讨论

5．4 本章小结

第六章 总结与展望

6．1 本文主要工作总结

6．2 课题不足及研究未来展望

致谢

参考文献

作者攻读硕士学位期间发表的论文