提高孤独症儿童社会互动能力的人机互动多模态早期干预系统

摘要

一种提高孤独症儿童社会互动能力的人机互动多模态早期干预系统。该系统包括一台多点触摸屏，一台计算机和三台分别安装在触摸屏左边、右边以及中上方的摄像头，摄像头带麦克风通过USB接口与计算机相连，系统设有视觉信号处理、语音信号处理、物理交互界面、多模态融合、智能控制台和真实场景模拟六个基本模块，其融合计算机视觉，语音识别，行为识别，智能体和虚拟现实技术来支持提高孤独症儿童的社会互动能力。通过半年时间跟踪数名儿童在此学习环境中的发展变化，其中多数儿童的社会互动能力有了明显提高，另外儿童的互动能力也有一定地进步。