沉浸式虚拟现实环境中认知投入的自动测评研究

摘要

沉浸式虚拟现实(Immersive Virtual Reality,IVR)环境在提升学生的行为、情感和认知投入方面具有显著优势。由于认知投入的内隐性,当前研究主要采用自我报告方法来测评学生在IVR环境中的认知投入,无法实现对认知投入的全面捕获和实时追踪。研究旨在探索采用计算机视觉技术实现对IVR环境中认知投入的实时追踪和自动测评方法。根据信息加工理论和具身认知理论,研究从视觉行为和身体行为两方面间接表征学生在IVR环境中的认知投入,并通过计算机视觉和深度学习技术自动识别和检测学生在IVR环境中的视觉行为和身体交互行为,检测准确率高达98%。相关性分析发现,学生在IVR学习中对学习内容的视觉覆盖度与其后续的知识保留和知识迁移成绩显著正相关;学生在IVR学习中使用手柄交互的累计时长与其后续的知识迁移成绩显著正相关。上述研究结论表明:基于计算机视觉技术自动识别学生在IVR学习中的认知投入是一种可行且有效的方法,该方法能够为IVR学习环境的设计和优化提供客观且丰富的过程性数据,有助于破解IVR教学实践中教师无法精准监测学生的学习投入并提供及时指导和反馈这一现实困境。