基于多模态深度学习技术的儿童ADHD筛查评估系统

摘要

一种基于多模态深度学习技术的儿童ADHD筛查评估系统，包括：量表测试模块，用于通过ADHD诊断心理学量表采集和评估就诊儿童；软硬件协同模块，用于开发测试软件让就诊儿童完成任务，硬件模组用于记录任务测试过程中的眼动注意力、表情和身体姿态三方面信息；智能分析模块，用于运用计算机视觉技术进行眼动注意力、表情、姿态的分析，还对测试者的鼠标移动、点击和键盘输入动作也做了记录和跟踪，与同质化向量融合；多模态信息融合模型，采用时序多模态信息融合模型BERT，对某个特定时间片段中获取的同质化向量结合测试结果进行预训练，最终生成的模型判断患者在本时间段是否存在异常行为的分类结果。本发明效率较高、准确性较好。