一种多源异构数据的多维度卷积神经网络学习者建模方法

摘要

本发明公开了一种多源异构数据的多维度卷积神经网络学习者建模方法。该方法包括同步采集学习者的眼动数据、语音数据以及视频数据；对所述眼动数据、语音数据以及视频数据进行预处理；训练多维度卷积神经网络，将待识别的所述热点图、声谱图以及人体姿态图像分别输入结构相同的所述多维度卷积神经网络进行特征提取，分别得到输出分类结果；结合三个所述输出分类结果进行时空多维度特征建模分析。本发明实现了使用多源异构数据对学习者进行建模，能够从不同的学习源融合分析学习者学习状态，这种方式更加符合学习者学习本质；从情感、认知、交互等特征对学习者进行全方位立体式的建模，更能够表征出学习者的真实学习状态。