基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统

摘要

本发明公开了一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统，通过采集评估者及被试者的音视频多模态数据并加以分析，以评估预测孤独症谱系障碍，包括数据采集模块，用于对试验过程中被试者、评估者的音视频多模态数据进行多视角多声道的数据采集；预处理模块同步采集的音视频数据，并使用语音识别检测和标记评估者发出指令的时间，截取该时间点后的音视频进行分析；特征提取模块对预处理后的音视频数据进行特征提取，获取语音内容、面部情感等特征；训练分类模块，将提取的组合特征作为机器学习分类器的输入进行训练，得到预测孤独症的分类器模型；预测模块，利用训练所得的分类器模型对被采集数据的被试者进行孤独症分类预测。