一种基于多模态融合的课堂互动分析方法及系统

摘要

本发明公开了一种基于多模态融合的课堂互动分析方法及系统，所述的教学行为分析系统包括音视频关键帧提取系统、帧特征分析系统、行为判别系统、结果分析系统。具体包括获取课堂教学视频，对课堂视频预处理；利用声纹识别技术和姿态估计算法处理课堂教学视频，判别说话者身份；设计师生互动行为类别，根据课堂互动行为主体不同进行分类；最后编制互动分析MFIAS编码表，构建多模态融合行为对照表映射特征行为，量化分析课堂教学互动行为。本发明实现全面细致分析课堂师生互动行为的丰富内涵，提出了一种基于多模态融合的课堂互动分析方法及系统，解决采用人工方式对课堂视频进行反馈分析结果受主观因素影响大、过程操作复杂等问题。