一种基于AR增强现实与图形识别的教材交互系统

摘要

本发明公开了一种基于AR增强现实与图形识别的教材交互系统，混合现实模块显示虚拟图像和/或现实图像；图像采集模块采集目标手势、音乐简谱，目标手势包括第一手势和第二手势，处理模块识别匹配目标手势与第一手势，若匹配成功后则获取音乐简谱对应的音符编码序列表，并基于音符编码确定模拟实物钢琴的按键位置及按键时间；练习模式下，混合现实模块显示虚拟图像和现实图像，所述虚拟图像为模拟实物钢琴和当前按键时间的按键位置，现实图像为第二手势，音频输出模块输出对应的音频；演奏模式下，混合现实模块显示虚拟图像和现实图像，虚拟图像仅为模拟实物钢琴，现实图像为第二手势，音频采集模块采集对应的音频。实现递进式教学，提高学习效率。