基于视线追踪的增强现实人机交互设备及控制方法

摘要

本发明具体涉及一种基于视线追踪的增强现实人机交互设备及控制方法，属于视线追踪和嵌入式领域。所述设备包括：镜架、左交互系统和右交互系统；每个系统包括微型眼追踪相机、光波导AR镜片、嵌入式处理器、驱动控制板和集线槽；所述方法包括：1)建立眼动交互系统；2)训练卷积神经网络；3)对采集图像进行数据处理；4)识别眼部动作。本发明一方面改善了人们获取有效信息的途径及其效率，另一方面通过视线进行交互，弥补了语音和手势的操作，当这两种方法来源被占用时仍能进行交互。