基于深度学习的眼球追踪技术研究

摘要

随着虚拟现实不断的发展，许多研究学者将虚拟现实作为热门的课题进行研究，就目前虚拟现实的研究现状，眼球追踪成为虚拟现实重要突破的技术领域，在虚拟现实场景中应用眼球追踪能实现确保精确度不减少的情况下，提高场景中图像的处理速度和用户在场景中的浸透性，降低性能的消耗和用户的眩晕感，疲劳感。 在眼球追踪的发展过程中，深度学习的表现取得优秀的成绩，深度学习将眼球追踪划分为单帧图像中的检测，视频帧中的追踪。在深度学习的单帧图像检测算法中，端到端的YOLO检测算法达到50的精确度，从速度角度上讲，YOLO算法在虚拟现实中的处理速度每秒传输的帧数（FPS）只有45。在深度学习的视频帧眼球追踪算法中，眼球被外界因素干扰导致追踪精确度大幅度下降。 本文针对上述问题做以下工作： （1）对单帧图像的检测算法YOLO进行改进，将每个卷积层所对应的特征图进行融合，得到更加明显的特征信息。改进了YOLO应用的网络，在改进的网络中对多个卷积层的特征图进行预测，利用边框回归等训练方式，得到最终的眼球位置信息。 （2）对视频帧的YOLO算法与递归神经网络的结合，在处理视频帧中，前后信息的空间关联性较大，通过YOLO改进算法与递归神经网络的结合，对前后帧图像中的特征信息进行空间关联上的学习，在眼球被外界因素产生遮挡的情况下，利用前后5帧图像信息的置信图对眼球的位置信息进行预测。 （3）眼球追踪在虚拟现实中的应用，将眼球追踪后的坐标结果与径向模糊渲染相关联，应用到虚拟现实中的场景，设计对于PC或移动端电子设备硬件条件不高的用户精确实时渲染的功能，提高用户在场景中浸透性，浸透性指标为眼球追踪精确度达到60以上，眼球追踪的径向渲染场景中每秒传输的帧数（FPS）达到60以上。 在本文的实验中，单帧图像的YOLO检测算法改进相比较于传统的YOLO算法，准确率上提高了3%，速度上fps达到87。视频帧的YOLO与递归神经网络的结合，准确率上达到了78.2%，在速度上达到了17毫秒。在基于眼球追踪的径向模糊场景渲染的实验中，准确率达到63，fps可以达到66，不会出现卡帧以及掉帧的情况，达到虚拟现实场景中浸透性目的。

目录

第一个书签之前