基于递归卷积神经网络实现视线估计与注意力分析的系统及其方法

摘要

本发明公开了一种基于递归卷积神经网络实现视线估计与注意力分析的系统，包括视线特征提取模块、视线回归模块、视线落点映射模块和注意力可视化与分析模块。还涉及一种相应的方法，在实现中，同时提取双眼表观特征和头部姿态特征，进行空间域特征融合；对于连续多帧视线特征，通过Bi‑LSTM网络层将注视行为的时序特征联合编码，完成时域特征融合，进而回归出中间帧的视线向量；还提出了一种基于单目相机的视线落点解算方法，可实时获取视线落点坐标，且不受场景限制；以底层模块提供数据支撑，在注意力可视化与分析模块，提供了丰富的实时视线追踪可视化以及相关视线参数可视化的形式。本技术方案能满足使用场景的准确性和稳定性要求，应用场景广泛。