基于图像处理的眼神捕捉和头部定位的研究

摘要

在林业作业中，集材机广泛用于收集、牵引木材。然而在操作集材机时，操作员在驾驶的同时必须留意各类驾驶室外部的物体、对象以保障自身及他人人身安全，例如其他林业工作者、机械、路径、地貌地形，并且他们还需要操作集材机拟定合适的行进路线以便工作计划的进行。由于注意力长期不集中可能导致工作效率低下，甚至人员伤亡、车辆器械的损毁。确定操作员如何驾驶集材机，他们的视线分布和为什么集中在特定区域来完成相关任务，对于提高集材机的使用效率和安全性是不可或缺的。
　　为了获取集材机操作员的视线，一种基于图像处理的计算机算法以及空间向量的运算被运用到此次研究中。通过视频处理，将采集到的操作员面部图像处理后得到操作员眼部的空间向量。通过估测头部后方图形的空间方位从而逆推操作员的头部运动，随后将眼部和头部的空间向量叠加，生成投影到前挡风玻璃的虚拟视线点。本次研究设计了一个在前部装有固定支架以放置摄像机，而在后部放有供捕捉图形的安全帽。在实验过程中，三个GoPro运动摄像机负责建立视线的3D模型。第一个 GoPro相机连接到安全帽前面的支架上，以获得操作员的视线。第二个 GoPro相机安装在驾驶室的后方，以便在操作员前视期间捕获头部运动。第三个 GoPro相机安装在驾驶室的左前侧，使头部动作在向后观察或者操作抓钩的过程中可以跟踪头部方位。然后用计算机进行图像处理，恢复重构操作员的视线点。通过计算注视行为的密度并生成由虚拟透视的注视热点图，从热点图的色块分布可以得出操作员在林业作业过程中的视线集中区域。
　　为了降低操作事故率和长时间在驾驶室采伐木材引发的疲劳，以及提高多任务执行效率等目标，本次研究还测试了远程遥控驾驶的可行性。由于现有的技术条件以及资金配备，不具有直接进行远程遥控驾驶的软硬件条件，本次研究以一种模拟远程驾驶的方式进行了实验。集材机的驾驶室内设置了基于视频的驱动系统以此测试遥控驾驶的可行性。广角摄像头安装在集材机的前端，根据之前得到的视线点热点图，校正了摄像头的方位。一个显示器安装在方向盘以上的区域，另一台笔记本电脑与相机和显示器相连接，负责快速处理并传输实时视频。实验中，集材机的可视窗口均被遮蔽，操作者仅凭由摄像头传输到显示器上的实时画面进行驾驶操作，完成一段标准的林业作业路径。同时，研究人员也采集了集材机的实时位置以及对应的速度。实验的结果表明，基于实时视频的远程控制是可行的。

目录

声明

1绪论

1.1课题的研究背景

1.2课题的研究目标

1.3论文结构

2研究现状

2.1人眼结构

2.2物体检测

2.3视线捕捉的方法

3视线捕捉系统的设计

3.1编译工具

3.2摄像头和支架

3.3脸部和眼部识别

3.4瞳孔捕捉设计

3.5头部动态定位及预测系统的设计

3.6本章小结

4引入头部运动的视线估算

4.1算法介绍

4.2视线点的表达

4.3追踪系统实地测试

4.4热点图结果

4.5结论

5基于视频的驾驶（“蒙眼”驾驶）测试

5.1视频系统的设置

5.2路径绘制

5.3本章结论与探讨

6总结与展望

6.1总结

6.2未来展望

参考文献

附录

附录I：视线捕捉代码

附录II：头部定位估测代码

附录III：主要实验设备

攻读硕士学位期间发表的论文及所取得的研究成果

致谢