一种车载AR-HUD的手势交互方法和系统

摘要

本申请涉及一种车载AR‑HUD的手势交互方法和系统，所述方法包括：获取车辆座舱内的连续多帧图像；通过手势识别模型对所述图像进行处理，输出手部位置信息和手势类别；获取车辆座舱内的点云信息；根据所述手部位置信息和所述点云信息确定手势坐标；根据手势坐标和AR‑HUD投射画面的坐标，确定手势交互操作所对应的AR画面；根据所述手势类别和手势交互操作所对应的AR画面执行对应的交互操作。本申请的方案通过对图像和点云信息的融合感知，对驾驶员的手势进行识别及定位，实现AR‑HUD的手势交互方式，使得驾驶员能够与AR‑HUD系统进行直观、高效的交互，增强AR‑HUD的交互体验感。