基于MediaPipe的手势识别用于挖掘机遥操作控制

摘要

挖掘机有十分广泛的应用场景,但在某些危险工况下,对其采用遥操作是更好的选择。同时,近年来随着机器视觉和深度学习的发展,涌现出一系列手势识别的算法和框架。为了探究基于MediaPipe的手势识别算法在挖掘机遥操作中的应用,本文将手部不同手势与挖掘机的不同动作相对应,提出一种利用手势实现挖掘机遥操作的新型控制方式。在实验室环境下,对实验用挖掘机器人进行运动学分析,采用MediaPipe对15种手势类型进行实时静态识别,生成指令并利用Arduino单片机实现对挖掘机的控制。结果显示,该系统具有良好的性能,可以用于挖掘机的遥操作控制,为挖掘机的远程控制提供了一种新型的人机交互形式。