基于手部姿态识别的MIDI体感交互系统设计

摘要

为摆脱MIDI音乐设备在交互方式上的限制,同时针对目前体感交互系统便携性差、价格昂贵等问题,将边缘计算设备与轻量级网络结合,提出了一种基于手部姿态识别的音乐体感交互系统。系统上位机依托于树莓派4b,通过单目摄像头获取数据进而识别手部关键点,调用舵机追踪目标,并通过nRF24L01通信模块将动作指令发送给下位机,从而实现中远距离控制音乐演奏。通过在轻量级网络ShuffleNet v2中嵌入SENet通道注意力机制并进行网络瘦身操作,系统可在200 ms内完成体感控制任务,能满足用户手势控制、设备协同等需求。