一种智能听障人士与健全人进行人机交互的系统及其工作方法

摘要

本发明公开了一种智能听障人士与健全人进行人机交互的系统及其工作方法，包括数据采集设备单元、人机交互终端和人机交互网络单元，通过弯曲传感器与姿态传感器组成的数据采集设备对手部的数据用Arduino控制器进行数据的实时采集，并在云端进行BP神经网络算法学习及手势识别，再通过手机将手势对应的语音进行播报，完成听障人士与健全人的交互，还可通过手机对语音进行识别，将识别的结果无线传输到云端，当云端接收到识别的结果时，对结果进行处理在unity中控制unity中人物模型完成相对应的动画。此系统完成了听障人士与健全人的正常沟通交流，对于人机交互领域，具有非常强的实用性与可研究性。