基于视觉信息与柔性应变传感器的手语字母符号生成方法及系统

摘要

本发明涉及一种基于视觉信息与柔性应变传感器的手语字母符号生成方法，包括：收集手势的体感信息，将人手运动表示为手势特征序列S；收集手势的视觉信息，得到编码V；构建手势分类模型，收集多条SV体感视觉数据，将多条SV体感视觉数据划分为训练集和测试集，将训练集输入到手势分类模型中进行训练得到训练完成的手势分类模型；验证手势分类模型的准确性；获取使用者手势的体感信息与视觉信息，输入到训练完成的手势分类模型中得到最后的字母符号输出，完成了手势到字母的转换。本发明通过视觉与触觉信息相融合的方式，解决了传统手势识别仅基于视觉在出现多目标时容易识别错误、容易发生自遮挡的问题，可以准确捕捉关节的变化得到手势数据。