手语到普通话/藏语语音转换系统的实现

摘要

针对健全人与聋哑人之间的交流障碍问题,实现了一个手语到汉藏双语语音转换的方法.通过使用基于RBM调节和深度反馈微调的深度学习方法,结合支持向量机对30种静态手势进行识别,根据识别出的手势信息,获得手势的文本,并通过文本分析获得语音合成所需的上下文相关的标注.同时,利用说话人自适应训练技术,实现了一个基于隐Markov模型的汉藏双语语音合成系统,利用该语音合成系统,将手势的上下文相关标注转换为普通话或藏语语音.实验结果表明,设计的系统在静态手势的识别上获得了93.6％的识别率,转换获得的语音平均MOS得分为4.0分.