光反射式移动手语识别系统及手指弯曲测量方法

摘要

本发明公开光反射式移动手语识别系统及手指弯曲测量方法，其特征是：包括手指弯曲数据手套(1)、ARM7微处理器(2)和语音合成输出模块(3)；手指弯曲数据手套(1)的光电传感器(1-2)的电源输入端通过供电导线(1-3)与ARM7微处理器(2)的电源端连接、其输出端通过测量导线(1-4)与ARM7微处理器(2)的信号输入端连接；语音合成输出模块(3)由语音合成芯片(3-1)、功率放大器(3-2)和扬声器(3-3)组成，语音合成芯片(3-1)的输入端与ARM7微处理器(2)的输出端连接、输出端通过功率放大器(3-2)与扬声器(3-3)连接。本发明的光反射式移动手语识别系统结构简单，成本低廉，便于随身携带，有助于改善和提高聋哑残疾人的生活学习和工作条件。

说明书

技术领域

本发明涉及一种手语识别系统及其实现方法，尤其是一种光反射式移动手语识别系统及手指弯曲测量方法。属于科学技术领域。 

背景技术

手语是一种通过手的运动表达意思的身体运动语言，主要用在聋哑人之间的交流。据统计，中国目前患听力语言障碍的聋哑人约2400万，他们之间以及他们与正常人之间的交流主要通过中国手语进行。早在20世纪50年代后期，我国政府为关心聋哑人，促进他们之间的交流，就开始了中国聋哑人手语的规范工作。 

手语识别的目的就是将聋哑人手语自动翻译成自然语言文本，并由计算机良好的界面显示出来。手语识别不仅有助于聋哑人使用各种信息，还可以帮助他们参加各项社会活动。国内外的研究人员一直积极地开展手语识别的研究，并开发出多种手语识别系统。通过摄像设备跟踪手的运动，经图像处理和特定识别算法可以识别手势动作的含义。该方法虽只需计算机和摄像设备，但图像处理和识别算法十分复杂，难以有效识别相似手势，也难以实现低成本的便携式系统。 

通过数据手套和位置跟踪器也可识别手势在空间的运动轨迹和时序信息，国外市场上的数据手套包括：5DT Data Glove，CyberGlove，VPL Glove等，国内有中科院研制的CAS-GLOVE数据手套等。这些数据手套，虽然能提供高精度和高可靠性，能够较好地测量手的自由度，操作自然，容易获取如手指关节角度和位置信息等手语特征。但存在价格昂贵、结构复杂，难以在普通消费者中推广使用。如何提供一种低成本便携式手语识别产品及其使用方法是本领域研究的目标。 

发明内容

本发明的第一个目的，是为了解决现有技术的数据手套存在价格昂贵、结构复杂的问题，提供成本低、高性能、人性化，效提高识别质量的光反射式移动手语识别系统。 

本发明的第二个目的，是为了提供光反射式移动手语识别系统的手指弯曲测量方法。 

本发明的第一个目的可以通过以下技术方案达到： 

光反射式移动手语识别系统，其结构特点是：包括手指弯曲数据手套、带A/D的ARM7微处理器和语音合成输出模块；手指弯曲数据手套由指环、光电传感器、供电导线和测量导线组成；光电传感器固定在指环上，光电传感器的电源输入端通过供电导线与ARM7微处理器的电源端连接，光电传感器的输出端通过测量导线与ARM7微处理器的信号输入端连接；语音合成输出模块由语音合成芯片、功率放大器和扬声器组成，语音合成芯片的输入端与ARM7微处理器的输出端连接，语音合成芯片的输出端通过功率放大器与扬声器的输入端连接。 

本发明的第一个目的还可以通过以下技术方案达到： 

实现本发明第一个目的的一种实施方案是：所述光电传感器设有两套相同结构的传感电路，用于测量手指两个关节的弯曲。 

实现本发明第一个目的的一种实施方案是：所述传感电路的发射输出端由电源、LED发光二极管和限流电阻构成，接收输入端由PD光电管和下拉电阻构成。 

实现本发明第一个目的的一种实施方案是：所述带A/D的ARM7微处理器可以设有3.3V供电电源；支持3.3V电压工作的OLED显示屏以及两个用于设定工作模式的按键。 

本发明的第二个目的可以通过以下技术方案达到： 

光反射式移动手语识别系统的手指弯曲测量方法，步骤如下： 

1)将数据手套上的指环分别套在拇指、食指、中指、无名指和尾指的第二节上； 

2)固定在指环上的光电传感器开始测量手指的弯曲程度，LED发光二极管发出的光经手指反射后被PD光电管接收，手指弯曲程度的不同，PD光电管接收的光强也随之改变，当手指完全伸直时，PD光电管接收的反射光强最弱，接收管不导通，输出电压为0；当手指完全弯曲时，PD光电管接收的反射光强最强，输出电压最大； 

3)光电传感器根据2)步中所测量的手指弯曲的结果通过输出信号M1、M2送到ARM7微处理器进行模数转换； 

4)ARM7微处理器将识别结果的汉字数据通过串口发送给语音合成芯片，再经由功率放大器推动，在扬声器输出。 

本发明的第二个目的还可以通过以下技术方案达到： 

实现本发明第二个目的的一种实施方案是：在第2)步中，对五个手指的光电传感器采用分时选通。 

本发明具体如下突出的有益效果： 

1、本发明的光反射式移动手语识别系统使用LED发光二极管作光源，通过类似光纤一类的传输介质进行光传输，在介质的另一端放置PD光电管测量信号的强度来检测手指弯曲，容易获取手指关节角度和位置的信息。 

2、本发明的光反射式移动手语识别系统结构简单，成本低廉，便于随身携带，能给语言障碍者和正常人之间提供一种交流的桥梁，有助于改善和提高聋哑残疾人的生活学习和工作条件。 

3、本发明由于采用分立式部件组成的光反射式移动手语识别系统，其测量手指弯曲的方法简单，具有使用方便、适用范围广的有益效果。 

附图说明

图1为本发明光反射式移动手语识别系统的结构框图； 

图2为本发明数据手套结构示意图； 

图3为本发明光电传感器的电路图； 

图4为本发明ARM7微处理器系统的电路图； 

图5为本发明语音合成输出模块的电路图； 

图6为字母模板的手型特征图。 

其中，1-数据手套，2-ARM7微处理器，3-语音合成输出模块。 

具体实施方式

具体实施例1： 

图1、图2、图3、图4和图5构成本发明的具体实施例1。 

参照图1、图2、图3、图4和图5，本实施例包括手指弯曲数据手套1、带A/D的ARM7微处理器2和语音合成输出模块3；手指弯曲数据手套1由指环1-1、光电传感器1-2、供电导线1-3和测量导线1-4组成；光电传感器1-2固定在指环1-1上，光电传感器1-2的电源输入端通过供电导线1-3与ARM7微处理器2的电源端连接，光电传感器1-2的输出端通过测量导线1-4与ARM7微处理器2的信号输入端连接；语音合成输出模块3由语音合成芯片3-1、功率放大器3-2和扬声器3-3组成，语音合成芯片3-1的输入端与ARM7微处理器2的输出端连接，语音合成芯片3-1的输出端通过功率放大器3-2与扬声器3-3的输入端连接。 

本实施例中，所述光电传感器1-2采用SPI-315反射式红外传感器，设置有两套相同结构的传感电路，用于测量手指两个关节的弯曲，所述传感电路的发射输出端由电源、LED发光二极管和限流电阻构成，接收输入端由PD光电管和下拉电阻构成；所述ARM7微处理器2系统由带多路12位ADC的STM32F103处理器最小系统构成，采用3.3V供电电源、支持3.3V电压工作的OLED显示屏以及两个用于设定工作模式的按键；所述语音合成芯片3-1采用XFS3031CN芯片。 

本实施例的手指弯曲测量方法如下： 

1)将数据手套1上的指环1-1分别套在拇指、食指、中指、无名指和尾指的第二节上； 

2)固定在指环1-1上的光电传感器1-2开始测量手指的弯曲程度，LED发光二极管发出的光经手指反射后被PD光电管接收，手指弯曲程度的不同，PD光电管接收的光强也随之改变，当手指完全伸直时，PD光电管接收的反射光强最弱，接收管不导通，输出电压为0；当手指完全弯曲时，PD光电管接收的反射光强最强，输出电压最大； 

3)光电传感器1-2根据2)步中所测量的手指弯曲的结果通过输出信号M1、M2送到ARM7微处理器2中进行模数转换； 

4)ARM7微处理器2将识别结果的汉字数据通过串口发送给语音合成芯片3-1，再经由功率放大器3-2推动，在扬声器3-3输出。 

其中，在上述第2)步中，对五个手指的光电传感器1-2采取分时选通。 

本发明的数据处理与识别算法： 

1、字母模板库建立 

光反射式移动手语识别系统用微处理器自带的A/D转换器对传感器输出进行采集，检测精度可达12位。为了消除背景红外干扰，将选通手指测量后得到的数据减去背景光强作用时的数据，得到反映手指弯曲的电压输出。人类经常以非精确或模糊的方式处理信息，例如，“食指弯曲一点点”。对接收的手指弯曲信息，我们将弯曲程度分成全直、微弯、中弯和弯四种，可通过实验来确定区分阈值。为了区分相同手型，系统采用三轴加速度传感器ADXL345构成判断手是否水平的电路，用以解决“L/R”、“G/I”、“F/H”等相同手型的区分问题。字母表字母手势的手型特征参照图6，根据这些特征建立的字母模板库，供识别时匹配使用。 

2、识别算法 

当微处理器系统从传感装置接收到数据时，系统首先通过比较以前数据确认手是否在静止位置。当等到手停止移动后才开始识别进程。匹配时，将测量数据分五层逐层分类与模板进行比较。但纯粹将弯曲程度分成全直、微弯、中弯和弯来进行匹配容易对一 些字母难以有效区分，识别时我们引入累积弯曲系数的概念，除了分段区分外，还对容易混淆的字母结合累积弯曲系数加以区分。对于不同字母相同手型的问题。如L/R、V/F/H、G/I等，再通过判断手的方向来判别。分层识别算法如表2所示。 

表2分层识别算法 

3、声调手势与字母手指复用的单字拼读方法 

汉语拼音由声母、韵母和声调构成。根据声母不会出现在汉语拼音结尾的实际，我 们将D、G、F、W和B五个声母手势复用为轻声、阴平、阳平、上声和去声五种音调手势。这样可以在不增加手势模板的情况下实现带声调汉语拼音的手指语汉字输入。 

4、测试与结果 

4.1、字母识别 

识别软件采用C语言实现，单一字母的识别率测试应用了总共50个样本。测试条件：室内，3.6V锂充电电池供电，测试人5个，每个字母每人打10次手势。测试数据与结果见表3。 

表3手指语字母测试 

4.2、加入复合声调手势的单字识别 

用户按照拼音输入法进行汉字输入，声调采用复合手指语字母手势，同时充当单字的结束标记。测试时，用户先打单个字母手势，判断无误后，接着下一个字母手势。由于复用手势采用了复用声母手势，不会造成冲突。测试表明，能够较好地实现单字拼读，但由于测试者对手语熟悉不够，输出的流畅性还有待提高。 

本发明的光反射式移动手语识别系统使得用户可以按照汉语手指语字母表中的手势以拼音输入方式拼写字词，微处理器系统负责采集手指弯曲采集模块输出的手指弯曲信息，并根据识别算法分析手语内容，最后将分析结果送语音合成输出模块输出，结构简单，成本低廉，便于随身携带，能给语言障碍者和正常人之间提供一种交流的桥梁，有助于改善和提高聋哑残疾人的生活学习和工作条件。