一种数据手套的模糊手语识别方法

摘要

本发明公开了一种数据手套的模糊手语识别方法，包括以下步骤：获取手部动作数据并对其进行模糊处理，得到手势帧序列；根据手语数据库和概率数据库，对得到的手势帧序列进行识别处理，得到手势帧序列识别结果。本发明通过对手部动作数据进行模糊处理，有效避免了因手掌大小不一造成的识别率较低的问题，而且通过结合手语数据库和概率数据库，使得本发明能根据前后手势选取当前手势最优的识别，大大提高手势识别的准确率。本发明作为一种数据手套的模糊手语识别方法可广泛应用于手语识别产品中。

说明书

技术领域

本发明涉及手势识别领域，尤其涉及一种数据手套的模糊手语识 别方法。

背景技术

手势识别国内外科学家已经进行过了大量研究。1994年,Ramon M  S和Dannil T研制了一种基于物理约束的手抓取过程的手动作合成 的控制与抓取系统。1995年,Lee J intae和Kunii Tosiyasv L研 究用摄像机获得手的运动图像数据来自动分析三维手势,实现三维手 势重构。1997年,加拿大多伦多大学的Sidney S F研究的Glove  TalkII系统是目前最有影响的手势接口系统,他采用神经网络将用户 手势转换成手势语言参数,通过语言合成器合成为语言输出。我国高 文等人,也进行了基于手势和人的行为动作识别的手语合成技术的研 究。

目前基于传感器数据手套的手势识别是从传感器直接获得手指 运动特征数据，然后通过匹配的算法将其翻译成人可直接识别的文字 或声音。但是目前手语翻译技术多数受限于词语的识别，并且随着手 语库的增多容易造成翻译混淆，并且由于人手的大小不一，也比较容 易造成不同人之间的手势识别效率差别较大，识别准确率较低。

发明内容

为了解决上述技术问题，本发明的目的是提供一种能提高手势识 别的准确率的一种数据手套的模糊手语识别方法。

本发明所采用的技术方案是：

一种数据手套的模糊手语识别方法，包括以下步骤：

A、获取手部动作数据并对其进行模糊处理，得到手势帧序列；

B、根据手语数据库和概率数据库，对得到的手势帧序列进行识 别处理，得到手势帧序列识别结果。

作为所述的一种数据手套的模糊手语识别方法的进一步改进，所 述的步骤A包括：

A1、获取手部动作数据中的各个手指的弯曲角度，并根据预设的 弯曲隶属度函数，得出对应的各个手指的弯曲状态；

A2、获取手部动作数据中的手掌俯仰角，并根据预设的俯仰隶属 度函数进行计算，得出结果值最大的即为对应的俯仰状态；

A3、获取手部动作数据中的手掌倾斜角，并根据预设的倾斜隶属 度函数进行计算，得出结果值最大的即为对应的倾斜状态；

A4、获取手部动作数据中的手掌偏航角，并根据预设的偏航隶属 度函数进行计算，得出结果值最大的即为对应的偏航状态；

A5、根据计算得到的俯仰状态、倾斜状态和偏航状态，结合预设 的规则，得出对应的手掌朝向；

A6、根据手掌朝向和各个手指的弯曲状态，得出手势帧，并进而 得出手势帧序列。

作为所述的一种数据手套的模糊手语识别方法的进一步改进，其 特征在于：所述的步骤B包括：

B1、获取手势帧序列，依照从头到尾的顺序提取手势帧；

B2、将提取的手势帧分别依次放入对应的结点中；

B3、依次从手语数据库中提取各个手势帧对应的所有字词，并将 其附加进对应的结点中，直到手势帧序列上所有手势帧均完成手语数 据库的检索；

B4、将相邻两个结点所附带的字词按照结点的顺序分别两两组 合，组合中由上一个结点的字词指向下一个结点的字词；

B5、将所有组合分别在概率数据库中索引出各组合的概率；

B6、查找出各组合组成的句子中概率和最大的一个句子，得出手 势帧序列识别结果。

作为所述的一种数据手套的模糊手语识别方法的进一步改进，所 述的步骤A1中的弯曲隶属度函数为：

$A_0\left(x\right)=\left(\begin{array}{c}1,x\le 35\\ 0,x>35\end{array}\right)$

其中，X∈U₀，U₀表示手指弯曲角度，U₀＝[0，120]，在U₀上建立手指 弯曲角度的三个模糊集A₀表示弯曲状态为“伸直”的状态，A₁＝表示 弯曲状态为“半弯曲”的状态，A₂＝表示弯曲状态为“紧握”的状态。

作为所述的一种数据手套的模糊手语识别方法的进一步改进，所 述的步骤A2中的俯仰隶属度函数为：

$B_0\left(x\right)=\left(\begin{array}{c}0,-90\le x\le 40\\ \frac{x-40}{20},40<x<60\\ \mathrm{1,60}\le x\le 90\end{array}\right)$

$B_2\left(x\right)=\left(\begin{array}{c}0,-40\le x\le 90\\ \frac{-40-x}{20},-60<x<-40\\ 1,-90\le x\le -60\end{array}\right)$

其中，x∈U₁，U₁表示手掌俯仰角，U₁＝[-90，90]，在U₁上建立俯仰 角的三个模糊集B₀表示俯仰角为“俯”的状态，B₁＝表示俯仰角为“水 平”的状态，B₂＝表示俯仰角为“仰”的状态。

作为所述的一种数据手套的模糊手语识别方法的进一步改进，所 述的步骤A3中的倾斜隶属度函数为：

其中，y∈U₂，U₂表示手掌倾斜角，U₂＝[-180，180]，在U₂上建立倾 斜角的三个模糊集C₀表示倾斜角为“左倾”的状态，C₁＝表示倾斜角 为“水平”的状态，C₂＝表示倾斜角为“右倾”的状态，C₃＝表示倾斜 角为“翻转水平”的状态。

作为所述的一种数据手套的模糊手语识别方法的进一步改进，所 述的步骤A3中的偏航隶属度函数为：

其中，z∈U₃，U₃表示手掌偏航角，U₃＝[0，360]，在U₃上建立偏航角 的三个模糊集D₀表示偏航角为“前”的状态，D₁＝表示偏航角为“右” 的状态，D₂＝表示偏航角为“后”的状态，D₃＝表示偏航角为“左”的 状态。

作为所述的一种数据手套的模糊手语识别方法的进一步改进，所 述手语数据库以手指弯曲状态和手掌朝向形成的手势帧作为索引，手 势对应的字词作为被索引的内容。

作为所述的一种数据手套的模糊手语识别方法的进一步改进，所 述概率数据库中的字词组合的概率为利用语言模型训练工具SRILM 得到。

本发明的有益效果是：

本发明一种数据手套的模糊手语识别方法通过对手部动作数据 进行模糊处理，有效避免了因手掌大小不一造成的识别率较低的问 题，而且通过结合手语数据库和概率数据库，使得本发明能根据前后 手势选取当前手势最优的识别，大大提高手势识别的准确率。

附图说明

下面结合附图对本发明的具体实施方式作进一步说明：

图1是本发明一种数据手套的模糊手语识别方法的步骤流程图；

图2是本发明一种数据手套的模糊手语识别方法步骤A的步骤流 程图；

图3是本发明一种数据手套的模糊手语识别方法步骤B的步骤流 程图；

图4是本发明一种数据手套的模糊手语识别方法中手势帧的构 成示意图。

具体实施方式

参考图1，本发明一种数据手套的模糊手语识别方法，包括以下 步骤：

A、获取手部动作数据并对其进行模糊处理，得到手势帧序列；

B、根据手语数据库和概率数据库，对得到的手势帧序列进行识 别处理，得到手势帧序列识别结果。

参考图2，作为所述的一种数据手套的模糊手语识别方法的进一 步改进，所述的步骤A包括：

A1、获取手部动作数据中的各个手指的弯曲角度，并根据预设的 弯曲隶属度函数，得出对应的各个手指的弯曲状态；

A2、获取手部动作数据中的手掌俯仰角，并根据预设的俯仰隶属 度函数进行计算，得出结果值最大的即为对应的俯仰状态；

A3、获取手部动作数据中的手掌倾斜角，并根据预设的倾斜隶属 度函数进行计算，得出结果值最大的即为对应的倾斜状态；

A4、获取手部动作数据中的手掌偏航角，并根据预设的偏航隶属 度函数进行计算，得出结果值最大的即为对应的偏航状态；

A5、根据计算得到的俯仰状态、倾斜状态和偏航状态，结合预设 的规则，得出对应的手掌朝向；

A6、根据手掌朝向和各个手指的弯曲状态，得出手势帧，并进而 得出手势帧序列。

参考图3，作为所述的一种数据手套的模糊手语识别方法的进一 步改进，其特征在于：所述的步骤B包括：

B1、获取手势帧序列，依照从头到尾的顺序提取手势帧；

B2、将提取的手势帧分别依次放入对应的结点中；

B3、依次从手语数据库中提取各个手势帧对应的所有字词，并将 其附加进对应的结点中，直到手势帧序列上所有手势帧均完成手语数 据库的检索；

B4、将相邻两个结点所附带的字词按照结点的顺序分别两两组 合，组合中由上一个结点的字词指向下一个结点的字词；

B5、将所有组合分别在概率数据库中索引出各组合的概率；

B6、查找出各组合组成的句子中概率和最大的一个句子，得出手 势帧序列识别结果。

比如，手势序列S有两个手势帧依次为A和B，假设手势A有字 词“你”和“那”，手势B有字词“好”和“正”，假设“你好”的概 率为0.0052，“你正”的概率为“0.00045”，“那好”的概率为0.0078， “那正”的概率为0.00032，则手势序列S的识别结果为概率最大的 那个句子，即识别结果为“那好”。

作为所述的一种数据手套的模糊手语识别方法的进一步改进，所 述的步骤A1中的弯曲隶属度函数为：

$A_0\left(x\right)=\left(\begin{array}{c}1,x\le 35\\ 0,x>35\end{array}\right)$

$A_2\left(x\right)=\left(\begin{array}{c}1,x\ge 85\\ 0,x<85\end{array}\right)$

其中，X∈U₀，U₀表示手指弯曲角度，U₀＝[0，120]，在U₀上建立手指 弯曲角度的三个模糊集A₀表示弯曲状态为“伸直”的状态，A₁＝表示 弯曲状态为“半弯曲”的状态，A₂＝表示弯曲状态为“紧握”的状态。

作为所述的一种数据手套的模糊手语识别方法的进一步改进，所 述的步骤A2中的俯仰隶属度函数为：

$B_0\left(x\right)=\left(\begin{array}{c}0,-90\le x\le 40\\ \frac{x-40}{20},40<x<60\\ \mathrm{1,60}\le x\le 90\end{array}\right)$

$B_2\left(x\right)=\left(\begin{array}{c}0,-40\le x\le 90\\ \frac{-40-x}{20},-60<x<-40\\ 1,-90\le x\le -60\end{array}\right)$

其中，x∈U₁，U₁表示手掌俯仰角，U₁＝[-90，90]，在U₁上建立俯仰 角的三个模糊集B₀表示俯仰角为“俯”的状态，B₁＝表示俯仰角为“水 平”的状态，B₂＝表示俯仰角为“仰”的状态。

若手掌俯仰角为42，将x＝42代入公式二中的隶属度函数计算， 得出B₀(42)＝0.1，B₁(42)＝0.3，B₂(42)＝0，B₁>B₀>B₂，则该次输入的x 值的俯仰角为水平。

作为所述的一种数据手套的模糊手语识别方法的进一步改进，所 述的步骤A3中的倾斜隶属度函数为：

其中，y∈U₂，U₂表示手掌倾斜角，U₂＝[-180，180]，在U₂上建立倾 斜角的三个模糊集C₀表示倾斜角为“左倾”的状态，C₁＝表示倾斜角 为“水平”的状态，C₂＝表示倾斜角为“右倾”的状态，C₃＝表示倾斜 角为“翻转水平”的状态。

作为所述的一种数据手套的模糊手语识别方法的进一步改进，所 述的步骤A3中的偏航隶属度函数为：

其中，z∈U₃，U₃表示手掌偏航角，U₃＝[0，360]，在U₃上建立偏航角 的三个模糊集D₀表示偏航角为“前”的状态，D₁＝表示偏航角为“右” 的状态，D₂＝表示偏航角为“后”的状态，D₃＝表示偏航角为“左”的 状态。

作为所述的一种数据手套的模糊手语识别方法的进一步改进，所 述手语数据库以手指弯曲状态和手掌朝向形成的手势帧作为索引，手 势对应的字词作为被索引的内容。

作为所述的一种数据手套的模糊手语识别方法的进一步改进，所 述概率数据库中的字词组合的概率为利用语言模型训练工具SRILM 得到。

参考图4，其中，本发明中的一个手势帧序列是指一个完整的手 语句子，包含N个手势帧。一个手势帧是由4个字节(32位)组成， 其中第32位保留，第26～30位和第11～15位分别为左手和右手的 “手掌朝向”状态，第16～25位和第1位～第10位分别为存储左手 和右手的手指弯曲状态，其中一个手指弯曲状态占2个位，拇指、食 指、中指、无名指和小指分别从高位到低位排序，第0位为校验位。

手语帧序列是由多个手语帧按时间顺序进行排列的，一个手语帧 对应多个字或词，因为一个手势在不同的语境景代表着不同的意思， 并且在本方法中已经对手势进行了抽象，使一些只有轻微差别的手势 抽象成相同的手语帧。而手势识别部分就是将手语帧序列中的手语帧 根据上下文的统计概率将最合适的字词提取出来并与手语帧序列中 的其他手语帧形成最理想的句子。

手语识别之前必须建立好手语数据库和概率数据库。

手语数据库的建立是指参照《中国手语》上下册，将里面的内容 利用第一部分介绍方法提出去手指的弯曲状态和手掌的朝向状态并 形成手语帧，并以这个4个字节(32位)的手语帧作为索引，而手 势对应的字词作为被索引的内容，相同的手势对应的字词放在一个索 引下，当以该索引搜索时，将引出该索引的全部内容。如：“你”和 “那”的手势是一样的，则它们的索引是一样的，假设该索引为A, 搜索A时将引出“你”，“那”。

概率数据库是指字词在语料库中单个字词的出现的频率，以及每 一个词后面跟着出现另一个词的频率的集合；所谓的语料库是指手语 方面日常用语句子或文章。对于单个字词和一个词跟住出现另一个词 的概率的则是利用语言模型训练工具SRILM得到。并将它们以下面的 格式来存储。以字词或字词组合索引出该字词或字词组合的概率，如 “绿叶”索引出概率为0.000000147332，以“至于”“外貌”索引出 概率“0.000145517086”。概率数据库的索引是以两个词为基础，如 果在2-gram中找不到这两个词的组合，则在1-gram分别找到这两 个词单独的概率，设为P1和P2，则该两个词的组合概率为P＝P1*P2*e， e为自然常数约2.71828182845905。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不 限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提 下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含 在本申请权利要求所限定的范围内。