基于手势编码与译码的动态无线手势识别方法

摘要

本发明公开一种基于手势编码与译码的动态无线手势识别方法，包括如下步骤：构造基本手势集，基本手势离线训练，手势编码，待检命令手势信号获取，命令手势信号识别，手势信号译码。本发明采用的动态无线手势识别方法，适用于以手势信号幅度、相位、波达方向或多普勒频移为特征的多种无线电及超声波手势识别系统，通用性好，且对无线手势的识别概率高，可靠性好。

说明书

技术领域

本发明属于人机交互中手势识别技术领域，特别是一种识别概率高、可靠性 好的基于手势编码与译码的动态无线手势识别方法。

背景技术

在智能机器人、智能电视、智能手机、电脑、游戏机、智能汽车、智能家居 等各种领域，使用动态手势以无线方式操作计算机成为新型的人机交互方式。

现有动态无线手势识别方式包括穿戴式和裸手手势识别系统，如文献“B.Raj, K.Kalgaonkar,C.Harrison,andP.Dietz,UltrasonicDopplersensingin HCI,IEEEPervasiveComputing,vol.11,no.2,pp.24-29,Feb.2012”所 述。穿戴式系统需穿戴包含加速度计、磁力计等传感器的手套来识别手势，使用 不方便。裸手手势识别系统使用非物理接触方式与机器交互，不需穿戴特殊手套 来识别手势，使用方便。最常见的实现手段是视觉(光波)、超声波、无线电波 识别系统。

视觉手势系统系统利用摄像头拍摄图像并识别手势，但存在如下局限：1、识 别距离近，距离增加则摄像头拍摄的图像效果变差；2、系统需要持续光照，在黑 暗中系统失效；3、对光变化敏感，一般不适用移动或室外环境；4、人－机间需 要视距传播，摄像头和人间不能有阻挡物；5、摄像头可能侵犯用户隐私。

无线电波及超声波裸手手势识别技术具有诸多优势：

(1).无需穿戴设备，使用便捷。

(2).可实现较远距离手势控制。

(3).受温度、亮度等环境因素影响小。可在黑暗、室外环境使用。

(4).可在非视距环境工作。

(5).不影响用户的隐私。

具体参考“S.Gupta,D.Morris,S.Patel,andD.Tan,Soundwave:using thedopplereffecttosensegestures,ProceedingsoftheSIGCHIConference onHumanFactorsinComputingSystems,May05-10,2012,Austin,Texas,USA, 2012”、“F.AdibandD.Katabi,SeethroughwallswithWi-Fi！Proceedings oftheACMSIGCOMM2013conferenceonSIGCOMM,August12-16,2013,Hong Kong,China,2013”、“Q.Pu,S.Gupta,S.Gollakota,andS.Patel, Whole-homegesturerecognitionusingwirelesssignals,ACMInternational ConferenceonMobileComputingandNetworking(MOBICOM),2013”、“F.Adib, Z.Kabelac,D.Katabi,andR.C.Miller,3Dtrackingviabodyradio reflections,UsenixNSDI,2014”和“B.Kellogg,V.Talla,andS. Gollakota,Bringinggesturerecognitiontoalldevices,UsenixNSDI, 2014”。

但在无线电波及超声波所处的无线信道中，实现手势的正确识别面临一系列 挑战，包括：

(1).信道环境影响：无线信道中存在干扰、衰落、多径等诸多不利因素，增 加了无线手势识别系统的误识别概率。

(2).手势设计影响：当前手势设计处于一种"一系统一方法"的状态，缺乏系 统性的可靠设计方法。要设计区分度大的手势集合，使得集合中即使距离最小的 两个手势也能区分，通常比较困难。这是手势误识别的内在原因。

(3).操控者影响：手势由人完成，人可能误操作，从而导致错误的手势命令。

另一方面，在许多应用中，对误识别概率低的可靠手势识别技术需求迫切， 如军事或反恐中拆弹机器人控制、军用飞机起降指挥、智能汽车控制等。因此， 对高可靠性手势识别的迫切需求和手势识别结果不可靠间存在矛盾。

总之，现有技术存在的问题是：识别概率不够高，不能满足高可靠性手势控 制的需求，通用性不强。

发明内容

本发明的目的在于提供一种基于手势编码与译码的动态无线手势识别方法， 识别概率高，可靠性好,通用性强。

实现本发明目的的技术解决方案为：一种基于手势编码与译码的动态无线手势 识别方法，包括如下步骤：

10)构造基本手势集：根据多个基本手势，构造基本手势集；

20)基本手势离线训练：对基本手势集中每个基本手势，多次检测经其反射的 发射机所发射的信号，得出每个基本手势的特征，存储所有基本手势的特征，建 立基本手势特征库；

30)手势编码：将基本手势编码成与手势控制命令相对应的命令手势，构造所 述命令手势包括基本手势组合编码、检错编码和纠错编码；

40)待检命令手势信号获取：发射机发射信号，接收机接收经命令手势反射的 信号，得到待检命令手势信号；

50)命令手势信号识别：将待检命令手势信号分成多个子手势，每个子手势对 应一个未知的基本手势，通过各子手势识别实现命令手势信号识别，所述各子手 势识别为检测各个子手势的信号特征，将各子手势特征依次与基本手势特征做对 比，找出与各子手势相匹配的基本手势，这些基本手势依次组合，构成待检命令 手势信号判决结果；

60)手势信号译码：对待检手势信号判决结果进行检错译码和纠错译码，得到 与待检手势信号对应的手势控制命令。

本发明与现有技术相比，其显著优点：识别概率高，可靠性好，通用性强。

上述优点是通过以下方法达到的：

1、简化手势种类：只用少数几种基本手势，并充分利用通信中编码理论，即 可构造其他手势，避免了手势量大时繁琐的手势训练过程；当基本手势集合中的 手势数目少时，容易构造基本手势使手势集最小距离(即距离最小的两个手势间 的距离)较大；而手势间最小距离越大，误判概率越小；

2、提高通用性：手势组合编码和检错﹑纠错编码独立于具体的系统(例如超 声波、无线电、多普勒或信号幅度)，具有普适性；

3、偶然的基本手势误判可纠正：手势数字化后，可使用数字通信中纠错编码 技术，当无线信道衰落、干扰的影响或人为误操作，导致基本手势判决中出现偶 尔的误判时，可纠正误判，保证正确的手势识别。

下面结合附图和具体实施方式对本发明作进一步的详细描述。

附图说明

图1为本发明基于手势编码与译码的动态无线手势识别方法流程图。

图2a为三进制的基本手势示意图(手势0)。

图2b为三进制的基本手势示意图(手势1)。

图2c为三进制的基本手势示意图(手势2)。

图3a为三进制等长编码模式下一种特定手势的组合编码示意图。

图3b为三进制等长编码模式下一种特定手势的检错编码示意图。

图3c为三进制等长编码模式下一种特定手势的纠错编码示意图。

图4a为识别九种手势命令的三进制非等长编码的编码表。

图4b为识别九种手势命令的三进制非等长编码的检错译码示意图。

图5a为识别九种手势命令的三进制非等长编码的的编码表。

图5b为识别九种手势命令的三进制非等长编码的纠错译码示意图。

具体实施方式

如图1所示，本发明基于手势编码与译码的动态无线手势识别方法，包括如下 步骤：

10)构造基本手势集：根据多个基本手势，构造基本手势集；

所述多个基本手势满足：将每个基本手势划分成等数量的多个运动时间段，在 同一序号的时间段内，改变各个基本手势之间相对于接收机的运动方向、运动幅 度或运动范围，使各个基本手势的特征矢量间最小范数距离最大或使各个基本手 势的特征矢量正交(即使矢量夹角为90度)。

其中，两矢量a＝[a₁,a₂,…a_N]﹑b＝[b₁,b₂,…b_N]的夹角计算公式：

$\arccos \left(\frac{a·b}{\left|a\right|\left|b\right|}\right)$

$a·b=\underset{i=1}{\overset{N}{\Sigma }}{a}_i{b}_i,\left|a\right|=\sqrt{\underset{i=1}{\overset{N}{\Sigma }}{a}_i^2}$

两矢量a﹑b之间的范数距离计算公式：

$\left|\right|a-b\left|\right|=\sqrt{\underset{i=1}{\overset{N}{\Sigma }}{(a_i-b_i)}^2}$

使各个基本手势特征矢量范数距离最大一种方法：确定基本手势数目N，设计 一组M(M>N)个备选的基本手势，测量各备选手势特征矢量各一次，从中选取一 个N阶子集，使此子集中特征矢量范数距离最小的两个基本手势的距离最大。

使各个基本手势的特征矢量正交一种方法：如基本手势数为三种，并且基本手 势分成12段，则构造三种基本手势使得其特征矢量a₁、a₂、a₃取符号后分别具有 如下形式：

a₁＝[111111-1-1-1-1-1-1]

a₂＝[111111111111]

a₃＝[-1-1-1111111-1-1-1]

可验证，上述三矢量两两正交。其他形式的正交矢量还包括如下形式及其各种 变形：

a₁＝[100000000000]

a₂＝[000010000000]

a₃＝[000000001000]

及

a₁＝[100001000010]

a₂＝[000110000100]

a₃＝[001000011000]

本发明不再一一列举。

实施例中，采用特征矢量范数距离最大方法得到如图2所示的一种三进制的基 本手势示意图。

实施例中，选择三种基本手势，基本手势映射为"0"、"1"、"2"，采用三进制 编码。将手势运动引起的Doppler频移值作为手势的特征。Doppler频移和运动的 相对速度和方向相关。其中，手势"0"：做圆弧运动，先朝向接收机运动后远离接 收机，回到起点。手势"1"：做圆弧运动，先远离接收机后朝向接收机运动，回到 起点。手势"2"：在人机连线方向上做直线运动，先远离接收机后朝向接收机运动， 回到起点，再朝向接收机后远离接收机运动，回到起点。

20)基本手势离线训练：对基本手势集中每个基本手势，多次检测经其反射的 发射机所发射的信号，得出每个基本手势的特征，存储所有基本手势的特征，建 立基本手势特征库；

所述基本手势离线训练(20)步骤包括：

21)基本手势分段：对每一种基本手势，将其完整过程分成等时长的多段；

所述基本手势分段(21)步骤中，基本手势分段数目为5～30段。

22)特征标量获取：将每段手势对应的信号特征离散化，得到各段手势的信号 特征标量；

所述特征标量获取(22)步骤具体为：

将各段信号的多次测量值取平均值或将多次测量值的中位数作为各段信号的 特征标量，各段信号特征标量采用测量值的绝对数值或仅取其符号。

所述特征标量获取(22)步骤中，所述信号特征包括信号幅度、相位、信号波 达方向或多普勒频移随手势运动的变化量。

23)特征矢量获取：将整个基本手势的信号特征标量依次组合，构成该基本手 势的信号特征矢量；

24)基本手势特征库建立：各个基本手势的信号特征矢量构成基本手势特征库。

实施例中，将基本手势分成12段，测量各段的Doppler频移值作为手势的特 征，将多次测量值取平均后得到各段的Doppler频移，由于不同用户完成同一手 势时，其特征值矢量可能存在差异，为了消除差异，取Doppler频移的符号并组 合构成各个手势的Doppler频移矢量，分别记为G₀、G₁、G₂。根据Doppler频移 特性，训练阶段测量的各个基本手势的Doppler频移矢量一种形式如下： G₀＝[111111-1-1-1-1-1-1]，G₁＝[-1-1-1-1-1-1111111]， G₂＝[111-1-1-1-1-1-1111]。上述三矢量构成基本手势特征库。

30)手势编码：将基本手势编码成与手势控制命令相对应的命令手势，构造所 述命令手势包括基本手势组合编码、检错编码和纠错编码；

所述手势编码(30)步骤包括：

31)编码模式判断：判断手势编码模式，若为非等长度编码，则转至容错编码 模式判断(33)步骤；

32)组合手势生成：使用相同数量的基本手势组合，构成组合手势，实现手势 命令到组合手势的映射。

33)容错编码模式判断：判断容错编码模式，若为纠错编码模式，则转至纠错 编码生成(35)步骤；

34)检错编码生成：对手势命令或组合手势进行检错编码，若采用等长度编码， 则组合手势检错编码的编码表中任意两个码组至少有两个码元不同，若采用非等 长度编码，则手势命令检错编码的编码表中任意两个码组或者长度不同，或者至 少有两个码元不同；

35)纠错编码生成：对手势命令或组合手势进行纠错编码，若采用等长度编码， 则组合手势纠错编码的编码表中任意两个码组至少有三个码元不同，若采用非等 长度编码，则手势命令纠错编码的编码表中任意两个码组或者长度不同，或者至 少有三个码元不同。

如图3所示，为三进制等长编码模式下一种特定手势的组合编码、检错编码 和纠错编码示意图。

等长组合编码方案：三进制等长编码模式的实施例中，图2所示三种基本手势 可组合成九种手势，九种手势可用来控制九种命令，九种手势一种可能编码为

等长检错编码方案：对上述组合编码进一步做组合手势检错编码(误操作概率 不高时，操作模式设定为检错编码，手势简单同时避免误操作)。检错编码的编码 长度为3位，即在组合编码基础上增加一位检错位。上述组合编码的一种检错编码 方法如下：

(1)将上述九种组合手势按纵向分成三组，第一组即000102。检错编码 的第一组第三位为0、1、2的不重复排列组合，共6种：000011022、 000012021、001010022、001012020、002010021、 002011020；

(2)第二、三组第三位分别为上一组第三位的循环移位，循环移位包括左移 和右移两种，且第二、三组移位方向一致，共两种实现，总共12种编码方式。

(3)上述编码方式最小距离为2：保证任意两个码组至少有两个码元不同，出 现一个码元误判决时，可以发现此错误。如在第一种编码方式下，“000”误判为 “001”时，能发现此译码错误。

根据所述方法，所有12种检错编码为：

在上述手势检错编码基础上，继续增加一位编码可实现手势纠错编码，即纠错 编码长度为4，一组纠错编码除掉第四位剩下三位构成一组检错编码。本发明实施 例以第一种纠错编码为例，说明纠错编码构造过程。用上述检错编码的其他11种 构造纠错编码的方法完全相同。

等长纠错编码方案：采用三进制(4,2)码，即编码长度为4，其中2比特信息 位。每一个检错编码按纵向分三组，第一组第四位为0、1、2的不重复排列组合， 共6种；第二、三组第四位分别为各自上一组第四位的循环移位(即第二组第四位 为第一组第四位的循环移位，第三组第四位为第二组第四位的循环移位)，第二、 三组第四位的移位方向一致，且循环移位方式正好和第三位的循环移位方式相反。 每一组检错编码最终衍生出6组纠错编码，总共72种纠错编码方式。纠错编码最 小距离为3：一组编码中任意两个编码至少有3个码元不同。

当检错编码采用12组中第一组时：

000011022

101112120

202210221

相应的6组纠错编码为：

本发明实施例中，为了便于记忆，采用第二种纠错编码

000001120221

101111201202

202221012210

此组纠错编码的特点：每个编码的第1位+第2位＝第3位，第2位+第3位＝第4 位(此处相加为模3加法)。因此，只需简单记住手势控制命令对应的命令号，其 编码方式可计算得到。如机器人控制中，“前进”对应2号命令，则组合码为01， 检错编码为011，纠错编码为0112。

非等长检错编码方案：本发明同时提供一种三进制非等长手势命令检错编码， 仍以九种手势命令为例，其检错编码后形式如下：

本发明同时提供一种二进制非等长检错编码，基本手势映射为"0"、"1"两个编 码码元。"0"、"1"的对应的手势同上。仍以九种手势命令为例，其检错编码后形 式如下：

非等长纠错编码方案：本发明同时提供一种三进制非等长手势命令纠错编码， 仍以九种手势命令为例，其纠错编码后形式如下：

本发明同时提供一种二进制非等长纠错编码，基本手势映射为"0"、"1"两个编 码码元。"0"、"1"的对应的手势同上。仍以九种手势命令为例，其组合编码和纠 错编码后形式如下：

上述二进制和三进制检错编码中，除唯一的一元编码“0”外，所有编码长度 均不小于2的任一对编码或者编码长度不同，或至少有2个码元不同，因而具有检 错能力。

同样，上述二进制和三进制纠错编码每一个在编码长度或编码码元上区别于其 他。如三进制非等长纠错编码中，编码长度唯一的一元编码“0”和唯一的二元编 码“11”，其余长度相同且编码长度不小于3的编码至少有三个码元不同，如“000” 和“111”，因而上述编码的纠错能力来源两个方面：(1)长度不小于3的编码依靠 纠错编码来纠正手势误判决；(2)长度小于3的编码依靠手势与编码长度之间的唯 一映射来避免手势误判。同时，较短编码分配给更频繁使用的控制命令。

按上述思路，稍加变化还可构造其他形式的二进制和三进制编码，本发明不再 一一列举。

40)待检命令手势信号获取：发射机发射信号，接收机接收经命令手势反射的 信号，得到待检命令手势信号；

所述待检手势信号获取(40)步骤中，发射信号包括：单音信号、双音信号、 正交频分复用信号、频率调制连续波信号。

50)命令手势信号识别：将待检命令手势信号分成多个子手势，每个子手势对 应一个未知的基本手势，通过各子手势识别实现命令手势信号识别，所述各子手 势识别为检测各个子手势的信号特征，将各子手势特征依次与基本手势特征做对 比，找出与各子手势相匹配的基本手势，这些基本手势依次组合，构成待检命令 手势信号判决结果；

手势信号识别(50)步骤中,所述子手势识别包括：

51)子手势信号分段：对每一个子手势信号，将其完整过程分成等时长的多段， 其分段数目与所述基本手势分段(21)步骤中分段数目相同，计算各个分段的信 号特征标量，按先后顺序组合成子手势信号特征矢量，并根据预先设定模式，保 留子手势信号特征矢量中各个标量的绝对数值或仅保留其符号；

52)信号特征类型判断：判断子手势信号的信号特征类型，如为测量数值的符 号，则转至范数计算(54)步骤；

53)夹角计算：计算子手势信号特征矢量与基本手势特征库中所有特征矢量的 夹角，转至手势匹配(55)步骤；

54)范数计算：计算子手势信号特征矢量与基本手势特征库中所有特征矢量之 差的范数；

55)子手势匹配：寻找基本手势特征库中与子手势信号特征矢量的夹角或与子 手势信号特征矢量之差的范数最小的基本手势，将其作为与子手势信号相匹配的 基本手势。

测量过程中子手势划分需要区分手势的开始和结束，一种已有方法在不同的手 势间停留短暂时间，以识别新手势开始，具体参考“Q.Pu,S.Gupta,S.Gollakota, andS.Patel,Whole-homegesturerecognitionusingwirelesssignals,ACM InternationalConferenceonMobileComputingandNetworking(MOBICOM), 2013”。子手势识别实施例中，对每个子手势，将子手势信号分成12段，测量各段 信号的Doppler频移值，取测量值的符号构成测量的特征矢量。分别计算测量的特 征矢量与训练阶段得到的各个基本手势的Doppler频移矢量G₀、G₁、G₂之间的距 离，Doppler频移矢量与测量的特征矢量距离最小的基本手势即为判决的手势。此 处，两矢量之间的距离定义为两矢量之差的范数。

如当基本手势为手势"0"时，测量误差导致测量的Doppler频移矢量为 G_m＝[-111111-11-1-1-1-1]。则G_m与G₀、G₁、G₂之间的距离d_0,m、d_1,m、 d_2,m分别为显然，判决测量的手势为基本手势 "0"。

60)手势信号译码：对待检手势信号判决结果进行检错译码和纠错译码，得到 与待检手势信号对应的手势控制命令。

所述手势信号译码(60)步骤包括：

61)容错编码模式判断：判断手势容错编码模式，若为纠错模式，则转至手势 纠错译码(63)步骤；

62)手势检错译码：判决手势识别是否出现错误，若发现错误则停止译码，手 势控制成为无效操作，否则译码并转至手势控制命令输出(64)步骤；

63)手势纠错译码：使用最优的最大似然译码或最小距离译码，纠正手势识别 中出现的错误，得到译码结果；

64)手势控制命令输出：将与译码结果对应的手势控制命令输出。

基本手势判决完成后，得到一组编码即原始手势编码的测量值，本发明称为“测 量码”。如果测量误差过大，使得上述基本手势判决出现偶尔误判，“测量码”将 不同于原始编码。可进一步通过手势容错译码来处理：本发明实施例给出了识别 九种手势命令的手势识别系统的一种三进制等长检错译码和纠错译码，及三进制 非等长检错译码和纠错译码的译码方法。

三进制等长检错译码：根据三进制等长检错编码表的编码特点，如下表所示， 判断“测量码”的各位数字是否满足如下关系(其中加法为模3加法)：第1位+ 第2位＝第3位？如相等，剥离第三位得到译码结果。如不相等，则给出错误提示， 当前手势操作无效。

000011022

101112120

202210221

三进制等长纠错译码：依次计算“测量码”和如下码表中所有编码的距离。距 离定义为：两个编码中对应码元不同的个数。如实际手势编码为“0000”，测量误 差导致判决的“测量码”为“0002”，“测量码”和码表

000001120221

101111201202

202221012210

中各个编码距离为：

123

342

234

则“0000”与“0002”距离最小，纠错译码得到“0000”后，剥离第三和第四位 得到译码结果。

三进制非等长检错译码：判断“测量码”的长度，当编码长度为1时，直接输 出译码结果“0”，当编码长度为2时，计算“测量码”和码表中各个二元编码的 距离，参照下面码表，此处即[001122]。若最小距离为零，直接将“测量码” 作为译码输出；若最小距离大于零，给出错误提示，基本手势判决有误。当编码 长度为3时，计算“测量码”和码表中各个三元编码[000011022101202]的 距离。若最小距离为零，直接将“测量码”作为译码输出；若最小距离大于零， 给出错误提示，基本手势判决有误。

00011

22000011

022101202

三进制非等长纠错译码：判断“测量码”的长度，当编码长度为1时，直接输 出译码结果“0”。当编码长度为2时，直接输出译码结果“11”。当编码长度为3 时，计算“测量码”和码表中各个三元编码的距离，参照下面码表，此处即 [000111222]，与“测量码”距离最小的三元编码作为译码输出。当编码长度 为4时，处理与编码长度为3时相同。

011000

1112220000

011102221012

根据译码结果，可得手势控制命令，并执行相应命令。

本发明方法中，只用少数几种基本手势，并充分利用通信中编码理论，即可 构造其他手势，避免了手势量大时繁琐的手势训练过程；当基本手势集合中的手 势数目少时，容易构造基本手势使其最小距离(即距离最小的两个手势间的距离) 较大；而手势间最小距离越大，误判概率越小；

本发明方法中，手势组合编码和检错﹑纠错编码独立于具体的系统(例如超 声波、无线电、多普勒或信号幅度)，具有普适性；

手势数字化后，可使用数字通信中纠错编码技术，当无线信道衰落、干扰的 影响或人为误操作，导致基本手势判决中出现偶尔的误判时，可纠正误判，保证 正确的手势识别。

从而，采用本发明基于手势编码与译码的动态无线手势识别方法，对无线手势 的识别概率高，可靠性好，且可用于多种无线手势识别系统。