笔记本手写识别方法及其手写输入系统

摘要

一种手写识别技术领域的笔记本手写识别方法及其手写输入系统，包括：声波信号处理模块、轨迹追踪优化模块和字符识别模块，其中：声波信号处理模块采集内置音频设备发出的声波信号，声波信号处理模块与轨迹追踪优化模块相连并输出修正后的声波信号，轨迹追踪优化模块与字符识别模块相连并输出虚拟写字板平面内手部运动优化轨迹，字符识别模块对手部运动优化轨迹进行字符识别。本发明由现有笔记本中两个扬声器和一个麦克风的内置音频设备提供声波信号，捕捉声波信号，获得用户手部在虚拟写字板上移动的轨迹，最终实现字符识别输入。

说明书

技术领域

本发明涉及的是一种手写识别领域的技术，具体是一种笔记本手写识别方法及其手写输入系统。

背景技术

基于触摸屏的人机交互应用在日常生活中扮演着日益重要的角色。然而，人们在工作和生活中应用最为广泛的移动设备之一，笔记本电脑，却因为硬件的限制无法使用该类型的应用，但是另一方面，基于笔记本电脑的无线控制与轨迹追踪技术则能够提高在笔记本上部署该类应用的可能性，从而优化用户的使用体验。

关于商用笔记本电脑的无线控制与轨迹追踪技术，大致可以分为声波控制型、图像控制型、网络信号控制型和运动传感器控制型。上述四种技术存在两个主要问题，其一是要求特定的使用环境，其二是对硬件设备有一定要求，其中：声波控制型轨迹追踪技术需要特定位置的音频设备，以提供足够的声波信号；图像控制型轨迹追踪技术需要合适的光照环境，对设备要求苛刻；网络信号控制型轨迹追踪技术需要用户的使用环境中有大量的无线信号存在，或者需要自行携带特制的无线信号发生器；运动传感器控制型轨迹跟踪技术需要用户另外购买并佩戴特制的运动传感器。

发明内容

本发明针对现有技术存在的上述不足，提出了一种笔记本手写识别方法及其手写输入系统，由现有笔记本中两个扬声器和一个麦克风的内置音频设备提供声波信号，捕捉声波信号，获得用户手部在虚拟写字板上移动的轨迹，最终实现字符识别输入。

本发明是通过以下技术方案实现的，

本发明涉及一种笔记本手写识别方法，包括以下步骤：

S₁，在手部运动过程中，对笔记本内扬声器和麦克风的声波信号扰动进行信号采集，接着通过伪峰筛除算法剔除环境噪音和设备噪音引起的信号扰动，然后通过频率峰加权算法计算频率偏移量Δf；

S₂，对基于经伪峰筛除算法修正的声波信号进行手部运动水平方向轨迹追踪，在反射声波能量增强时，确定手部运动在虚拟写字板平面内的水平区域位置，并根据手部水平区域位置的前后变化确定手部水平位移在此基础上，进行手部运动垂直方向轨迹追踪，获得手部垂直运动位移最后将手部水平运动位移与垂直运动位移结合在一起，得到手部在虚拟写字板平面内的运动位移将单位时间内的运动位移进行累加获得手部运动轨迹，然后通过向量机算法获得手部运动优化轨迹；

S₃，设定初始字符库，根据笔画方向定义笔画类别并确定初始字符库中各字符的标准笔画序列，将基于手部运动优化轨迹的笔画序列与任一字符标准笔画序列通过加权最小编辑距离算法进行比较，计算出当前手部运动可能对应的数个标准字符供选择。

所述的虚拟写字板平面为笔记本麦克风与两个扬声器之间，垂直于键盘且平行于笔记本显示器的一个二维平面；

所述的虚拟写字板平面的选取与手部运动的位置接近，对于运动轨迹、声波能量信息与频率特性的影响可忽略不计。

所述的声波信号通过大窗口、小步长的滑动窗口覆盖傅里叶变换方法进行采集，以保证精度和实时性。

所述的伪峰筛除算法是指，基于多普勒原理检测手部不同反射面反射的、在多个频率位置上出现的声波信号，根据声波信号能量强度变化设定能量强度阈值，过滤由环境噪音和设备噪音产生的特定频率声波，从而筛除伪峰保留体现手部运动能量信息和频率特征的声波信号。

所述的频率偏移量Δf＝f-f₀，其中：f₀为扬声器发出的声波频率，f为麦克风接收的声波频率，f_i为各频率峰对应的反射声波频率，E_i为与f_i对应的反射声波能量。

所述的确定手部运动在虚拟写字板平面内的水平区域位置是指根据声波波动特性，将笔记本中两个扬声器发出的声波分别定义为频率1信道和频率2信道，各信道在虚拟写字板平面某一区域的反射声波能量与该区域无手部运动时参考声波能量的差距作为置信系数的阈值区间，根据手部运动过程中反射声波能量与参考声波能量差距与置信系数的阈值区间进行比较，确定手部运动的水平区域位置。

所述的频率1信道对应的置信系数为c₁，频率2信道对应的置信系数为c₂，c₁、c₂越接近1说明该信道反射声波能量越弱，c₁、c₂越接近0说明该信道反射声波能量越强；通过训练确定不同使用环境下虚拟写字板平面内不同水平区域位置的c₁、c₂阈值区间。

所述的手部运动过程中：

其中：v_h表示手部运动速度在水平方向上的分量，v_v表示手部运动速度在垂直方向上的分量，v_ph表示单位时间内v_h导致的声波传播路径长度的改变量，v_pv表示单位时间内v_v导致的声波传播路径长度的改变量，(x，h)为手部在虚拟写字板平面上的坐标，L表示某个扬声器与麦克风之间的间距，α为该扬声器与麦克风相连形成的直线与虚拟写字板平面的夹角；

进一步计算得到手部运动在虚拟写字板平面上位置变化的二维速度向量其中：为虚拟写字板平面水平方向上的单位向量，为虚拟写字板平面垂直方向上的单位向量，对二维速度向量进行积分，即可获得手部运动轨迹。

所述的向量机算法为：

1)设置状态机，所述的状态机中包括一个计数器和一个状态器，初始值均设为0，状态机用于记录手部运动方向；

2)状态器记录t时刻的手部运动方向，并与检测到的t+1时刻的手部运动方向进行比较，若前后运动方向相同，则触发行为1：将计数器的值归零，状态器记录的手部运动方向不变；若前后运动方向相反，且计数器的值小于阈值N，则触发行为2：将计数器的值加一，状态器保持t时刻状态不变；否则触发行为3：将计数器的值归零，状态器记录t+1时刻的手部运动方向。

所述的状态机分为水平方向状态机和垂直方向状态机。

所述的笔画以该笔画的起点作为圆心画圆，将圆等分为八份并进行逆时针编号，依次定义八个区域为类别1至类别8，其中：类别1向右、类别5向左且均被经过圆心的水平直线平分，类别3向上、类别7向下且均被经过圆心的竖直直线平分。

所述的加权最小编辑距离算法是指对基于手部运动优化轨迹的笔画序列进行增加、删除或加权替换类别的操作，使两个序列完全一致所需的操作次数。

所述增加、删除的操作权重均为1；

所述加权替换的操作权重n₀表示被替换笔画的类别，n₁表示用于替换的笔画的类别。

本发明涉及一种基于上述方法的手写输入系统，包括：声波信号处理模块、轨迹追踪优化模块和字符识别模块，其中：声波信号处理模块采集内置音频设备发出的声波信号，声波信号处理模块与轨迹追踪优化模块相连并输出修正后的声波信号，轨迹追踪优化模块与字符识别模块相连并输出虚拟写字板平面内手部运动优化轨迹，字符识别模块对手部运动优化轨迹进行字符识别。

所述的字符识别模块与笔记本显示器相连并输出字符识别结果。

技术效果

与现有技术相比，本发明利用现有笔记本中两个扬声器和一个麦克风的内置音频设备提供声波信号，对使用环境的要求简单且无需增加高精度运动传感器、便携式红外线摄像头等额外的硬件设备，能够充分利用声波信号的能量特征和频率特性，对手部运动的二维轨迹进行摹刻和识别，用途广泛，使用便捷，易于部署；本发明易于复制和重现，适用于多种主流笔记本信号，受环境干扰和影响较小。

附图说明

图1为本发明示意图；

图2为本发明中手部水平运动示意图；

图3为本发明中手部垂直运动示意图；

图4为本发明中滑动窗口覆盖傅里叶变换的示意图；

图5为本发明中伪频率峰筛选示意图；

图6为本发明中置信系数与水平区域位置关系示意图；

图7为本发明中笔画类别示意图；

图8为本发明中部分典型字符手部运动优化轨迹和标准轨迹比较图；

图中：(a)为大写字母L，(b)为小写字母a，(c)为特殊字符Δ，(d)为数字2；

图9为本发明的识别准确率统计图；

图10为本发明的轨迹误差统计图；

图11为本发明系统示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

本实施例的应用场景：选取屏幕大小为14英寸的LenovoV470以及屏幕大小为15.6英寸的LenovoY550作为手写输入系统的原型机，采集的数据量为10位用户，每位用户在每台原型机上针对70个常用字符，分别书写2次，共计书写140次。

如图1所示，一台笔记本中：左侧扬声器发射16KHz频率的声波为频率1信道，右侧扬声器发射17KHz频率的声波为频率2信道。

本发明涉及一种笔记本手写识别方法，包括以下步骤：

S₁，在手部运动过程中，对笔记本内扬声器和麦克风的声波信号扰动进行信号采集，接着通过伪峰筛除算法剔除环境噪音和设备噪音引起的信号扰动，然后通过频率峰加权算法计算频率偏移量Δf；

S₂，对基于经伪峰筛除算法修正的声波信号进行手部运动水平方向轨迹追踪，在反射声波能量增强时，确定手部运动在虚拟写字板平面内的水平区域位置，并根据手部水平区域位置的前后变化确定手部水平位移在此基础上，进行手部运动垂直方向轨迹追踪，获得手部垂直运动位移最后将手部水平运动位移与垂直运动位移结合在一起，得到手部在虚拟写字板平面内的运动位移将单位时间内的运动位移进行累加获得手部运动轨迹，然后通过向量机算法获得手部运动优化轨迹；

S₃，设定初始字符库，根据笔画方向定义笔画类别并确定初始字符库中各字符的标准笔画序列，将基于手部运动优化轨迹的笔画序列与任一字符标准笔画序列通过加权最小编辑距离算法进行比较，计算出当前手部运动可能对应的数个标准字符，并显示在笔记本显示屏上供选择。

所述的声波信号通过大窗口、小步长的滑动窗口覆盖傅里叶变换方法进行采集，以保证精度和实时性；避免传统分析中，单次采集样本越多，则信息的精度越强、实时性越低，反之则信息的实时性越高、精度越低的问题；如图4所示，本实施例中一次高精度的离散傅里叶变换需要65536个采样点，采样窗口为0.9s，步长为0.1s，每次采样用0补全25536个采样点。

如图5所示，在手部运动过程中，手部不同的反射面对声波进行反射会产生特定频率的反射声波：主反射面面积最大、反射的声波能量最强，称为主频率峰；其他反射面面积较小、反射的声波能量次之，称为辅助频率峰；环境噪音和设备噪音在各反射面所反射的声波能量较弱，称为伪峰；通过训练可以确定不同使用环境中反射声波的阈值，从而排除伪峰干扰。

所述的频率偏移量Δf＝f-f₀，其中：f₀为扬声器发出的声波频率，f为麦克风接收的声波频率，f_i为各频率峰对应的反射声波频率，E_i为与f_i对应的反射声波能量；

如图6所示，将虚拟写字板平面沿水平方向均匀划分成n＝8个区域，每个区域对应的置信系数c₁和c₂处于一定的阈值区间中；在手部运动过程中确定某一时刻反射声波能量与各区域参考声波能量的差距是否处于置信系数c₁和c₂的阈值区间内，从而确定该时刻手部位于虚拟写字板平面内的水平区域位置。

由于普通商业笔记本的硬件限制，当手部在左半侧或者右半侧移动时仅有一组声波信号能够提供有效信息；如图2和图3所示，本实施例以左半侧的一组声波信号为例进行字符识别，所述的手部运动过程中：

其中：v_h表示手部运动速度在水平方向上的分量，v_v表示手部运动速度在垂直方向上的分量，v_ph表示单位时间内v_h导致的声波传播路径长度的改变量，v_pv表示单位时间内v_v导致的声波传播路径长度的改变量，(x，h)为手部在虚拟写字板平面上的坐标，L表示扬声器与麦克风之间的间距，α为扬声器与麦克风相连形成的直线与虚拟写字板平面的夹角；

进一步计算得到手部运动在虚拟写字板平面上位置变化的二维速度向量其中：为虚拟写字板平面水平方向上的单位向量，为虚拟写字板平面垂直方向上的单位向量，对二维速度向量进行积分，即可获得手部运动轨迹。

所述的向量机算法为：

1)设置状态机，所述的状态机中包括一个计数器和一个状态器，初始值均设为0，状态机用于记录手部运动方向；

2)状态器记录t时刻的手部运动方向，并与检测到的t+1时刻的手部运动方向进行比较，若前后运动方向相同，则触发行为1：将计数器的值归零，状态器记录的手部运动方向不变；若前后运动方向相反，且计数器的值小于阈值N，则触发行为2：将计数器的值加一，状态器保持t时刻状态不变；否则触发行为3：将计数器的值归零，状态器记录t+1时刻的手部运动方向；阈值N为通过训练得到的经验值，与用户的操作习惯、笔记本尺寸等有关。

所述的状态机分为水平方向状态机和垂直方向状态机；所述的状态机只记录长时间稳定的手部运动，抛弃短时间内紊乱的手部运动，以防止用户手部抖动导致的误差；一般用户手部抖动会导致短时间内若干次改变手部运动方向，故用户手部抖动导致的手部运动方向改变将不会被记录下来。

如图7所示，所述的笔画以该笔画的起点作为圆心画圆，将圆等分为八份并进行逆时针编号，依次定义八个区域为类别1至类别8，其中：类别1向右、类别5向左且均被经过圆心的水平直线平分，类别3向上、类别7向下且均被经过圆心的竖直直线平分。

所述的加权最小编辑距离算法是指对基于手部运动优化轨迹的笔画序列进行增加、删除或加权替换类别的操作，使两个序列完全一致所需的操作次数。

所述增加、删除的操作权重均为1；

所述加权替换的操作权重n₀表示被替换笔画的类别，n₁表示用于替换的笔画的类别。

如图11所示，本发明涉及一种基于上述方法的手写输入系统，包括：声波信号处理模块、轨迹追踪优化模块和字符识别模块，其中：声波信号处理模块采集声波信号，声波信号处理模块与轨迹追踪优化模块相连并输出修正后的声波信号，轨迹追踪优化模块与字符识别模块相连并输出虚拟写字板平面内手部运动优化轨迹，字符识别模块对手部运动优化轨迹进行字符识别。

所述的字符识别模块与笔记本显示器相连并输出字符识别结果。

如图8所示为选取的类型不同的四个字符的识别，包括：大写字母L、小写字母a、特殊字符Δ和数字2，其中：黑色线框部分为字符标准轨迹，黑色直线部分为经优化的轨迹，黑色虚线部分为未经优化的原始轨迹；因此可以定性地判断，本发明实施例可以真实摹刻用户手部运动轨迹，从而实现字符的准确识别。

如图9所示，本实施例在进行大写字母、小写字母、特殊字符和数字的手写识别时，经笔画序列比较后推荐的字符数量分别为1个、2个和3个时，本发明实施例的识别准确率、精度、召回率与F1-统计值，因此可以定量地判断，本发明实施例具有较高的识别准确率，符合通用手写输入法的要求。

如图10所示的本发明实施例字符输入误差统计，在14英寸屏幕下80％的轨迹误差小于2.1厘米，在15.6英寸屏幕下80％的轨迹误差小于2.5厘米，平均误差小于1.80厘米，达到了较小的轨迹误差，精确性较高。