3D手写识别SVM分类器核参数选取方法及用途

摘要

本发明公开了一种3D手写识别SVM分类器核参数选取方法。该方法通过改进萤火虫群优化算法(GlowwormSwarmOptimization,GSO)中萤火虫的位置更新公式，并且在个体移动过程中引入亮度特征大幅提高了算法的正确率与收敛性，从而选择出最佳的SVM核函数参数，构造出性能优异的分类器。利用本发明的方法，可以构建性能更好的3D手写识别系统，有效地提高3D手写识别系统的识别率。

说明书

技术领域

本发明属于3D手写识别技术领域，特别涉及3D手写识别技术中的SVM分类器优化的问题。

背景技术

手写识别技术是在人机交互技术趋势下逐渐发展形成的一门热门技术。对比传统的平面手写识别，3D手写识别是目前一种新兴的手写识别技术，可以提供给用户一种更加自然和高效的人机交互体验，在这些年逐渐成为了手写识别技术的研究热点，是今后手写识别的发展趋势。

一直以来，SVM分类器的核函数参数优化问题是3D手写识别过程的关键技术，核函数的性能对于最后的识别正确率有着重要的影响。传统的SVM核函数参数选取方法包括网格搜索法与交叉验证法，这两种方法的优点是算法实现较为简单，但同时也暴露出训练出来的分类器识别精度偏低的缺陷，也不能够满足对于3D手写识别正确率的要求。近年来随着群智能算法的崛起，学者们开始研究如何将群智能算法应用于SVM核函数领域。目前常见的应用于SVM核函数领域的群智能算法包括遗传算法、粒子群算法和蛙跳算法。遗传算法的特点是对目标函数要求不高，局部性能较好，但是对初值敏感，算法精度偏低；粒子群算法的特点是收敛速度快，全局性能好，但是其局部性能较差，很容易陷入局部极值，出现早熟现象；蛙跳算法的特点是鲁棒性较好，但是算法精度偏低，并且实现复杂。以上算法都在不同程度上满足了SVM核函数参数选取的要求，但是对于全局与局部性能的平衡，以及鲁棒性、简易性和计算精度的兼顾上仍有欠缺，在3D手写识别系统中的识别效果不是很理想。

2005年，Krishnanand与Ghose提出了萤火虫算法(Glowworm SwarmOptimization,GSO)。萤火虫算法是新一批崛起的群智能算法的代表，以其极强的局部与全局优化性能、较高的鲁棒性等天然优势受到了学者的广泛关注，目前已成功应用于多模态函数优化、传感器的噪声测试、有害气体泄露定位和计算机模拟人工机器人等人工智能领域。在基本萤火虫算法中，发光越亮的萤火虫所在位置的目标函数值越优，每只萤火虫都拥有自己的视野范围，在视野范围内依靠动态决策来选择比自己亮度高的萤火虫结为邻居并决定移动方向。这种依赖于局部信息搜索的机制使得萤火虫算法整体上不易陷于局部极值点并且因为动态决策域的存在，鲁棒性都得到保证，同时萤火虫个体倾向于向最优位置、荧光最亮个体移动，最优个体随机移动，寻找更优位置，从而使整个群体形成正反馈，全局寻优能力大大增强，因此理论上很适合组合参数式（类似于SVM核参数的惩罚因子和高斯径向基宽度的参数组合）的全局优化过程。但是萤火虫算法收敛速度还不够快，算法后期会出现的收敛不稳定现象，这些缺点限制了萤火虫算法在3D手写识别中的应用。

发明内容

本发明的目的是提供一种3D手写识别SVM分类器核参数选取方法及用途，从而构建性能更加优良的3D手写识别系统，进而可以有效地提高3D手写识别系统的识别率。

本发明的技术方案如下：

3D手写识别SVM分类器核参数选取方法，核参数选取过程包括以下步骤：

1）加速度传感器采集数据：采用三维加速度传感器评估板进行数据的采集；

2）预处理：预处理阶段使用卡尔曼滤波方法滤除环境因素带来的手抖、温度噪声，同时对因为书写者的书写顺序与姿势不同带来的差异进行数据归一化；

3）特征提取：提取旋转特征作为时域特征，提取快速傅氏变换特征作为频域特征；采用串行方法进行时域和频域特征融合，得到时频域融合特征；利用主成分分析和线性鉴别分析组合算法降维；

4）SVM分类识别：识别部分选用径向基核函数作为训练函数，首先设定惩罚因子和径向基核函数宽度的变化范围，构成解空间，将萤火虫随机分布在解空间中，在每次迭代过程中通过改进位置更新机制并参考亮度因素进行位置更新，算法的最优解即代表SVM核参数的最佳值，最后利用3D手写特征样本和优化过的核函数训练出最佳的SVM分类器，从而对新的3D手写数据进行高精度的分类判断。

步骤4）中所述的位置更新机制的公式如下所示：

$>x_i(t+1)=x_i\left(t\right)+l_j\left(t\right)*{\beta }_0{e}^{-\gamma r_{\mathrm{ij}}^2}(r_j-x_i)+\alpha *(\mathrm{ramd}-1/2)$>

该公式表示当在视野范围内遇到比自己亮的萤火虫时，利用彼此之间的距离参考空间能见度，形成一个高亮度个体对低亮度个体的吸引力，并且使用常量e来加速收敛；其中β₀表示距离为0时的吸引力，γ为光强吸收系数，荧光会随着距离的增加和传播媒介的吸收而减弱，e为数学常量，表示两只萤火虫之间的欧几里得距离的平方，构成了相互靠近的两只萤火虫之间的吸引力，乘上两点之间的距离(x_j-x_i)则表示萤火虫移动的步伐量，α是步长因子，是[0,1]上的常量，rand为[0,1]上服从均匀分布的随机因子，x表示萤火虫的位置，t表示当前迭代的次数，i表示萤火虫种群中第i只萤火虫，l_j(t)表示第j只萤火虫的亮度。

一种所述的3D手写识别SVM分类器核参数选取方法的用途，用于3D手写识别。

与现有技术相比，本发明的有益效果是：本发明的3D手写SVM分类器核参数选取方法，克服了传统核参数选取算法中出现的选取速度慢、局部搜索性能差、易陷入局部最优的缺陷，从而训练出更好的分类器模型。通过改进萤火虫位置更新公式并在萤火虫个体的位置更新过程中添加亮度因素，使得算法初期当所要移向的萤火虫亮度越高时，移动速度越快，在算法后期由于亮度值接近，移动速度减慢，从而能够在最佳位置附近进行微调。弥补了算法因为移动过程中固定步长造成精度下降的缺陷，同时提高了算法收敛速度，以上的算法改进策略能够有效地选取出SVM核参数，构造出性能优异的分类器，大大提高了手写识别系统的识别率。

附图说明

图1是本发明的SVM分类识别的位置更新机制示意图；

图2是本发明的3D手写识别系统框图；

图3是本发明的SVM核参数选取的流程图。

具体实施方式

本发明主要涉及SVM核参数选取的算法改进，如图1所示，表现出在位置更新时加入亮度因素会影响移动步长的大小；结合图1说明选取SVM核参数具体过程如下：

在基本萤火虫算法中，首先在解空间中随机分布n只萤火虫，每只萤火虫都拥有自己的亮度初值，而它们的亮度高低是与目前所处位置的函数值有关的，位置越好，则亮度越高。每只萤火虫都拥有一个视线范围（也称为动态决策域）,在该视线范围内寻找比自己亮度高的萤火虫，并形成邻居集合，然后通过轮盘概率法选择出相对亮度最高的那只萤火虫并向其移动。移动完毕后更新自己的亮度、位置与动态决策域，以寻找下一个合适的萤火虫。整个算法的迭代流程分为：亮度更新阶段、位置更新阶段以及动态决策域更新阶段。

(1)亮度更新阶段:

亮度值按照如下公式进行更新：

$>l_i\left(t\right)=(1-\rho )l_i(t-1)+\gamma J_i\left(t\right)$>

其中l_i(t)表示第t次迭代时的亮度值，ρ是荧光素消失率，γ表示适合度影响参数，J_i(t)表示第i只萤火虫在第t次迭代的适应度值。

(2)位置更新阶段:

在此阶段中，萤火虫首先在其视野范围中选择出亮度比自己高的萤火虫组成邻居集合，公式为：

$>N_i\left(t\right)=\{j:d_{\mathrm{ij}}\left(t\right)<r_d^i\left(t\right);l_i\left(t\right)<l_j\left(t\right)\}$>

j表示邻居中的一员，d_ij(t)表示萤火虫i和萤火虫j在t次迭代的距离，表示萤火虫i在t时刻的动态决策域。

之后根据轮盘概率公式选择出要移向的萤火虫，公式为：

$>p_{\mathrm{ij}}=\frac{l_j\left(t\right)-l_i\left(t\right)}{\underset{k\in N_i\left(t\right)}{\Sigma }{l}_k\left(t\right)-l_i\left(t\right)}$>

p_ij表示萤火虫i向萤火虫j移动的概率，相对来说亮度越高的萤火虫，被选择到的概率越大。

在选择好所需的同伴后，依据下式开始进行位置更新:

$>x_i(t+1)=x_i\left(t\right)+s\left(\frac{x_j\left(t\right)-x_i\left(t\right)}{\left|\right|x_j\left(t\right)-x_i\left(t\right)\left|\right|}\right)$>

其中s表示移动的步长，||x_j(t)-x_i(t)||表示两只萤火虫间的欧式距离。

(3)动态决策域更新阶段

动态决策域相当于萤火虫的视野范围，在该范围中，如果同伴数量过多，则缩小决策域；反之则扩大决策域，公式为：

$>r_d^i(t+1)=\min \{r_s,\max \{0,r_d^i\left(t\right)+\beta (n_t-|N_i\left(t\right)\left|\right)\left\}\right\}$>

其中r_s是初始的视野最大值，β控制决策域的大小，n_t是邻居数的阈值。

依据当前一些研究成果以及经过实验发现，基本萤火虫算法存在着算法早期收敛速度较慢，后期由于收敛不稳定导致算法精度得不到提高。收敛速度慢以及收敛不稳定现象的出现主要是由于位置更新阶段中固定步长造成的。固定步长造成算法早期萤火虫个体不能最快速度的靠近亮度高的同伴，同时在算法后期萤火虫之间的亮度差值减小，位置比较接近，原先的步长使得萤火虫个体始终无法向最亮的那只进一步靠近从而造成不稳定现象，影响了算法精度。针对此情况，本发明改进了基本萤火虫算法的位置更新公式，并在萤火虫移动过程中加入亮度特征，形成如下位置更新公式：

$>x_i(t+1)=x_i\left(t\right)+l_j\left(t\right)*{\beta }_0{e}^{-\gamma r_{\mathrm{ij}}^2}(x_j-x_i)+\alpha *(\mathrm{rand}-1/2)$>

该公式表示当在视野范围内遇到比自己亮的萤火虫时，利用彼此之间的距离参考空间能见度，形成一个高亮度个体对低亮度个体的吸引力，并且使用常量e来加速收敛。在收敛过程中参考所要靠近萤火虫的亮度，当对方萤火虫越亮时，则低亮度萤火虫便会大步长向其靠近，反之减小。其中β₀表示距离为0时的吸引力，γ为光强吸收系数，荧光会随着距离的增加和传播媒介的吸收而减弱。e为数学常量，值大约为1.71828，e的指数次方在数学中收敛速度最快，算法也希望e能够加速位置收敛的速度。表示两只萤火虫之间的欧几里得距离的平方，距离计算公式为：

$>r_{\mathrm{ij}}=\left|\right|x_j-x_i\left|\right|\sqrt{{\Sigma }_{k=1}^d}{(x_{i,k}-x_{j,k})}^2$>

物理中存在着光与距离的平方成反比的概念，当两只萤火虫靠的越近时光强系数越大，能见度越好，则彼此间的吸引力越大。构成了相互靠近的两只萤火虫之间的吸引力，乘上两点之间的距离(x_j-x_i)则表示萤火虫移动的步伐量。在移动完毕后，在附近区域内做一个随机扰动，α是步长因子，是[0,1]上的常量，rand为[0,1]上服从均匀分布的随机因子。

可以看出当对方萤火虫亮度越大时，移动步长也会越大，算法早期的收敛速度得到提升，在算法后期随着相对亮度的减小，移动步长也会相应减小，从而能够在最佳位置处进行微调，避免了收敛不稳定现象发生。

本发明的3D手写识别系统框图如图2所示，具体的实施方式步骤包括：

1.获取原始数据：本发明采用ADI公司的三维加速度传感器评估板EVAL-ADXL345Z-M进行数据的采集，实验对象是10个阿拉伯数字0、1、2、3、4、5、6、7、8、9。字符样本数据集的采集工作由同一实验室的20名同学完成：每个阿拉伯数字均收集180组样本数据，即这20名试验者可以按照自己的书写习惯利用三维加速度传感器在空中自由书写0、1、2、3、4、5、6、7、8、9这10个数字各9次。

2.预处理：预处理阶段使用卡尔曼滤波方法滤除一些环境因素带来的比如手抖、温度等噪声，同时对因为书写者的书写顺序与姿势不同带来的差异进行数据归一化。

3.特征提取：由于3D加速度传感器的空间信号能量变化主要集中在低频分量部分，因此首先利用WPD小波包分解提取出空间手写字符的低频分量，再利用FFT对WPD小波包分解得到的低频分量进行变换从而提取出WPD+FFT特征，与时域特征STE融合后特征维数为432，最后采用主成分分析方法将维数降到50维，通过实验发现此时的向量能够很好地表现空间手写的时频域特征信息。

4.分类识别：如图3所示，在得到的每个数字180组样本数据库中，通过随机抽取的方法，各抽取其中的144组样本数据作为支持向量机的训练样本数据，将每个数字剩下的36组样本数据作为其测试样本。首先是选取SVM核函数参数，步骤如下：(1)初始化每个萤火虫的荧光素、动态决策域等参数，设置最大迭代次数为和萤火虫初始位置，初始位置随机分布在预先设定好的参数选择范围内。位置的x轴范围是c_min～c_max，y轴范围是σ_min～σ_max。(2)按照亮度公式进行亮度的更新，其中适应度值是依据X(i,1)和X(i,2)进行svmtrain得到的训练值。(3)求得每只萤火虫的邻居集合。(4)随机选取邻居集合内的第j只萤火虫作为移动的方向。(5)计算更新后位置的svmtrain训练值，若新位置的训练值优于原先位置的训练值，则用新位置替换原位置，否则原位置不变。(6)更新动态决策域。(7)回到步骤2进行循环，若已经到达最大循环次数，则终止循环，输出结果，程序结束。经过上述的7个步骤选取出最佳的SVM核函数参数，然后用3D手写特征样本进行训练，得到性能的分类器，最后对3D手写数据进行分类判断。实验结果显示，采用本发明的方法得到的基于三维加速度传感器的3D手写系统的识别率高达96.42%，高于采用交叉验证法和网格搜索法的90.94%的识别率。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。