一种基于李群结构数据的手写体数字识别方法及系统

摘要

本发明实施例提供一种基于李群结构数据的手写体数字识别方法及系统。所述方法从原始的手写体数字图像数据中提取对应的李群结构数据，通过构造矩阵高斯核函数，利用支持向量机算法训练出分类器模型，将待测手写体数字图像数据对应的李群结构数据，分别输入到训练得到的分类器模型中，得到对应的数字类别，从而对待测手写体数字图像数据对应的李群结构数据进行非线性特征的捕获，更好的实现了手写体数字识别。

说明书

技术领域

本发明涉及手写体数字识别技术领域，更具体地说，涉及一种基于李群结构数据的手写体数字识别方法及系统。 

背景技术

近年来随着计算机技术和数字图像处理技术的飞速发展，手写体数字识别技术在大规模数据统计，邮件分拣，财务、税务和金融领域中得到了广泛的应用，于此同时，随着机器学习技术的普及应用，很多物理学家和化学家开始广泛使用李群理论研究相关领域的数据。相应的，在手写体数字识别技术领域，李群结构数据以其良好的数学结构已被广泛应用。 

目前，基于李群结构数据的手写体数字识别一般都是通过分类算法建立分类器模型，从而对手写体数字图像的李群结构数据进行分类处理，得到分类器输出结果，进而依据分类器的输出结果获得手写体数字的识别结果。现有技术常用的分类算法为李群Fisher算法，李群Fisher算法需对原始的李群结构数据进行一个线性变换投影，使得同类数据尽量投影到一起，不同类数据尽可能地远离，虽然投影后的数据具有很好的可分性，但采用线性分类方法的李群Fisher算法必然不能捕获李群结构数据的非线性特征，这就造成李群Fisher算法在处理李群结构数据的非线性特征上存在一定缺陷。 

发明内容

有鉴于此，本发明提供一种基于李群结构数据的手写体数字识别方法及系统，以解决现有的手写体数字识别技术在处理李群结构数据的非线性特征上存在的缺陷，以实现李群结构数据的非线性处理。 

为实现上述目的，本发明提供如下技术方案： 

一种基于李群结构数据的手写体数字识别方法，包括步骤： 

A.从原始的手写体数字图像数据中提取对应数量的李群结构数据； 

B.将李群结构数据与其对应的手写体数字图像数据的类别标签的对应关系作为训练样本，得到与所述对应数量的李群结构数据相对应的训练样本集合，同时构造处理李群结构数据的矩阵高斯核函数： 

$k(z_a,z_b)=e^{-p\times {\left|\right|z_a-z_b\left|\right|}_F^2},$所述z_a和z_b表示任意两个李群结构数据，p＞0为核函数，‖‖_F为矩阵范数； 

C.利用支持向量机算法，以所述矩阵高斯核函数为核函数，输入训练样本，训练得到分类器模型； 

D.将待测手写体数字图像数据对应的李群结构数据，分别输入到训练得到的分类器模型中，得到对应的数字类别。 

本发明还提供一种基于李群结构数据的手写体数字识别系统，包括： 

李群结构数据提取模块，用于从原始的手写体数字图像数据中提取对应数量的李群结构数据； 

预处理模块，用于将李群结构数据与其对应的手写体数字图像数据的类别标签的对应关系作为训练样本，得到与所述对应数量的李群结构数据相对应的训练样本集合，同时，构造处理李群结构数据的矩阵高斯核函数： 

$k(z_a,z_b)=e^{-p\times {\left|\right|z_a-z_b\left|\right|}_F^2},$所述z_a和z_b表示任意两个李群结构数据，且a≠b，p＞0为核函数，‖‖_F为矩阵范数； 

模型训练模块，用于利用支持向量机算法，以所述矩阵高斯核函数为核函数，输入训练样本，训练得到分类器模型； 

分类模块，用于将待测手写体数字图像数据对应的李群结构数据，分别输入到训练得到的分类器模型中，得到对应的数字类别。 

基于以上技术方案，本发明实施例通过构造矩阵高斯核函数，利用支持向量机算法处理李群结构数据，借助支持向量机算法在识别小样本、非线性及高维模式下图像的优势，实现了李群结构数据的非线性处理。 

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 

图1为本发明一种基于李群结构数据的手写体数字识别方法的流程图； 

图2为李群均值算法，李群Fisher算法和本发明方法对数字1和7的分类性能的对比图； 

图3为李群均值算法和本发明方法对数字1，7和9的分类性能的对比图； 

图4为李群均值算法和本发明方法对数字1，2，7和9的分类性能的对比图； 

图5为本发明一种基于李群结构数据的手写体数字识别系统的结构框图； 

图6为本发明模型训练模块的结构框图； 

图7为本发明分类模块的结构框图。 

具体实施方式

发明人通过研究发现支持向量机算法具有结构风险最小化和良好的泛化能力等优点，采用支持向量机算法实现基于李群结构数据的手写体数字识别，能够解决手写体数字在小样本、非线性及高维模式下的识别问题，从而解决现有手写体数字识别技术在捕获李群结构数据的非线性特征上存在的缺陷。但是发明人通过研究还发现由于李群结构数据为矩阵数据而不是矢量数据，目前标准应用的支持向量机算法并不支持矩阵数据的处理，因此目前标准应用的支持向量机法并无法对李群结构数据进行处理。 

发明人通过更进一步的研究后发现可通过构造矩阵高斯核函数，利用支持向量机算法，建立相应的分类器模型，对李群结构数据进行分类处理，进而实现本发明的目的。 

结合上述本发明思想，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 

图1为本发明一种基于李群结构数据的手写体数字识别方法的流程图。参照图1，该方法可以包括： 

步骤S100、从原始的手写体数字图像数据中提取对应数量的李群结构数据； 

为便于描述，本发明实施例中用x表示手写体数字图像数据，用z表示李群结构数据，且设原始的手写体数字图像数据x的个数为l(l为整数，且l≥1)，则原始的手写体数字图像数据x分别为x₁，...x_l，对应数量的李群结构数据为z₁，...z_l； 

以一个手写体数字图像数据提取李群结构数据为例，设rv为参考向量，在x图像数据的笔画区域上随机取k个点，构成k个向量$v_i=\left(\begin{array}{c}{r}_i\\ n_i\end{array}\right),$i＝1，...，k，r_i表示向量的模长，n_i是v_i的方向，且‖n_i‖＝1＝M_i×rv，$M_i=\left(\begin{array}{cc}{e}^{\mathrm{ai}}& e^{-\mathrm{\theta i}}\\ e^{\mathrm{\theta i}}& e^{\mathrm{ai}}\end{array}\right),$其中‖‖表示该向量的模长，则可得到手写体数字图像数据样本x所对应的李群结构数据z为： 

步骤S200、将李群结构数据与其对应的手写体数字图像数据的类别标签的对应关系作为训练样本，得到与所述对应数量的李群结构数据相对应的训练样本集合，同时构造处理李群结构数据的矩阵高斯核函数； 

设y为手写体数字图像数据x的类别标签，y∈{1，...c}，c为手写体数字图像数据x的类别数，则将提取的李群结构数据z₁，...z_l与对应的手写体数字图像数据的类别标签y₁，...y_l进行组合，可得到包含x与y对应关系的训练样本集合{(z₁，y₁)，...(z_l，y_l)}； 

目前标准应用的支持向量机算法并不支持李群结构数据的处理，因此现有支持向量机算法的核函数对于本发明并不适应，为解决支持向量机算法对李群结构数据的适用问题，可构建支持向量机算法的矩阵高斯核函数，使得李群结构数据与支持向量机算法相兼容，矩阵高斯核函数具体公式如下： 

$k(z_a,z_b)=e^{-p\times {\left|\right|z_a-z_b\left|\right|}_F^2},$所述z_a和z_b表示任意两个李群结构数据，a，b为整数，均∈{1，...l}，且a≠b，p＞0为核函数，‖‖_F为矩阵范数。 

步骤S300、利用支持向量机算法，以所述矩阵高斯核函数为核函数，输入训练样本，训练得到分类器模型； 

本领域技术人员可以知道利用支持向量机算法，进行机器训练的常规方法；而本发明实施例所要提供的是一种支持李群结构数据的多分类问题处理的机器训练方法，该训练方法具体为：将所述各李群结构数据分别输入到所述c取2的组合数个分类器模型中，一个李群结构数据得到对应的c取2的组合数个分类器输出结果，统计所述输出结果中该李群结构数据被分为c类中某一类的值，并从中寻找最大值，将所述最大值确定为该李群结构数据对应的手写体数字图像数据的数字类别。 

为了便于对本发明实施例的机器训练方法进行详细了解，下文将提供具体的训练过程。 

训练样本集合{(z₁，y₁)，...(z_l，y_l)}的类别数为c，从中任取两类类别标签对应的样本，即所取出的样本只包括该两类标签，且未取出的训练样本集合中的样本的标签不为该两类标签，以两类类别标签对应的样本为一个组合可得到c取2的组合数个组合，为方便表述，现以c取2的组合数个组合中的一个组合第i，j(i，j均∈{1，...c}，且i≠j)两类标签对应的样本为例，说明分类器模型的训练过程，具体训练过程为： 

从训练样本集合{(z₁，y₁)，...(z_l，y_l)}中提取得第i，j两类样本后，将所述第i，j两类样本进行形式优化可得：令 其中，上标ij表示与第i，j两类相关的数据信息，下标m表示一个索引， 表示第i，j两类相关李群结构数据，l_ij表示i，j两类的样本之和， 为 对应的类别标签，且当$y_m^{\mathrm{ij}}=i,$则${\bar{y}}_m^{\mathrm{ij}}=-1,$当$y_m^{\mathrm{ij}}=j,$则${\bar{y}}_m^{\mathrm{ij}}=+1;$

本发明基于李群结构数据，使用支持向量机法来识别手写体数字的图像数据，那么在使用支持向量机法处理手写体数字图像数据的第i，j两类分类时，则需要求解如下优化问题： 

$\max \underset{m=1}{\overset{l_{\mathrm{ij}}}{\Sigma }}{\beta }_m^{\mathrm{ij}}-\frac{1}{2}\underset{m=1}{\overset{l_{\mathrm{ij}}}{\Sigma }}\underset{n=1}{\overset{l_{\mathrm{ij}}}{\Sigma }}{\bar{y}}_m^{\mathrm{ij}}{\bar{y}}_n^{\mathrm{ij}}{\beta }_m^{\mathrm{ij}}{\beta }_n^{\mathrm{ij}}k(z_m^{\mathrm{ij}},z_n^{\mathrm{ij}})$

$s.t.\underset{m=1}{\overset{l_{\mathrm{ij}}}{\Sigma }}{\bar{y}}_m^{\mathrm{ij}}{\beta }_m^{\mathrm{ij}}=\mathrm{0,0}\le {\beta }_m^{\mathrm{ij}}\le S,$

其中m，n均表示一个索引， 为 对应的类别标签， m，n均为整数，且m，n均∈{1，...l_ij}， 为支持向量机算法训练产生模型系数，S为支持向量机算法训练需要的正则参数，依上述优化训练产生如下分类器模型： 

$f_{\mathrm{ij}}\left(z\right)=\mathrm{sgn}\{\underset{m=1}{\overset{l_{\mathrm{ij}}}{\Sigma }}{\beta }_m^{\mathrm{ij}}{\bar{y}}_m^{\mathrm{ij}}k(z,z_m^{\mathrm{ij}})+b_{\mathrm{ij}}\},$i，j均＝1，...c，且i≠j； 

上式中sgn()表示符号函数，b_ij是模型阈值，可由下式计算所得： 

$b_{\mathrm{ij}}=\overline{y_{\mathrm{sv}}}-\underset{m=1}{\overset{l_{\mathrm{ij}}}{\Sigma }}{\beta }_m^{\mathrm{ij}}{\bar{y}}_m^{\mathrm{ij}}k(z_{\mathrm{sv}},z_m^{\mathrm{ij}}),$其中z_sv对应的系数值为 

上述得出了i，j两类样本对应的分类器模型，若还存在从训练样本中提取出的其余组合，则其余组合训练分类器模型的原理与此相同，可相互对照，此处不再赘述。 

步骤S400、将待测手写体数字图像数据对应的李群结构数据，分别输入到训练得到的分类器模型中，得到对应的数字类别。 

步骤S300得到分类器模型后，可从待测的手写体数字图像数据中提取对应的李群结构数据，以便对待测手写体数字图像数据进行分类，得到对应数字类别。需要说明的是，步骤S100中的原始手写体数字图像数据的用途为训练分类器模型，其可认为是一个庞大的手写体数字图像数据库；而步骤S400中待测手写体数字图像数据，为本发明手写体数字识别方法的识别对象，为需要进行识别的手写体数字的图像数据。 

本发明实施例所训练出的分类器模型可以处理李群结构数据的多分类问题，在具体分类识别上，可依照下述方式进行：将待测手写体数字图像数据对应的李群结构数据分别输入到所述c取2的组合数个分类器模型中，一个李群结构数据得到对应的c取2的组合数个分类器输出结果，统计所述输出结果中该李群结构数据被分为c类中某一类的值，并从中寻找最大值，将所述最大值确定为该李群结构数据对应的手写体数字图像数据的数字类别； 

所述分类器输出结果可用公式f_ij(z)表示，i，j＝1，...c，且i≠j，具体的当要统计该李群结构数据被分为i类的值时，可通过如下公式进行： 

$\underset{j=1,i\ne j}{\overset{c}{\Sigma }}{f}_{\mathrm{ij}}\left(z\right),i=1,...c,$

通过上式可得到所统计的该李群结构数据被分为i类的c个值，通过公式 从该c个值中寻找最大值，所寻找到的最大值所对应的数字类别就是该李群结构数据所对应的手写体数字图像数据的类别。 

本发明实施例通过构造矩阵高斯核函数，利用支持向量机算法处理手写体数字图像数据对应的李群结构数据，借助支持向量机算法识别小样本、非线性及高维模式下图像的优势，实现了李群结构数据的非线性特征捕获； 

其次，通过将李群结构数据的多分类问题简化为多个两分类问题，并依据支持向量机算法来进行分类处理，实现了李群结构数据的多分类问题处理，从而更好的实现手写体数字识别。 

下面通过如下实验验证本发明所能带来的有益效果： 

手写体数字数据库一般可存储的手写体数字图像数据的类别数为10类，现选择其中的四类，得到数字1，2，7和9来进行实验，每类分别从训练集合和测试集合中取前200个，即每类均具有200个训练样本和测试样本。然后在训练样本上用十倍交叉验证来挑选参数，其中正则因子的取值范围为：{2^-1，2⁰，...2⁴}，矩阵高斯核参数取值范围为{2^-10，2^-9，...2^-6}。然后应用挑选好的参数来重新训练一个模型，在测试集合估计性能获得识别率。进一步，可考虑点云数量对识别率的影响，点云数的取值集合为{5，10，15，20，25，30，35，40，50}，点云是随机产生的，可重复5次实验，给出一个平均结果。图2至图4示出了采用李群均值算法，李群Fisher算法和本发明技术方案进行实验所得到的实验结果。 

图2为李群均值算法，李群Fisher算法和本发明方法对数字1和7的分类性能的对比图。参照图2，可以发现基于本发明的分类效果明显优于李群均值算法和李群Fisher算法，且识别率随着每个样本取点数目的增多而呈现增大趋势。图3为李群均值算法和本发明方法对数字1，7和9的分类性能的对 比图，图4为李群均值算法和本发明方法对数字1，2，7和9的分类性能的对比图，参照图3和图4，可以看出本发明多分类效果明显优于李群均值算法。 

图5为本发明一种基于李群结构数据的手写体数字识别系统的结构框图。参照图5，该系统可以包括： 

李群结构数据提取模块100，用于从原始的手写体数字图像数据中提取对应数量的李群结构数据； 

预处理模块200，用于将李群结构数据与其对应的手写体数字图像数据的类别标签的对应关系作为训练样本，得到与所述对应数量的李群结构数据相对应的训练样本集合，同时，构造处理李群结构数据的矩阵高斯核函数： 

$k(z_a,z_b)=e^{-p\times {\left|\right|z_a-z_b\left|\right|}_F^2},$所述z_a和z_b表示任意两个李群结构数据，且a≠b，p＞0为核函数，‖‖_F为矩阵范数； 

模型训练模块300，用于利用支持向量机算法，以所述矩阵高斯核函数为核函数，输入训练样本，训练得到分类器模型； 

分类模块400，用于将待测手写体数字图像数据对应的李群结构数据，分别输入到训练得到的分类器模型中，得到对应的数字类别。 

其中，模型训练模块300的结构可如图6所示，包括： 

组合获取单元301，用于从所述训练样本集合中任取两类类别标签对应的样本，得到c取2的组合数个组合，c为手写体数字图像数据的类别数； 

循环训练单元302，用于以每个组合为单位，分别利用支持向量机算法，以所述矩阵高斯核函数为核函数，输入各组合对应的样本，训练得到c取2的组合数个分类器模型。 

进一步，循环训练单元302可以包括 

训练子单元(未图示)，用于提取包含i，j两类样本的组合，i，j均∈{1，...c}，且i≠j，执行训练分类器模型的流程：令 l表示手写体数字图像数据的个数，x表示手写体数字图像数据，z表示李群结构数据，y为手写体数字图像数据x的类别标签，y∈{1，...c}，上标ij表示与第i，j两类相关的数据信息，下标m表示一个索引， 表示第i，j两类相关李群结构数据，l_ij表示i，j两类的样本之和， 为 对应的类别标签，且当$y_m^{\mathrm{ij}}=i,$则${\bar{y}}_m^{\mathrm{ij}}=-1,$当$y_m^{\mathrm{ij}}=j,$则${\bar{y}}_m^{\mathrm{ij}}=+1,$及求解 

$\max \underset{m=1}{\overset{l_{\mathrm{ij}}}{\Sigma }}{\beta }_m^{\mathrm{ij}}-\frac{1}{2}\underset{m=1}{\overset{l_{\mathrm{ij}}}{\Sigma }}\underset{n=1}{\overset{l_{\mathrm{ij}}}{\Sigma }}{\bar{y}}_m^{\mathrm{ij}}{\bar{y}}_n^{\mathrm{ij}}{\beta }_m^{\mathrm{ij}}{\beta }_n^{\mathrm{ij}}k(z_m^{\mathrm{ij}},z_n^{\mathrm{ij}})$

m，n均表示一个索引， m，n均为整数，且m，n均∈{1，...l_ij}， 为支持向量机算法训练产生模型系数，S为支持向量机算法训练需要的正则参数，依据上述求解结果得到分类器模型 $f_{\mathrm{ij}}\left(z\right)=\mathrm{sgn}\{\underset{m=1}{\overset{l_{\mathrm{ij}}}{\Sigma }}{\beta }_m^{\mathrm{ij}}{\bar{y}}_m^{\mathrm{ij}}k(z,z_m^{\mathrm{ij}})+b_{\mathrm{ij}}\},$sgn()表示符号函数，b_ij是模型阈值； 

循环子单元(未图示)，用于在所述训练子单元完成上述训练分类器模型的流程后，提取另一个组合，再执行上述分类器模型训练流程，直至得到c取2的组合数个分类器模型。 

分类模块400的结构可如图7所示，包括： 

计算单元401，用于将待测手写体数字图像数据对应的李群结构数据分别输入到所述c取2的组合数个分类器模型中，一个李群结构数据得到对应的c取2的组合数个分类器输出结果； 

统计单元402，用于统计所述输出结果中该李群结构数据被分为c类中某一类的值，并从中寻找最大值； 

确定单元403，用于将所述统计单元寻找到的最大值确定为该李群结构数据对应的手写体数字图像数据的数字类别。 

进一步，统计单元402可以包括： 

类值统计子单元(未图示)，用于依据公式 i∈{1，...c}统计所述输出结果中该李群结构数据被分为i类的值，所述i类为假设的所要统计的c类中的某一类； 

最大值查找子单元(未图示)，用于依据公式： 

寻找所述统计子单元统计的数值中的最大值。 

本发明基于李群结构数据的手写体数字识别系统，与基于李群结构数据的手写体数字识别方法相互对应，系统具体功能实现可参见对应的方法不再，此处不再赘述。 

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。 

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。 

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。