首页> 中国专利> 基于图像协方差特征的手写体数字识别方法及装置

基于图像协方差特征的手写体数字识别方法及装置

摘要

本发明公开了一种基于图像协方差特征的手写体数字识别方法及装置,包括:提取N个手写体数字训练图像的协方差矩阵,作为训练样本;其中,N为自然数;利用支持向量机对训练样本进行训练,得到分类器模型系数;其中,支持向量机所采用的核函数为计算协方差矩阵之间相似性的矩阵核函数;利用分类器模型系数、矩阵核函数和训练样本构建分类器模型;利用分类器模型对需识别手写体数字图像进行识别。采用本发明矩阵核函数的支持向量机可以对图像的协方差特征进行处理,从而使得所产生的分类器模型的系数更加准确,进而提高了手写体数字的识别率。

著录项

  • 公开/公告号CN103310217A

    专利类型发明专利

  • 公开/公告日2013-09-18

    原文格式PDF

  • 申请/专利权人 苏州大学;

    申请/专利号CN201310246733.9

  • 申请日2013-06-20

  • 分类号G06K9/52(20060101);

  • 代理机构11227 北京集佳知识产权代理有限公司;

  • 代理人王宝筠

  • 地址 215123 江苏省苏州市工业园区仁爱路199号

  • 入库时间 2024-02-19 20:48:02

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2016-06-01

    授权

    授权

  • 2016-05-04

    著录事项变更 IPC(主分类):G06K9/52 变更前: 变更后: 申请日:20130620

    著录事项变更

  • 2013-10-23

    实质审查的生效 IPC(主分类):G06K9/52 申请日:20130620

    实质审查的生效

  • 2013-09-18

    公开

    公开

说明书

技术领域

本发明涉及图像识别技术领域,特别涉及一种基于图像协方差特征的手 写体数字识别方法及装置。

背景技术

近年来随着计算机技术和数字图像处理技术的飞速发展,手写体数字识 别技术在大规模数据统计、邮件分拣、财物和税务等行业得到了广泛的应用。 与此同时,支持向量机以其独有的优势在手写体数字识别领域得到了广泛的 应用。

科研人员发现,将图像的协方差矩阵作为图像的识别特征,将会提高对 图像的识别率。但在现有技术中,支持向量机只能对图像的矢量特征进行处 理进而识别图像,并不能根据图像的协方差特征识别图像,因此亟需一种基 于图像协方差特征的手写体数字识别方法及装置,以提高手写体数字的识别 率。

发明内容

有鉴于此,本发明的目的在于提供基于图像协方差特征的手写体数字识 别方法及装置,以提高手写体数字的识别率。

为实现上述目的,本发明提供如下技术方案:

一种基于图像协方差特征的手写体数字识别方法,包括:

提取N个手写体数字训练图像的协方差矩阵,作为训练样本;其中,所 述N为自然数;

利用支持向量机对所述训练样本进行训练,得到分类器模型系数;其中, 所述支持向量机所采用的核函数为计算协方差矩阵之间相似性的矩阵核函 数;

利用所述分类器模型系数、所述矩阵核函数和所述训练样本构建分类器 模型;

利用所述分类器模型对需识别手写体数字图像进行识别。

优选的,所述提取N个手写体数字训练图像的协方差矩阵的过程,包括:

针对任一手写体数字训练图像,获得所述手写体数字训练图像的像素矩 阵I,并提取所述I的像素特征φ(I,x,y);其中,所述I为g行h列的矩阵,所 述g表示所述I的行数值,所述h表示所述I的列数值,且所述g和h均为自 然数;

所述φ(I,x,y)=(x,y,I(x,y),|xI(x,y)|,|yI(x,y)|,|xI(x,y)|2+|yI(x,y)|2)T;其中 所述表示所述I(x,y)在x处的一阶偏导数,所述表示所述I(x,y) 在y处的一阶偏导数,1≤x≤g,1≤y≤h;

根据所提取的像素特征φ(I,x,y),获得所述I的协方差矩阵C;

所述C=1ghΣx=1gΣy=1h(φ(I,x,y)-φ(I))(φ(I,x,y)-φ(I))T,其中所述表示所述I的 像素特征的均值,并且所述φ(I)=1ghΣx=1gΣy=1hφ(I,x,y).

优选的,所述利用所述分类器模型系数、所述矩阵核函数和所述训练样 本构建分类器模型的过程,包括:

将所述训练样本按照类别标签分为d类训练子样本,其中所述d为自然 数,所述类别标签为所述手写体数字训练图像的实际数字值;

从所述d类训练子样本中任取2类进行组合,获得d(d-1)/2个训练组合样 本;

利用所述d(d-1)/2个训练组合样本、所述分类器模型系数和所述矩阵核函 数构建d(d-1)/2个分类器模型。

优选的,所述分类器模型为:

fab(C)=sgn(Σρ=1Nabβρabyρabk(C,Cρab)+bab),其中,所述a表示第a类训练子样 本,所述b表示第b类训练子样本,1≤a≤d,1≤b≤d,且所述a不等于b; 所述表示用于区分所述a类训练子样本和所述b类训练子样本的标签,所 述的取值为1或-1;所述ρ表示第a类训练子样本和第b类训练子样本所 组成的训练组合样本内的第ρ个手写体数字训练图像;所述Nab表示第a类训 练子样本与第b类训练子样本内的样本总数;所述和bab均为所述分类器 模型系数;sgn()表示符号函数;所述fab(C)表示所述分类器模型的分类值; 所述矩阵核函数所述C表示需识别手写体数字图像的 协方差矩阵,所述表示第a类训练子样本和第b类训练子样本所组成的训 练组合样本内的第ρ个手写体数字训练图像的协方差矩阵,所述λp表示所述 C和所述的广义特征值,所述γ表示核参数,且取值大于0;所述p表示 广义特征值的维数索引,1≤p≤n,所述n的取值为6。

优选的,所述利用所述分类器模型对需识别手写体数字图像进行识别的 过程,包括:

获取需识别的手写体数字图像的协方差矩阵C;

将所述C分别输入到d(d-1)/2个分类器模型内,获得d(d-1)/2个分类值;

将所述d(d-1)/2个分类值分别代入公式中,计 算出需识别手写体数字图像的数字值f(C),将所述f(C)作为所述手写体数 字图像的识别结果。

一种基于图像协方差特征的手写体数字识别装置,包括:

提取模块用于,提取N个手写体数字训练图像的协方差矩阵,作为训练 样本;其中,所述N为自然数;

训练模块用于,利用支持向量机对所述训练样本进行训练,得到分类器 模型系数;其中,所述支持向量机所采用的核函数为计算协方差矩阵之间相 似性的矩阵核函数;

构建模块用于,利用所述分类器模型系数、所述矩阵核函数和所述训练 样本构建分类器模型;

识别模块用于,利用所述分类器模型对需识别手写体数字图像进行识别。

优选的,所述提取模块包括:

像素特征提取单元用于,获取所述手写体数字训练图像的像素矩阵I,并 提取所述I的像素特征φ(I,x,y);其中,所述I为g行h列的矩阵,所述g表 示所述I的行数值,所述h表示所述I的列数值,且所述g和h均为自然数; 所述φ(I,x,y)=(x,y,I(x,y),|xI(x,y)|,|yI(x,y)|,|xI(x,y)|2+|yI(x,y)|2)T,其中,所 述表示所述I(x,y)在x处的一阶偏导数,所述表示所述I(x,y)在 y处的一阶偏导数,1≤x≤g,1≤y≤h;

第一协方差矩阵获取单元用于,根据所提取的像素特征φ(I,x,y),获取所 述I的协方差矩阵C;所述C=1ghΣx=1gΣy=1h(φ(I,x,y)-φ(I))(φ(I,x,y)-φ(I))T,其中 所述表示所述I的像素特征的均值,并且所述

优选的,所述构建模块包括:

分类单元用于,将所述训练样本按照类别标签分为d类训练子样本,其 中所述d为自然数,所述类别标签为所述手写体数字训练图像的实际数字值;

组合单元用于,从所述d类训练子样本中任取2类进行组合,获得d(d-1)/2 个训练组合样本;

分类器构建单元用于,利用所述d(d-1)/2个训练组合样本、所述分类器模 型系数和所述矩阵核函数构建d(d-1)/2个分类器模型。

优选的,所述分类器模型为:

fab(C)=sgn(Σρ=1Nabβρabyρabk(C,Cρab)+bab),其中,所述a表示第a类训练子样 本,所述b表示第b类训练子样本,1≤a≤d,1≤b≤d,且所述a不等于b; 所述表示用于区分所述a类训练子样本和所述b类训练子样本的标签,所 述的的取值为1或-1;所述ρ表示第a类训练子样本和第b类训练子样本 所组成的训练组合样本内的第ρ个手写体数字训练图像;所述Nab表示第a类 训练子样本与第b类训练子样本内的样本总数;所述和bab均为所述分类 器模型系数;sgn()表示符号函数;所述fab(C)表示所述分类器模型的分类值; 所述矩阵核函数所述C表示需识别手写体数字图像的 协方差矩阵,所述表示第a类训练子样本和第b类训练子样本所组成的训 练组合样本内的第ρ个手写体数字训练图像的协方差矩阵,所述λp表示所述 C和所述的广义特征值,所述γ表示核参数,且取值大于0,所述p表示 广义特征值的维数索引,1≤p≤n,所述n的取值为6。

优选的,所述识别模块包括:

第二协方差矩阵获取单元用于,获取需识别的手写体数字图像的协方差 矩阵C;

分类值计算单元用于,将所述C分别输入到d(d-1)/2个分类器模型内, 获得d(d-1)/2个分类值;

识别单元用于,将所述d(d-1)/2个分类值代入公式 中,计算需识别手写体数字图像的数字值f(C), 将所述f(C)作为所述手写体数字图像的识别结果。

由上述的技术方案可以看出,在本发明实施例中,首先提取N个手写体 数字训练图像的协方差矩阵,作用训练样本;然后利用支持向量机对训练样 本进行训练,得到分类器模型系数,其中,支持向量机所采用的核函数为计 算协方差矩阵之间相似性的矩阵核函数;再然后利用分类器模型系数、矩阵 核函数和训练样本构建分类器模型,最后利用分类器模型对需识别的手写体 数字图像进行识别。由于本发明中的矩阵核函数可以将协方差矩阵之间的相 似性转换为具体的数据(支持向量机可以对数据进行处理,现有技术为将两 个图像的矢量的相似性转换为具体的数据,然后支持向量机再对转换后的数 据进行处理)。因此,采用本发明矩阵核函数的支持向量机可以对图像的协 方差特征进行处理,从而使得所产生的分类器模型的系数更加准确,进而提 高了手写体数字的识别率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面 描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲, 在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的基于图像协方差特征的手写体数字识别方 法的流程图;

图2为本发明实施例所提供的提取图像的协方差特征的流程图;

图3为本发明实施例所提供的构建分类器模型的流程图;

图4为识别手写体数字图像的流程图;

图5为本发明实施例所提供的基于图像协方差特征的手写体数字识别装 置的模块图;

图6为本发明实施例所提供的测试结果。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行 清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而 不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明公开了一种基于图像协方差特征的手写体数字识别方法,如图1 所示,该方法至少包括以下步骤:

S11:提取N个手写体数字训练图像的协方差矩阵,作为训练样本;其中, N为自然数;

具体的,针对任一手写体数字训练图像,获得其协方差矩阵的过程,如 图2所示,具体包括如下步骤:

S21:获得手写体数字训练图像的像素矩阵I,并提取I的像素特征φ(I,x,y); 其中I为g行h列的矩阵,g表示I的行数值,h表示I的列数值,且g和h 均为自然数;

更具体的,φ(I,x,y)=(x,y,I(x,y),|xI(x,y)|,|yI(x,y)|,|xI(x,y)|2+|yI(x,y)|2)T;其中表示I(x,y)在x处的一阶偏导数,表示I(x,y)在y处的一阶 偏导数,1≤x≤g,1≤y≤h。

S22:根据所提取的像素特征φ(I,x,y),获得I的协方差矩阵C;

更具体的,C=1ghΣx=1gΣy=1h(φ(I,x,y)-φ(I))(φ(I,x,y)-φ(I))T;其中表示I 的像素特征的均值,并且φ(I)=1ghΣx=1gΣy=1hφ(I,x,y).

S12:利用支持向量机对训练样本进行训练,得到分类器模型系数;其中, 支持向量机所采用的核函数为计算协方差矩阵之间相似性的矩阵核函数;

具体的,支持向量机对训练样本进行训练的过程,就是求解一个二次凸 规划问题的过程。其支持向量机对训练样本进行训练的过程和现有技术中的 训练过程相同,在此不再赘述。

S13:利用分类器模型系数、矩阵核函数和训练样本构建分类器模型;

具体的,构建分类器模型的过程,如图3所示,至少包括以下步骤:

S31:将训练样本按照类别标签分为d类训练子样本,其中d为自然数, 类别标签为手写体数字训练图像的实际数字值;

S32:从d类训练子样本中任取2类进行组合,获得d(d-1)/2个训练组合 样本;

S33:利用d(d-1)/2个训练组合样本、分类器模型系数和矩阵核函数构建 d(d-1)/2个分类器模型。

更具体的,分类器模型为:fab(C)=sgn(Σρ=1Nabβρabyρabk(C,Cρab)+bab),其中a 表示第a类训练子样本,b表示第b类训练子样本,1≤a≤d,1≤b≤d,且 a不等于b;表示用于区分a类训练子样本和b类训练子样本的标签,的 取值为1或-1,;ρ表示第a类训练子样本和第b类训练子样本所组成的训练 组合样本内的第ρ个手写体数字训练图像;Nab表示第a类训练子样本与第b 类训练子样本内的样本总数;和bab均为所述分类器模型系数;sgn()表示 符号函数;fab(C)表示所述分类器模型的分类值;

其中,矩阵核函数C表示需识别手写体数字图像 的协方差矩阵,表示第a类训练子样本和第b类训练子样本所组成的训练 组合样本内的第ρ个手写体数字训练图像的协方差矩阵,λp表示C和的 广义特征值,γ表示核参数,且取值大于0;所述p表示广义特征值的维数索 引,1≤p≤n,n的取值为6。

具体的,可以设定,当中的第ρ个手写体数字训练图像来自a类训练 子样本时,的取值为1;而当中的第ρ个手写体数字训练图像来自b 类训练子样本时,的取值则为-1。

S14:利用分类器模型对需识别手写体数字图像进行识别。

具体的,识别的过程,如图4所示,可包括如下步骤:

S41:获取需识别的手写体数字图像的协方差矩阵C;

具体的,获取的过程,也参见如下步骤:

A:获得需识别的手写体数字图像的像素矩阵I2,并提取I2的像素特征 φ(I2,x,y);其中I2为g行h列的矩阵,g表示I2的行数值,h表示I2的列数值, 且g和h均为自然数;

上述φ(I2,x,y)=(x,y,I2(x,y),|xI2(x,y)|,|yI2(x,y)|,|xI2(x,y)|2+|yI2(x,y)|2)T;其中,表示I2(x,y)在x处的一阶偏导数,表示I2(x,y)在y处的 一阶偏导数,1≤x≤g,1≤y≤h;

B:根据所提取的像素特征φ(I2,x,y),获得I2的协方差距阵C2;

其中C2=1ghΣx=1gΣy=1h(φ(I2,x,y)-φ(I2))(φ(I2,x,y)-φ(I2))T,其中表示I2的像素特征的均值,并且φ(I2)=1ghΣx=1gΣy=1hφ(I2,x,y).

S42:将C分别输入到d(d-1)/2个分类器模型内,获得d(d-1)/2个分类值;

S43:将d(d-1)/2个分类值代入公式中,计算出 需识别手写体数字图像的数字值f(C),将f(C)作为手写体数字图像的识别 结果。

由上可见,在本发明实施例中,首先提取N个手写体数字训练图像的协 方差矩阵,作用训练样本;然后利用支持向量机对训练样本进行训练,得到 分类器模型系数,其中,支持向量机所采用的核函数为计算协方差矩阵之间 相似性的矩阵核函数;再然后利用分类器模型系数、矩阵核函数和训练样本 构建分类器模型,最后利用分类器模型对需识别的手写体数字图像进行识别。 由于本发明中的矩阵核函数可以将协方差矩阵之间的相似性转换为具体的数 据(支持向量机可以对数据进行处理,现有技术为将两个图像的矢量的相似 性转换为具体的数据,然后支持向量机再对转换后的数据进行处理)。因此, 采用本发明矩阵核函数的支持向量机可以对图像的协方差特征进行处理,从 而使得所产生的分类器模型的系数更加准确,进而提高了手写体数字的识别 率。

可利用本发明中的上述方法,对手写体数据库MNIST中的手写数字进行 测试。在MNIST中具有60000个训练样本和10000个测试样本(与上述需识 别的手写体数字图像相对应),并且可根据类别标签的不同,将训练样本和 测试样本均分为10类(即手写体数字的数值为1的为第1类,手写体数字的 数值为2的为第2类,依次类推,手写体数字为10的为第10类。)

在此次测试中,可以从每类训练样本和测试样本中各取200个手写体数 字图像,即每类具有200个训练样本和测试样本。利用上述方法和每类中的 训练样本,依次对测试样本进行识别,可得到对每类手写体数字图像的误码 率,以及对10类手写体数字图像的平均误码率(在此处测试中,支持向量机 的正则因子的取值为1,即r的取值为1)。

同时,可以利用现有技术中的李群均值分类器、李群Fisher分类器和采 用矩阵高斯核函数支持向量机方法,对上述测试样本进行测试。

其测试结果,可参见图6所示的表格,与上述李群均值分类器、李群Fisher 分类器和采用矩阵高斯核函数支持向量机方法相比,本发明的方法对每类手 写体数字图像的误识率和平均误识率真均为最低,即提高了对手写体数字的 识别率。

本发明还公开了一种与上述方法相对应的基于图像协方差特征的手写体 数字识别装置,如图5所示,包括:

提取模块51用于,提取N个手写体数字训练图像的协方差矩阵,作为训 练样本;其中,N为自然数;

具体的,提取模块51可包括:

像素特征提取单元用于,获取手写体数字训练图像的像素矩阵I,并提取 I的像素特征φ(I,x,y);其中,I为g行h列的矩阵,g表示I的行数值,h表示 I的列数值,且g和h均为自然数;

φ(I,x,y)=(x,y,I(x,y),|xI(x,y)|,|yI(x,y)|,|xI(x,y)|2+|yI(x,y)|2)T,其中 表示I(x,y)在x处的一阶偏导数,表示I(x,y)在y处的一阶偏导 数,1≤x≤g,1≤y≤h;

第一协方差矩阵获取单元用于,根据所提取的像素特征φ(I,x,y),获取I 的协方差矩阵C;C=1ghΣx=1gΣy=1h(φ(I,x,y)-φ(I))(φ(I,x,y)-φ(I))T,其中表示 I的像素特征的均值,并且φ(I)=1ghΣx=1gΣy=1hφ(I,x,y).

训练模块52用于,利用支持向量机对训练样本进行训练,得到分类器模 型系数;其中,支持向量机所采用的核函数为计算协方差矩阵之间相似性的 矩阵核函数;

构建模块53用于,利用分类器模型系数、矩阵核函数和训练样本构建分 类器模型;

具体的,构建模块53可包括:

分类单元用于,将训练样本按照类别标签分为d类训练子样本,其中d 为自然数,类别标签为手写体数字训练图像的实际数字值;

组合单元用于,从d类训练子样本中任取2类进行组合,获得d(d-1)/2个 训练组合样本;

分类器构建单元用于,利用d(d-1)/2个训练组合样本、分类器模型系数和 矩阵核函数构建d(d-1)/2个分类器模型。

更具体的,分类器模型为:fab(C)=sgn(Σρ=1Nabβρabyρabk(C,Cρab)+bab),其中, a表示第a类训练子样本,b表示第b类训练子样本,1≤a≤d,1≤b≤d, 且a不等于b;表示用于区分a类训练子样本和b类训练子样本的标签, 的取值为1或-1;ρ表示第a类训练子样本和第b类训练子样本所组成的 训练给合样本内的第ρ个手写体数字训练图像;Nab表示第a类训练子样本与 b类训练子样本内的样本总数;和bab均为分类器模型系数;sgn()表示符 号函数;fab(C)表示分类器模型的分类值;

矩阵核函数,C表示需识别手写体数字图像的协方 差矩阵,表示第a类训练子样本和第b类训练子样本所组成的训练组合样 本内的第ρ个手写体数字训练图像的协方差矩阵,λp表示C和的广义特 征值,γ表示核参数,且取值大于0,所述p表示广义特征值的维数索引, 1≤p≤n,n的取值为6。

识别模块54用于,利用分类器模型对需识别手写体数字图像进行识别。

具体的,识别模块54可包括:

第二协方差矩阵获取单元用于,获取需识别的手写体数字图像的协方差 矩阵C;

分类值计算单元用于,将C分别输入到d(d-1)/2个分类器模型内,获得 d(d-1)/2个分类值;

识别单元用于,将d(d-1)/2个分类值代入公式中,计算需识别手写体数字图像的数字值f(C),将f(C)作为所述手写体数 字图像的识别结果。

由上可见,在本发明实施例中,首先提取模块51提取N个手写体数字训 练图像的协方差矩阵,作为训练样本;然后训练模块52利用支持向量机对训 练样本进行训练,得到分类器模型系数,其中支持向量机所采用的核函数为 计算协方差矩阵之间相似性的矩阵核函数;再然后构建模块53利用分类器模 型系数、矩阵核函数和训练样本构建分类器模型,最后识别模块54利用分类 器模型对需识别的手写体数字图像进行识别。由于本发明中的矩阵核函数可 以将协方差矩阵之间的相似性转换为具体的数据(支持向量机可以对数据进 行处理,现有技术为将两个图像的矢量的相似性转换为具体的数据,然后支 持向量机再对转换后的数据进行处理)。因此,采用本发明矩阵核函数的支 持向量机可以对图像的协方差特征进行处理,从而使得所产生的分类器模型 的系数更加准确,进而提高了手写体数字的识别率。

对于提取模块51、训练模块52、构建模块53和识别模块54的各细化功 能可参见上述方法的记载,在此不再赘述。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用 本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下, 在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例, 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号