基于形状轮廓特征的稀疏编码车牌字符识别方法

摘要

本发明提供了一种基于形状轮廓特征的稀疏编码车牌字符识别方法，由稀疏字典的学习过程和利用字典的字符识别过程组成，主要包括以下步骤：1.对标准车牌图像进行预处理构成训练图像集；2.对训练图像集进行特征提取，构成训练特征集；3.把训练特征集的样本区域特征和链码直方图特征引入目标函数，离线对车牌字符样本进行稀疏字典学习，得到各个字符对应的字典，组成字典集合；4.对测试样本数据提取特征；5.把测试样本特征在各个字典上进行稀疏表示，利用重构误差进行车牌字符识别。本发明同时考虑了字符图像的区域特征和边界特征，是一种快速鲁棒的车牌字符识别方法。

说明书

技术领域

本发明属于图像处理和智能交通技术领域，具体涉及一种基于形状轮廓 特征的稀疏编码车牌字符识别方法。

背景技术

车牌识别是智能交通系统(Intelligent Transportation System,ITS) 中的一个重要环节,可以广泛应用于交叉路口监控、停车场监控与管理、高 速公路收费等场合。车牌识别由车牌定位、车牌倾斜校正、字符分割和字符 识别几部分组成。车牌字符识别是在前几部分完成的基础上影响系统识别率 的一个重要因素。

由于车牌中的字符点阵分辨率低，低的分辨率会导致字符特征信息丢 失，并造成笔划的粘连。另外，牌照的清晰度、清洁度、新旧底色及光照背 景等因素，可能会使采集到的图像存在严重干扰，如字符模糊、畸变甚至断 线等，给车牌字符识别带来困难。对要求更高的车牌识别需求，如何利用字 符的特征进行实时精确的车牌识别就给研究人员带来了机遇和挑战。

目前车牌字符识别的算法主要有基于模板匹配、基于神经网络和基于支 持向量机的方法，例如：专利公开号为：CN101604381，公开日为：2009-12-16， 发明名称为：基于多分类支持向量机的车牌字符识别方法；专利公开号为： 102346847A，公开日为：2012-02-08，发明名称为：一种支持向量机的车牌 字符识别方法；专利公开号为：CN102163287A，公开日为:2012-02-08，发 明名称为：一种基于类Haar特征和支持向量机的车牌字符识别方法。模板 匹配方法是利用字符的轮廓、网格和投影等特征与标准车牌进行比对的识别 方法，这种方法存在抗干扰性差、对相似字符识别能力弱等缺点。神经网络 方法是利用多层神经网络构成的分类器进行字符识别的方法，这种方法存在 大量样本训练、样本数据选择和网络结构设计等问题。目前用的最多的是基 于支持向量机的车牌字符识别方法，也取得了比较好的结果，但该类方法通 常情况下只考虑了字符的单一特征。基于轮廓的特征描述能对图像中的物体 形状进行简洁的描述；基于区域的特征描述则没有考虑形状的空间分布特 性，如何结合二者的信息进行高效的车牌字符识别是现有技术需要解决的问 题。

近年来，学者们开始应用稀疏编码理论解决计算机视觉问题，稀疏表示 的分类算法(Sparse Representation Classification,SRC)被成功地应用在 人脸识别、光谱图像分类和目标识别等方面。例如：《Efficient Sparse Codig  Algorithms.In Proc.of Advances in Neural Information Processing Systems (NIPS)》（Honglak Lee,Alexis Battle and Rajat Raina,etc.,pp.1137-1144,2007）； 《Robust Face Recognition via Sparse Representation》（John Wright,Allen Y. Yang and Arvind Ganesh etc.IEEE Transaction on Pattern Analysis and Machine  Intelligence；31(2):200-227,2009）；《A Framework for Dictionary Learning  Based Hyperspectral Pixel Classification》（Andrew Pound,Jacob Gunther  andTodd Moon etc.In Proc.Of Forty Sixth Asilomar Conference on Signals, Systems and Computers(ASILOMAR),pp.382-385,2012）。SRC算法的思想 是：将测试样本表示为训练样本的加权线性组合，通过L1范数优化求取稀 疏解，使得除测试样本所属类别外的其他训练样本的系数均接近零，进而利 用系数中所包含的判别信息，实现对测试图像的分类。但是，传统的SRC 算法中的质量评价模型仅仅考虑了图像逐像素点之间的不同，并未考虑到图 像的形状边界轮廓信息。

发明内容

本发明的目的是提供一种基于形状轮廓特征的稀疏编码车牌字符识别 方法，解决了现有技术中存在的字符识别准确率不高的问题。

本发明所采用的技术方案是：基于形状轮廓特征的稀疏编码车牌字符识 别方法，具体按照以下步骤实施：

步骤1、对样本车牌图像进行基于稀疏编码的字典学习，得到稀疏字典 分类器；具体按照以下步骤实施：

步骤1.1、对训练样本车牌图像进行预处理得到训练字符图像集；

步骤1.2、对步骤1.1中得到的训练字符图像集进行特征提取，得到样 本特征矢量和链码直方图矢量；

步骤1.3、把样本特征矢量和链码直方图矢量引入稀疏编码的目标函数， 进行学习，得到稀疏字典分类器；

步骤2、根据稀疏字典分类器，对车牌图像进行字符识别。

本发明的特点还在于，对训练样本车牌图像进行预处理得到训练字符图 像集，包括如下步骤：

步骤1.1.1、对抓拍的样本车牌图像进行预处理，得到大小归一化的训 练二值字符图像集X_train；

步骤1.1.2、利用细化算法，把大小归一化后的二值字符图像集X_train 变为仅有一个像素宽度的骨架图像集Ske_train。

预处理包括车牌的倾斜校正、二值化、字符分割和大小归一化处理，其 中，采用Hough变换、Radon变化和PCA任一种方法实现车牌照图像的倾斜 角度检测和校正；二值化就是对图像亮度值取均值，以该均值作为阈值将字 符图像二值化，背景为0，字符为1，或者背景为1，字符为0。

车牌的倾斜校正采用Hough变换、Radon变化和PCA方法中的一种。

步骤1中得到的训练字符图像集进行特征提取，具体按照以下步骤实施：

步骤1.2.1、对二值字符图像集X_train按四等份大小采样，提取N维 样本特征矢量T_k(k＝1,2,…,K)，其中N为等分区域的像素点个数，为图像大 小的1/4，K为列向量个数，K＝4×J,J为图像个数；具体按照以下步骤实施： 把大小归一化的二值字符图像集X_train划分成四等分区域，将每一块区域 内的像素点排列成一个列向量，该列向量的行数N是该区域内像素点的个 数，并将这四块区域对应的四个列向量拼接起来构成该字符图像的特征向量 T_k(k＝1,2,…,K),T_k即为N维样本特征向量；

步骤1.2.2、对骨架图像集Ske_train里的各个图像X_j(j＝1,2,…,J)，J 为图像个数，跟踪其轮廓曲线,获得8方向的Freeman链码,统计各个方向链 码的个数,形成链码直方图；对链码直方图除以链码总数，得到轮廓曲线的8 维归一化链码直方图向量H_j(j＝1,2,…,J)。

将得到的样本特征矢量和链码直方图矢量引入稀疏编码的目标函数，进 行学习，得到稀疏字典分类器，具体按照以下步骤实施：

步骤1.3.1、对同类别所有二值字符图像按四等分大小采样，形成一个 大小为N×K的矩阵T,其中N为单个图像4等分区域的像素点个数， T_k(k＝1,2,…K)表示N维列向量，同类别所有二值字符图像的链码直方图向量 为H_j(j＝1,2,…,J)，J为同类别的图像个数，J＝K/4；

步骤1.3.2、基函数矩阵用D表示，大小为N×M,每一个N维列向量用 D_i(i＝1,2,…,M)表示；稀疏系数矩阵用S表示，大小为M×K,其中M维列 向量s_k(k＝1,2,…,K)表示基下的响应值，重构图像块用Y表示，Y＝DS；它 的链码直方图向量为R_j(j＝1,2,…,J)；

在标准的稀疏编码质量评价方法中，我们把结构相似性引入到目标函数 E(D,S)中，对优化的目标函数求最小值得到的D即为稀疏字典分类器：

$E(D,S)=\underset{D,\left\{s_k\right\}k=\mathrm{1,2},...K}{\min }\{{\lambda }_1\times \underset{k=1}{\overset{K}{\Sigma }}{\left|\right|T_k-{\mathrm{Ds}}_k\left|\right|}_2^2+{\lambda }_2\times \underset{j=1}{\overset{J}{\Sigma }}{\left|\right|H_j-R_j\left|\right|}_2^2+{\lambda }_3\times \underset{k=1}{\overset{K}{\Sigma }}{\left|\right|s_k\left|\right|}_1\}$

其中0≤λ₁≤1，0≤λ₂≤1，0≤λ₃≤1，分别表示各项的权重系数，并且 λ₁+λ₂+λ₃＝1，对构建好的目标函数求极值得到字典D和稀疏表示S。对各个 类别进行字典学习得到一系列字典A＝[A₁,A₂,…,A_C]∈R^N×M，其中A_i为类别i对 应的字典D，C为类别总个数。

根据稀疏字典分类器对车牌号码进行识别，具体按照以下步骤实施：

步骤2.1、对抓拍视频流中的每帧定位的车牌图像进行预处理，得到测 试字符样本集Xtest；

步骤2.2、对Xtest里的各个测试字符图像进行四等分，将每一等分区域 内的像素点排列成一个列向量，并将这四块区域对应的四个列向量拼接起来 构成该字符图像的特征向量y∈R^N×4；对学习得到的字典集 A＝[A₁,A₂,…,A_C]∈R^N×M和测试样本的特征集y∈R^N×4进行列向量单位化。

步骤2.3、将特征矢量用各个字典进行稀疏表示，得到重构误差集合； 具体按照以下步骤实施：

步骤2.3.1、在各个字典A_i(i＝1,2,…,C)下求解满足 ||A_ix-y||₂≤ε，得到各个完备集下的稀疏系数

步骤2.3.2、计算在各个字典集A_i(i＝1,2,…,C)下的重构误差集 [γ₁,γ₂,…,γ_C]，其中

步骤2.4、根据重构误差，选择最小重构误差对应的类别即为字符识别 结果，即$\mathrm{identify}\left(y\right)=\underset{i}{\arg \min }\left({\gamma }_i\right).$

本发明的有益效果是：

（1）本发明的车牌识别方法，不仅利用了稀疏编码算法的高效分类特 性，并且在标准稀疏编码模型的基础上，引入了新的质量评价方法。即在字 典学习过程中融入了训练样本的结构信息，增强了学习字典的鉴别性，提高 了识别效果。

（2）本发明对各类别单独建模，当数据集的类别或数目发生变化时， 只需对数据集的新增子集进行学习或更新已有子集对应的字典，而无需更新 其它类别的字典，体现了良好的可伸缩性。

（3）本发明适用范围广泛，适用于模式识别和数据聚类等领域。

本发明提出了一种基于字符形状轮廓特征的稀疏编码车牌字符识别方 法。一方面，在字典学习过程中融入训练样本的结构信息，增强了所学习字 典的鉴别性；另一方面，对各类别单独建模，当数据集的类别或数目发生变 化时，只需对数据集的新增子集进行学习或更新已有子集对应的字典，而无 需更新其它类别的字典，体现了良好的可伸缩性。

附图说明

图1是本发明基于形状轮廓特征的稀疏编码车牌字符识别方法的处理流 程图；

图2是本发明基于形状轮廓特征的稀疏编码车牌字符识别方法的标准化 的二值字符图像；

图3是本发明基于形状轮廓特征的稀疏编码车牌字符识别方法的标准化 的二值字符图像的对应细化图像；

图4是本发明基于形状轮廓特征的稀疏编码车牌字符识别方法的8方向 Freeman链码图；

图5是本发明基于形状轮廓特征的稀疏编码车牌字符识别方法的边界像 素的链码表示图；

图6是本发明基于形状轮廓特征的稀疏编码车牌字符识别方法的数字0 对应的字典图；

图7是本发明基于形状轮廓特征的稀疏编码车牌字符识别方法的数字2 对应的字典图；

图8是本发明基于形状轮廓特征的稀疏编码车牌字符识别方法的稀疏表 示的分类算法流程图；

图9是本发明基于形状轮廓特征的稀疏编码车牌字符识别方法的车牌识 别框图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步的详细说明。基于形状 轮廓特征的稀疏编码车牌字符识别方法，如图1所示，由稀疏字典的学习过 程（虚线以上）和稀疏字典的识别过程（虚线以下）组成。

一.稀疏字典的学习过程具体包括以下步骤：

（1）对训练样本车牌图像进行预处理得到训练字符图像集；

为了考虑由于牌照的清晰度、清洁度、新旧底色及光照背景等因素造成 的差异，保证采集足够多的训练样本车牌图片，使训练过程中每个字符的个 数至少是100个。车牌图像预处理是常用的图像处理方法，包括车牌的倾斜 校正、二值化、字符分割以及大小归一化处理。二值化就是通过阈值处理将 背景设置为0，字符设置为1（或者将背景设置为1，字符设置为0）。采用 Hough变换、Radon变化和PCA(主成分分析)任一种算法可以实现车牌照的倾 斜角度检测和校正。倾斜校正的目的是为了字符的正确分割，也是为了后继 的Freeman链码正确提取。利用几何投影进行车牌字符分割，使其成为一个 个独立的字符样本。对这些独立的字符样本进行大小归一化，按照类别生成 训练字符图像集。具体的实施方法都是本领域技术人员所熟知的技术，这里 不再详细介绍。

（2）对各类别的训练图像集进行特征提取；

特征是指N维训练样本的区域特征向量T_k(k＝1,2,…,K)和8维链码直方图 向量H_j(j＝1,2,…,J)，这里J为同类别训练样本个数，N为训练样本所选的区域 块大小。本发明中训练集图像大小优选为40×20，把图像四等分取特征向量， 所以N的取值为20×10。

特征向量T_k的提取：

把同类训练集里如图2所示的每副图像，划分成四等分区域，将每一块 区域内的像素点排列成一个列向量，并将这四块区域对应的四个列向量拼接 起来构成该字符图像I_i(i＝1,2,…,J)的特征向量 T_k＝{T_(i-1)×4+1,T_(i-1)×4+2,T_(i-1)*4+3,T_(i-1)*4+4}，(k＝1,2,…K)。因为每四个列向量属于同一 字符图像，所以K＝4×J。这里每一个列向量的行数N是该区域内像素点的个 数。标准稀疏编码的质量评价模型采用的就是源图像和重构图像的特征向量 T_k的误差平方和，它反映了图像像素点之间的不同，是一种区域特征向量。

链码直方图向量H_j的提取：

首先利用细化算法对同类训练字符图像集X_train进行笔划粗细归一化， 得到1像素宽度的骨架图像集Ske_train，如图3所示。

其次，对骨架图像的边界像素进行8方向Freeman链码表示。链码最早 由Freeman提出，它是对图像边界点的一种编码表示方法，其特点是利用一 组相连的具有特定长度和方向的直线段表示目标边界。链码常用的有4-方向 和8-方向链码。其中8-方向链码中的链码的方向用数值0～7来表示，代表 着8个方向。当链码值为0、2、4和6时，链码长度为1；当链码值为1、 3、5和7时，链码长度为用图5所示的链码跟踪算法求取骨架图像的 边界像素的8方向Freeman链码表示。具体实现是：按行列扫描得到起始点， 并将其作为当前点，然后按逆时针方向扫描其8邻域，一旦扫描到像素值为 1的点（表示字符的像素点），并将当前点像素值置为0（置为背景像素点）， 同时将扫描到的点置为当前点，按同样规则继续扫描直到一条链码结束。接 着重新扫描行列获得起始点，再按同样规则直到所有目标点跟踪结束，则整 个轮廓跟踪结束。

最后，对跟踪得到的轮廓曲线的8个方向的Freeman链码，统计每种链 码的个数，形成链码直方图，再除以所有链码总数进行归一化，得到轮廓曲 线的归一化链码直方图H_j(j＝1,2,…,J)，J是同类训练集图像个数。归一化链 码虽然存在平移不变性和缩放不变性，但不具备旋转不变性。步骤(1)中的车 牌倾斜校正恰好保证了所有训练集图像都处在水平角度，从而保证了归一化 链码直方图的旋转不变性。

把得到的特征向量T_k(k＝1,2,…,K)和8维链码直方图向量H_j(j＝1,2,…,J)作 为同类样本的训练集，进行下一步的字典学习。

（3）稀疏字典学习；

特征描述子集合是N维向量T_k(k＝1,2,…,K)和8维向量H_j(j＝1,2,…,J)，用特 征描述子集合进行字典学习。

设特征字典为D，大小为N×M。稀疏系数为S＝{s₁,s₂,…,s_K}，M维列向 量s_i(i＝1,2,…,K)表示特征字典对应基下的稀疏值。重构图像集为Y，这里， Y＝DS。用步骤（2）计算Y的链码直方图向量为R_j(j＝1,2,…,J)。优化的目标 函数为：

$E(D,S)=\underset{D,\left\{s_k\right\}k=\mathrm{1,2},...K}{\min }\{{\lambda }_1\times \underset{k=1}{\overset{K}{\Sigma }}{\left|\right|T_k-{\mathrm{Ds}}_k\left|\right|}_2^2+{\lambda }_2\times \underset{j=1}{\overset{J}{\Sigma }}{\left|\right|H_j-R_j\left|\right|}_2^2+{\lambda }_3\times \underset{k=1}{\overset{K}{\Sigma }}{\left|\right|s_k\left|\right|}_1\}.$

其中0≤λ₁≤1，0≤λ₂≤1，0≤λ₃≤1分别表示各项的权重系数， λ₁+λ₂+λ₃＝1，本方法优选λ₁＝0.35，λ_,2＝0.35，λ₃＝0.3。公式的第一项表示重构图 像块和原图像块的误差平方和，第二项表示重构图像块和原图像块的结构相 似性，第三项表示“响应”的稀疏性。对目标函数求极值就得到字典D和稀 疏系数S。对各个类别进行字典学习得到一系列字典A＝[A₁,A₂,…,A_C]∈R^N×M， 其中A_i为类别i对应的字典D，C为类别总个数。图6为数字“0”对应的稀 疏字典，图7为数字“2”对应的稀疏字典，从图可见，不同类别数据对应 的字典A_i(i＝1,2,…,C)有很大的区别。

二.稀疏字典的分类过程具体包括以下步骤：

（4）对测试样本车牌图像进行预处理得到特征集；

首先，对测试车牌图像按照步骤(1)描述的方法进行预处理，包括车牌 倾斜校正、字符分割、二值化和大小归一化处理，得到测试字符样本集Xtest。 其次，对Xtest中的各个元素Xtest_i(1≤i≤n，n为车牌字符个数)按照步骤(2)描述 的方法进行特征提取，得到车牌各个字符测试样本的特征集y∈R^N×4。

（5）基于稀疏字典的字符识别；

基于稀疏字典的字符识别过程如图8所示，具体实现为：

首先，对学习得到的字典集A＝[A₁,A₂,…,A_C]∈R^N×M和测试样本的特征集 y∈R^N×4进行列向量单位化。

其次，在各个字典A_i(i＝1,2,…,C)下求解满足||A_ix-y||₂≤ε， 得到各个完备集下的稀疏系数这里0≤ε≤1，本发明优选ε取值为0.01。

再计算在各个完备集A_i(i＝1,2,…,C)下的重构误差集[γ₁,γ₂,…,γ_C]，其中 ${\gamma }_i={\left|\right|y-A_i{\hat{x}}_i\left|\right|}_2.$

最后，选取重构误差最小者对应的类别为测试字符样本的识别结果，即 $\mathrm{identify}\left(y\right)=\underset{i}{\arg \min }\left({\gamma }_i\right).$

（6）车牌识别

车牌识别如图9所示，对抓拍的车牌图像首先进行预处理得到车牌的各 个字符图像；其次，对各个字符图像提取特征，将字符特征送入字典分类器 集合,利用重构误差输出识别结果；最后，合并各个字符分类器的输出，得 到识别的车牌号码。