车号牌识别装置以及车号牌识别方法

摘要

本发明涉及车号牌识别装置以及车号牌识别方法。车号牌识别装置具备：拍摄车辆的车号牌的摄像单元（11）；从摄像单元（11）拍摄的图像检测4个点（P1、P2、P3、P4）的坐标的检测单元（S160、170）；基于检测单元（S160、S170）检测的4个点（P1、P2、P3、P4）的坐标进行透视变换的透视变换单元（S180）；以及对由透视变换单元（S180）进行了透视变换的图像进行文字识别的文字识别单元（S190）。检测单元（S160、S170）检测的4个点（P1、P2、P3、P4）是两个车牌固定部（P2、P3）、显示在车号牌的1个划分符号（P4）、以及显示在车号牌的数字中的位于最右侧的数字的重心（P1）。

说明书

技术领域

本发明涉及识别显示在车辆的车号牌的文字的车号牌识别装置以及车号牌识别方法。

背景技术

以前，在专利文献1记载了用照相机拍摄车辆的车号牌，根据拍摄的图像识别车号牌上的各文字的车号牌识别装置以及车号牌识别方法。

现有技术文献

专利文献

专利文献1：日本特开2011-113440号公报。

发明内容

发明要解决的课题

在上述现有技术中，在用照相机进行拍摄时，车辆的位置不一定是固定的。因此，用照相机拍摄的图像中的车号牌的大小和倾斜度会产生偏差，存在文字识别的精度降低的问题。在使用文字识别学习处理作为其对策的情况下，文字识别学习处理的负荷会变得过大。

本发明鉴于上述的以往的问题，其目的在于，提供一种即使图像中的车号牌的大小和倾斜度存在偏差也能尽可能地确保文字识别精度的车号牌识别装置以及车号牌识别方法。

用于解决课题的方案

为了达成上述目的，在第一方案的发明中，其特征在于，具备：拍摄车辆的车号牌的摄像单元11；从摄像单元11拍摄的图像检测4个点P1、P2、P3、P4的坐标的检测单元S160、S170；基于检测单元S160、S170检测的4个点P1、P2、P3、P4的坐标进行透视变换的透视变换单元S180；以及对由透视变换单元S180进行了透视变换的图像进行文字识别的文字识别单元S190，检测单元S160、S170检测的4个点P1、P2、P3、P4是两个车牌固定部P2、P3、显示在车号牌的1个划分符号P4、以及显示在车号牌的数字中的位于最右侧的数字的重心P1。

据此，透视变换单元S180基于检测单元S160、S170检测的4个点P1、P2、P3、P4的坐标对摄像单元11拍摄的图像进行透视变换，因此，能使图像中的车号牌接近于固定的大小和倾斜度。

而且，因为检测单元S160、S170检测的4个点P1、P2、P3、P4是两个车牌固定部P2、P3、1个划分符号P4、以及显示在车号牌的数字中的位于最右侧的数字的重心P1，所以能由检测单元S160、S170容易地检测4个点P1、P2、P3、P4，能由透视变换单元S180精度良好地进行透视变换。

即，因为车牌固定部P2、P3和划分符号P4是接近于圆形的形状，所以容易由检测单元S160、S170进行检测。因为数字与数字以外的文字（汉字等）相比形状简单，所以容易由检测单元S160、S170进行检测。因为位于最右侧的数字周围空白的区域比较多，所以容易由检测单元S160、S170进行检测。

因为车牌固定部P2、P3、划分符号P4、以及位于最右侧的数字相互比较分开，所以，能由透视变换单元S180精度良好地进行透视变换。

因而，即使图像中的车号牌的大小和倾斜度存在偏差，也能尽可能地确保识别精度。

为了达成上述目的，在第二方案的发明中，其特征在于，具备：拍摄车辆的车号牌的摄像单元11；从摄像单元11拍摄的图像检测4个点P1、P2、P3、P4的坐标的检测单元S200；基于检测单元S200检测的4个点P1、P2、P3、P4的坐标进行透视变换的透视变换单元S180；以及对由透视变换单元S180进行了透视变换的图像进行文字识别的文字识别单元S190，检测单元S200检测的4个点P1、P2、P3、P4是两个车牌固定部P2、P3、显示在车号牌的数字中的位于最右侧的数字的重心P1、以及显示在车号牌的数字和英文字母中的位于最左侧的文字的重心P4。

据此，与第一方案的发明同样地，透视变换单元S180基于检测单元S200检测的4个点P1、P2、P3、P4的坐标对摄像单元11拍摄的图像进行透视变换，因此，能使图像中的车号牌接近于固定的大小和倾斜度。

而且，因为检测单元S200检测的4个点P1、P2、P3、P4是两个车牌固定部P2、P3、显示在车号牌的数字中的位于最右侧的数字的重心P1、以及显示在车号牌的数字和英文字母中的位于最左侧的文字的重心P4，所以能由检测单元200容易地检测4个点P1、P2、P3、P4，能由透视变换单元S180精度良好地进行透视变换。

即，因为车牌固定部P2、P3是接近于圆形的形状，所以容易由检测单元S200进行检测。因为数字与数字以外的文字（汉字等）相比形状简单，所以容易由检测单元S200进行检测。因为位于最右侧的数字以及位于最左侧的文字（数字或英文字母）周围空白的区域比较多，所以容易由检测单元S200进行检测。

因为车牌固定部P2、P3、位于最右侧的数字、以及位于最左侧的文字（数字或英文字母）相互比较分开，所以，能由透视变换单元S180精度良好地进行透视变换。

因而，即使图像中的车号牌的大小和倾斜度存在偏差，也能尽可能地确保识别精度。

为了达成上述目的，在第三方案的发明中，其特征在于，包括：拍摄车辆的车号牌的摄像行程；从在摄像行程中拍摄的图像检测4个点P1、P2、P3、P4的坐标的检测行程S160、S170；基于在检测行程S160、S170中检测的4个点P1、P2、P3、P4的坐标进行透视变换的透视变换行程S180；以及对在透视变换行程S180中进行了透视变换的图像进行文字识别的文字识别行程S190，在检测行程S160、S170中检测的4个点P1、P2、P3、P4是两个车牌固定部P2、P3、显示在车号牌的1个划分符号P4、以及显示在车号牌的数字中的位于最右侧的数字的重心P1。

由此，能取得与第一方案的发明同样的作用效果。

为了达成上述目的，在第四方案的发明中，其特征在于，包括：拍摄车辆的车号牌的摄像行程；从在摄像行程中拍摄的图像检测4个点P1、P2、P3、P4的坐标的检测行程S200；基于在检测行程S200中检测的4个点P1、P2、P3、P4的坐标进行透视变换的透视变换行程S180；以及对在透视变换行程S180中进行了透视变换的图像进行文字识别的文字识别行程S190，在检测行程S200中检测的4个点P1、P2、P3、P4是两个车牌固定部P2、P3、显示在车号牌的数字中的位于最右侧的数字的重心P1、以及显示在车号牌的数字和英文字母中的位于最左侧的文字的重心P4。

由此，能取得与第二方案的发明同样的作用效果。

另外，在本栏和权利要求书中记载的各单元的括弧内的附图标记示出与在后述的实施方式中记载的具体的单元的对应关系。

附图说明

图1是第一实施方式中的车号牌识别装置的整体结构图。

图2是示出第一实施方式中的车号牌识别装置执行的处理的流程图。

图3是示出第一实施方式中的车号牌识别装置的照相机拍摄的图像的例子的图。

图4是示出第一实施方式中的车号牌识别装置执行的HSV变换后的图像的例子的图。

图5是示出第一实施方式中的车号牌识别装置执行的二值化后的图像的例子的图。

图6是示出第一实施方式中的车号牌识别装置执行的膨胀后的图像的例子的图。

图7是示出第一实施方式中的车号牌识别装置执行的加标（labeling）后的图像的例子的图。

图8是示出由第一实施方式中的车号牌识别装置提取了右端的数字的图像的例子的图。

图9是示出由第一实施方式中的车号牌识别装置提取了3个特征点的图像的例子的图。

图10是示出由第一实施方式中的车号牌识别装置进行透视变换后的图像的例子的图。

图11是示出第一实施方式中的车号牌识别装置执行的文字识别处理的流程图。

图12是示出第一实施方式的车号牌识别装置执行的文字识别处理中的二值化后的图像的例子的图。

图13是示出由第一实施方式的车号牌识别装置进行的文字识别处理中的连结成分提取后的图像的例子的图。

图14是示出第一实施方式的车号牌识别装置执行的文字识别处理中的区域选择后的图像的例子的图。

图15是示出在第一实施方式的车号牌识别装置的变形例中提取的4个点的图。

图16是示出第一实施方式中的车号牌识别装置执行的特征点提取处理的流程图。

图17是示出在第二实施方式中的车号牌识别装置中提取的4个点的图。

图18是示出在第二实施方式中的车号牌识别装置中提取的4个点的图。

图19是示出在第二实施方式中的车号牌识别装置中提取的4个点的图。

图20是示出在第二实施方式中的车号牌识别装置中提取的4个点的图。

图21是示出第二实施方式中的车号牌识别装置执行的4个点提取处理的流程图。

具体实施方式

以下，基于附图对实施方式进行说明。另外，在以下的各实施方式彼此之中，对彼此相同或均等的部分，在图中标注相同的附图标记。

（第一实施方式）

图1所示的车号牌识别装置10识别显示在车辆的车号牌的车辆编号等文字（在本例子中，是阿拉伯数字、汉字、平假名）。

车号牌识别装置10具备照相机11和个人计算机12。照相机11是拍摄车辆的车号牌的摄像单元。照相机11是将用摄像元件拍摄的图像的数字数据发送到个人计算机12的数字照相机。利用照相机11进行拍摄车辆的车号牌的摄像行程。

在本例子中，照相机11设置在停车场的出入门的附近，与有无车辆无关，以规定的时间间隔进行拍摄。照相机11以能在车辆来到规定的位置时拍摄车辆的车号牌的方式进行设置。

个人计算机12是对从照相机11接收的图像的数字数据进行各种处理的处理单元。个人计算机12由中央运算装置（CPU）及其周边电路等构成，按照读入到CPU的程序进行动作。个人计算机12与照相机11之间的信息通信例如使用有线或无线的LAN（Local Area Network：局域网）进行。

个人计算机12具有车号牌的数据库13。数据库13由许多显示在车号牌的文字信息构筑而成。

车号牌识别装置10也可以具备对车辆的车号牌进行照明的照明光源。

个人计算机12在车辆来到规定的位置时执行图2的流程图所示的处理。关于车辆是否来到规定的位置的判定，只要基于照相机11拍摄的图像进行判定，或基于来自检测车辆的位置的传感器的输出信号进行判定即可。

首先，在步骤S100中，输入照相机11拍摄的图像（例如，图3）的数字数据。如图3所示，在步骤S100中输入的图像包含车号牌1。

在日本的车辆的情况下，在车号牌1中，在上段左侧显示1个文字至4个文字的地名，在地名的右侧显示被称为“分类号”的1位数至3位数的数字，在下段显示有被称为“指定序列号”的1～4位数的数字。在“指定序列号”的左侧显示有1个文字的平假名。

“指定序列号”以右对齐方式刻印号码，在3位数以下的情况下，空白的位数用符号“·”（点）填补，在4位数的情况下，在第2位数和第3位数之间附加“－”（连字符）。以下，将符号“·”和“－”称为划分符号。

在车号牌的上部，两个车牌固定部1a以规定的间隔设置在左右。车牌固定部1a用于将车号牌固定于车辆。一方的车牌固定部1a配置在地名的左侧，另一方的车牌固定部1a配置在分类号的右侧。

在步骤S110中，如图4所示，对在步骤S100中输入的图像进行HSV变换。由此，图像中的车号牌被明显化。所谓HSV变换，指的是将RGB值（表示红、绿、蓝的各颜色的值）变换为HSV值（表示色调、彩色的饱和度、亮度的值）的处理。

在步骤S120中，如图5所示，使用在步骤S110中进行HSV变换的图像的H值（表示色调的值）进行二值化。所谓二值化，指的是将具有浓淡的图像变换为白色和黑色这两个渐变的处理。在图5的例子中，在进行二值化之后进行了黑白反转。

在步骤S130中，如图6所示，使在步骤S120中进行二值化的图像中的与文字部分相同颜色的部分（图6的例子中是黑色部分）膨胀。由此，车号牌上的许多文字中的分裂文字进行结合。

所谓分裂文字，指的是1个文字中的各构成部位彼此互不相连而分裂的文字。例如，在平假名“い”中，因为右侧的部位和左侧的部位互不相连而分裂，所以相当于分裂文字。通过对这样的分裂文字进行步骤S130的处理，从而分裂的各部位彼此相连而结合。

在步骤S140中，如图7所示，对在步骤S130中黑色部分膨胀的图像进行加标而提取文字部分。所谓加标，指的是在二值化图像处理后的图像中，对黑色部分或白色部分连续的像素分配相同的编号的处理。在步骤S140中，进行斑点分析（Blob Analysis），基于斑点（blob）的面积的大小提取文字部分。

在步骤S150中，基于在步骤S140中提取的文字部分，从照相机11拍摄的原始图像（例如，图3）剪切车号牌部分。

在步骤S160中，如图8所示，从在步骤S130中提取了文字部分的图像（图7）求出位于最右侧的数字候补（斑点）的重心P1的坐标。在图8的例子中，求出右端的数字“0”部分的重心P1的坐标。

具体地说，通过斑点分析对在步骤S130中提取了文字部分的图像（图7）中的各斑点（对应于车号牌的各文字）求出重心的坐标，选择求出的重心的坐标中的处于最右下方的坐标作为位于最右侧的数字候补的重心P1的坐标。

车号牌的位于最右侧的数字与车号牌的其它数字、文字相比周围空白的区域较多，因此，容易检测斑点。因此，能可靠地检测重心P1的坐标。

在步骤S170中，如图9所示，从在步骤S150中剪切了车号牌部分的图像中提取3个特征点P2～P4，并且求出3个特征点P2～P4的坐标。

例如，3个特征点P2～P4能用由OpenCV支持的特征检测器（Simple Blob检测器）进行检测。3个特征点P2～P4能根据斑点的面积和圆形度进行检测。

3个特征点P2～P4是两个车号牌固定部P2、P3以及1个划分符号P4（连字符），都是接近于圆形的形状。因此，能容易地检测3个特征点P2～P4。

步骤S160、S170是进行检测行程的检测步骤（检测单元）。检测行程是从照相机11拍摄的图像检测4个点P1、P2、P3、P4的坐标的行程。

在步骤S180中，如图10所示，对在步骤S150中剪切了车号牌部分的图像进行透视变换，得到从正面观察车号牌的图像。所谓透视变换，指的是将斜视的图像几何变换为正视的图像。

透视变换使用在步骤S160中求出的数字的重心P1以及在步骤S170中求出的3个特征点P2～P4这4个点的坐标来进行。4个点P1、P2、P3、P4彼此分开某个程度，因此，能精度良好地进行透视变换。

步骤S180是进行透视变换行程的透视变换步骤（透视变换单元）。透视变换行程是基于在步骤S160、S170中检测的4个点P1、P2、P3、P4的坐标进行透视变换的行程。

在步骤S190中，进行文字识别行程。文字识别行程是对在步骤S180中进行透视变换的图像进行文字识别的行程。步骤S190是进行文字识别行程的文字识别步骤（文字识别单元）。

在图11示出步骤S190的细节。在步骤S191中，如图12所示，对在步骤S180中进行透视变换的图像进行二值化。在步骤S190中，除去在步骤S191中进行二值化的图像的噪声。

在步骤S193中，如图13所示，提取在步骤S192中除去了噪声的图像的连结成分。具体地说，提取具有规定范围的长度的边缘。

在步骤S194中，如图14所示，对在步骤S193中提取的图像进行区域选择。具体地说，对在步骤S193中提取的图像，只留下具有规定范围的大小的成分。

在步骤S195～S198中，从在步骤S194中进行了区域选择的图像提取各种文字候补。

首先，在步骤S195中，从在步骤S194中进行了区域选择的图像提取大的数字的区域A1。具体地说，以右端的数字候补的重心P1为基准，切出大的数字的区域A1。

在步骤S196中，从在步骤S194中进行了区域选择的图像提取汉字的区域A2。具体地说，以右端的数字候补的重心P1为基准，切出汉字的区域A2。

在步骤S197中，从在步骤S194中进行了区域选择的图像提取小的数字的区域A3。具体地说，以右端的数字候补的重心P1为基准，切出小的数字的区域A3。

在步骤S198中，从在步骤S194中进行了区域选择的图像提取平假名的区域A4。具体地说，以右端的数字候补的重心P1为基准，切出平假名的区域A4。

在步骤S199中，连结在步骤S195～S198中提取的各区域A1～A4而进行文字识别。作为文字识别的方法，使用图像匹配或OCR（Optical Character Recognition：光学字符识别）等方法即可。通过以上，能识别显示在车号牌的文字。在本例子中，所识别的文字用于停车场的出入管理。

以上，为了容易理解，对车号牌的种类为图3所示的种类的情况（即，处于车号牌的下段的“指定序列号”的位数为4位数的情况）进行了说明。

在车号牌的种类为图15所示的种类的情况下，即，在因为处于车号牌的下段的“指定序列号”的位数不足4位数而存在多个划分符号“·”（点）的情况下，优选在步骤S170中提取最左侧的划分符号作为特征点P4。这是因为，能提取从右端的数字的重心P1尽可能分开的点，所以能提高透视变换的精度。

基于图16对辨别图3所示的车号牌和图15所示的车号牌而提取特征点P4的处理进行说明。图16是示出步骤S170的细节的流程图。

在步骤S171中，从在步骤S150中剪切了车号牌部分的图像提取全部特征点。由此，车牌固定部和划分符号全部作为特征点而被提取。在图3所示的车号牌的情况下，提取两个车牌固定部和1个划分符号“－”（连字符）作为特征点。在图15所示的车号牌的情况下，提取两个车牌固定部和两个以上的划分符号“·”（点）作为特征点。

在步骤S172中，判定在车号牌的下部提取的特征点（推定为划分符号的特征点）的个数是否为两个以上。

在判定作为划分符号提取的特征点的个数为两个以上的情况下，判断为是像图15那样存在两个以上区分符号“·”的车号牌而进入到步骤S173，选择在车号牌的下部提取的特征点中的最左侧的特征点作为划分符号的特征点P4。

另一方面，在判定作为划分符号而提取的特征点的个数不是两个以上的情况下，判断为是像图3那样划分符号为1个的车号牌而进入到步骤S174，选择在车号牌的下部提取的特征点作为划分符号的特征点P4。

这样，能辨别图3所示的车号牌和图15所示的车号牌而提取特征点P4。

根据本实施方式的车号牌识别装置和车号牌识别方法，在步骤S180中基于在步骤S160、S170中检测的4个点P1、P2、P3、P4的坐标对照相机11拍摄的图像进行透视变换，因此，能使图像中的车号牌接近于固定的大小和倾斜度。

而且，因为在步骤S160、S170中检测的4个点P1、P2、P3、P4是两个车牌固定部P2、P3、1个划分符号P4以及位于最右侧的数字候补的重心P1，所以能在步骤S160、S170中容易地检测4个点P1、P2、P3、P4，能在步骤S180中精度良好地进行透视变换。

即，因为车牌固定部P2、P3以及划分符号P4是接近于圆形的形状，所以，能在步骤S160、S170中容易地进行检测。因为数字与数字以外的文字（汉字等）相比形状简单，所以容易在步骤S160、S170中进行检测。因为位于最右侧的数字候补周围空白的区域比较多，所以容易在步骤S160、S170中进行检测。

因为车牌固定部P2、P3、划分符号P4、以及位于最右侧的数字候补彼此比较分开，所以能在步骤S180中精度良好地进行透视变换。

因而，即使图像中的车号牌的大小和倾斜度存在偏差，也能尽可能地确保识别精度。

在本实施方式的步骤S160中，对照相机11拍摄的图像求出各斑点的重心的坐标，选择各斑点的重心中的位于最右侧的斑点作为数字候补的重心P1。

由此，能可靠地求出位于最右侧的数字候补（斑点）的重心P1。

在本实施方式的步骤S170中，从照相机11拍摄的图像提取全部特征点，判定在车号牌的下部提取的特征点的个数是否为两个以上，在判定为在车号牌的下部提取的特征点的个数为两个以上的情况下，选择在车号牌的下部提取的特征点中的位于最左侧的特征点作为1个划分符号P4，在判定为在车号牌的下部提取的特征点的个数不是两个以上的情况下，选择在车号牌的下部提取的特征点作为1个划分符号P4。

由此，能辨别划分符号只有1个的车号牌和存在多个划分符号的车号牌而提取在透视变换中使用的特征点P4。

（第二实施方式）

在上述第一实施方式中，示出了对日本国的车辆的车号牌进行文字识别的例子，在本实施方式中，说明对中华人民共和国的车辆的车号牌进行文字识别的情况。

图17～图20是与上述第一实施方式的图9对应的图，示出了在步骤S180的透视变换中使用的4个点P1、P2、P3、P4。

在图17、图18所示的车号牌的情况下，与日本的车辆的车号牌不同，不存在划分符号。于是，代替划分符号而提取位于最左侧的英文字母的重心作为特征点P4。

在图19所示的车号牌的情况下，与日本的车号牌不同，在下段没有划分符号，进而与图17、图18所示的车号牌不同，在下段没有英文字母。于是，代替划分符号而提取位于最左侧的数字的重心作为特征点P4。

在图20所示的车号牌的情况下，与图17、图18所示的车号牌不同，位于最右侧的文字不是数字而是汉字，数字位于其左侧。于是，提取位于最右侧的汉字的左侧的数字的重心P1（从右起第二个文字的重心）。

基于图21对辨别图17～图20所示的车号牌的种类而提取4个点P1、P2、P3、P4的处理进行说明。

代替上述第一实施方式的步骤S160、S170而执行图21的流程图所示的步骤S200。该步骤S200是进行检测行程的检测步骤（检测单元）。即，如图21所示，检测步骤S200由步骤S201～S204构成。

在步骤S201中，判定车号牌的文字列是否为1行。即，因为相对于在图17、图18、图20所示的车号牌中文字列为1行，在图19所示的车号牌中文字列为两行，所以需要对它们进行判别。

具体地说，求出在步骤S150中剪切了车号牌部分的图像的各斑点的重心，基于各重心算出近似直线，在所有的重心都收于近似直线的任意宽度内的情况下，判定文字列为1行，在所有的重心不都收于近似直线的任意宽度内的情况下，判定文字列为两行。

在步骤S201中判定车号牌的文字列为1行的情况下，判断是图17、图18、图20所示的车号牌而进入到步骤S202，提取字母数字候补。

具体地说，用各斑点的面积对在步骤S150中剪切了车号牌部分的图像进行过滤而提取字母数字候补。即，因为汉字由多个小的斑点构成，所以通过用各斑点的面积进行过滤，从而能除去汉字候补而提取字母数字候补。

由此，在图17、图18所示的车号牌的情况下，可除去位于最左侧的汉字候补而提取字母数字候补。在图20所示的车号牌的情况下，可除去位于最左侧的汉字候补和位于最右侧的汉字候补而提取字母数字候补。

在接下来的步骤S203中，提取在步骤S180的透视变换中使用的4个点P1、P2、P3、P4。具体地说，对在步骤S150中剪切了车号牌部分的图像提取两个车号牌固定部P2、P3，对在步骤S202中提取了字母数字候补的图像提取位于最右侧的字母数字候补（数字候补）的重心P1和位于最左侧的位置的字母数字候补（英文字母候补）的重心P4。

例如，通过对在步骤S150中剪切了车号牌部分的图像提取特征点，从而提取两个车号牌固定部P2、P3。

例如，对在步骤S202中提取了字母数字候补的图像求出各斑点的重心的坐标，选择各斑点的重心中的位于最右侧的斑点的重心作为数字候补的重心P1，选择各斑点的重心中的位于最左侧的斑点的重心作为英文字母候补的重心P4。

在步骤S201中判定车号牌的文字列不是1行的情况下，判断是图19所示的车号牌而进入到步骤S204，提取在步骤S180的透视变换中使用的4个点P1、P2、P3、P4。

具体地说，提取位于最右侧的文字候补（数字候补）的重心P1、两个车号牌固定部P2、P3、以及位于最左侧的文字候补（数字候补）的重心P4。

例如，通过对在步骤S150中剪切了车号牌部分的图像提取特征点，从而提取两个车号牌固定部P2、P3。

例如，对在步骤S150中剪切了车号牌部分的图像求出各斑点的重心的坐标，选择各斑点的重心中的位于最右侧的斑点的重心作为数字候补的重心P1，选择各斑点的重心中的位于最左侧的斑点的重心作为英文字母候补的重心P4。

根据本实施方式中的车号牌识别装置以及车号牌识别方法，与上述第一实施方式同样地，在步骤S180中基于在步骤S160、S170中检测的4个点P1、P2、P3、P4的坐标对照相机11拍摄的图像进行透视变换，因此，能使图像中的车号牌接近于固定的大小和倾斜度。

而且，因为在步骤S160、S170中检测的4个点P1、P2、P3、P4是两个车牌固定部P2、P3、位于最右侧的数字候补的重心P1、以及位于最左侧的字母数字候补的重心P4，所以能在步骤S160、S170中容易地检测4个点P1、P2、P3、P4，能在步骤S180中精度良好地进行透视变换。

即，因为位于最右侧的数字候补以及位于最左侧的字母数字候补周围空白的区域比较多，所以容易在步骤S160、S170中进行检测。

因为车牌固定部P2、P3、位于最右侧的数字候补、以及位于最左侧的字母数字候补彼此比较分开，所以能在步骤S180中精度良好地进行透视变换。

因而，与上述第一实施方式同样地，即使图像中的车号牌的大小和倾斜度存在偏差，也能尽可能地确保识别精度。

在本实施方式的检测步骤S200中，判定车号牌的文字列是否为1行，在判定车号牌的文字列为1行的情况下，从照相机11拍摄的图像提取字母数字候补，选择提取的字母数字候补中的位于最右侧的字母数字候补的重心作为数字候补的重心P1，选择提取的字母数字候补中的位于最左侧的字母数字候补的重心作为英文字母候补的重心P4，在判定车号牌的文字列不是1行的情况下，在照相机11拍摄的图像中选择位于最右侧的文字候补的重心作为数字候补的重心P1，在照相机11拍摄的图像中选择位于最左侧的文字候补的重心作为英文字母候补的重心P4。

由此，能辨别车号牌的种类而提取在透视变换中使用的4个点P1、P2、P3、P4。

在本实施方式的检测步骤S200中，在判定车号牌的文字列为1行的情况下，求出构成提取的字母数字候补的各斑点的重心的坐标，选择各斑点的重心中的位于最右侧的斑点作为数字候补的重心P1，选择各斑点的重心中的位于最左侧的斑点作为英文字母候补的重心P4，在判定车号牌的文字列不是1行的情况下，对照相机11拍摄的图像求出各斑点的重心的坐标，选择各斑点的重心中的位于最右侧的斑点作为数字候补的重心P1，选择各斑点的重心中的位于最左侧的斑点作为英文字母候补的重心P4。

由此，能根据车号牌的种类可靠地求出位于最右侧的数字候补的重心P1和位于最左侧的英文字母候补的重心P4。

（其它实施方式）

本申请的发明不限定于上述的实施方式，例如，能对上述实施方式进行适宜组合。例如能像以下的（1）~（3）那样对上述实施方式进行多种变形。

（1）虽然在上述实施方式中，在步骤S110~S140中，在对进行了HSV变换的图像进行二值化之后进行加标，但是，也可以代替HSV变换而进行Lab变换。所谓Lab变换，指的是将RGB值（表示红、绿、蓝的各颜色的值）变换为Lab值（表示亮度、从红色到绿色的色度、从蓝色到黄色的色度的值）的处理。

进而，可以取对Lab变换后的a值的图像进行二值化的图像Bin（a）与对Lab变换后的b值的图像进行二值化的图像Bin（b）的逻辑和（AND），进而进行否定（NOT）。即，可以对两个图像Bin（a）、Bin（b）进行NOT（AND（Bin（a），Bin（b）））的运算。由此，能得到使车号牌上的文字明显化的图像。

（2）虽然在上述实施方式中示出了应用本申请的发明对日本国和中华人民共和国的车辆的车号牌进行文字识别的例子，但是，也能应用其对日本国、中华人民共和国以外的多个国家的车辆的车号牌进行文字识别。

（3）虽然在上述事实方式中示出了应用本申请的发明对出入停车场的车辆的车号牌进行文字识别的例子，但是，不限定于此，例如，也能应用本申请的发明对通过高速公路的收费站的车辆的车号牌进行文字识别。