纸币检查装置、纸币检查方法及纸币检查程序

摘要

能够提高纸币序列号识别的准确度的纸币检查装置。在纸币检查装置(14)中，存储单元(23)存储：使用有孔的字符图像作为训练数据而生成的第一学习模型，以及使用没有孔的字符图像作为训练数据而生成的第二学习模型。序列号识别单元(24)在字符图像有孔的情况下使用第一学习模型来识别形成纸币BL的序列号的字符，并且在字符图像没有孔的情况下使用第二学习模型并识别形成纸币BL的序列号的字符。

说明书

技术领域

本公开涉及纸币检查装置、纸币检查方法及纸币检查程序。

背景技术

诸如自动柜员机(ATM)之类的纸币处理装置设置有检查纸币以鉴别纸币面额并识别纸币序列号的纸币检查装置。

引用文献列表

专利文献

专利文献1：JP 2017-215859 A

发明内容

技术问题

因为能够使用序列号唯一地标识纸币，所以使用序列号查找伪造的纸币等。因此，准确识别序列号很重要。

鉴于前述内容构思了所公开的技术，并且其目的是提高识别纸币的序列号的准确度。

技术方案

在所公开实施方式的一个方面中，一种纸币检查装置包括存储单元和识别单元。存储单元存储使用有孔的字符的图像作为训练数据而生成的第一学习模型，并且使用没有孔的字符的图像作为训练数据而生成的第二学习模型。识别单元在作为序列号字符的图像的字符图像有孔时通过使用第一学习模型来识别序列号字符，并且在字符图像没有孔时通过使用第二学习模型来识别序列号字符，序列号字符是形成纸币的序列号的字符。

技术效果

根据所公开的实施方式，可以提高识别纸币的序列号的准确度。

附图说明

图1是例示了根据第一实施方式的纸币处理装置的构造示例的图。

图2是例示了根据第一实施方式的输送路径连接模式的示例的图。

图3是例示了根据第一实施方式的输送路径连接模式的示例的图。

图4是例示了根据第一实施方式的纸币检查装置的构造示例的图。

图5是用于例示根据第一实施方式的序列号识别单元的处理示例的流程图。

图6是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图7是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图8是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图9是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图10是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图11是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图12是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图13是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图14是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图15是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图16是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图17是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图18是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图19是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图20是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图21是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图22是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

图23是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

具体实施方式

以下，将基于附图描述本申请中所公开的纸币检查装置、纸币检查方法以及纸币检查程序。注意，在本申请中所公开的纸币检查装置、纸币检查方法和纸币检查程序不限于这些实施方式或不受这些实施方式的限制。此外，在下面的实施方式中，相同的附图标记被分配给相同的构造。

[第一实施方式]

<纸币处理装置的构造>

图1是例示了根据第一实施方式的纸币处理装置的构造示例的图。图1是侧截面图。在图1中，纸币处理装置1具有进入口11、切换爪12、螺线管13、纸币检查装置14、临时保持部15、堆叠器16-1、16-2和16-3、控制装置单元17以及输送路径P1、P2和P3。

另外，在纸币处理装置1中，具有输送路径分支点PJ，在该输送路径分支点PJ处，输送路径P1分支为两个输送路径P2、P3。在纸币处理装置1中，通过将输送路径P1经由输送路径分支点PJ连接到输送路径P2和P3中的任意一个，输送路径连接模式在输送路径P1和P2连接的模式(下文中有时称为“连接模式C1”)与输送路径P1和P3连接的模式(下文中有时称为“连接模式C2”)之间切换。当输送路径连接模式为连接模式C1时，形成输送路径P1和P2连续的输送路径，并且当输送路径连接模式为连接模式C2时，形成输送路径P1和P3连续的输送路径。

切换爪12的中心轴CA连接至螺线管13，并且切换爪12可以通过螺线管13绕中心轴CA旋转。切换爪12和螺线管13被布置成靠近输送路径分支点PJ，并且输送路径连接模式由于切换爪12通过螺线管13旋转而在连接模式C1和连接模式C2之间切换。在控制单元17的控制下实施输送路径连接模式的切换。

图2和图3是例示了根据第一实施方式的输送路径连接模式的示例的图。图2例示了输送路径连接模式处于连接模式C1的情况，并且图3例示了输送路径连接模式处于连接模式C2的情况。

如图2所示，当电流I1在螺线管13中流动时，切换爪12绕中心轴CA向左(逆时针)旋转，并且切换爪12的最左侧边缘与输送路径分支点PJ接触，因此，输送路径连接模式进入连接模式C1。

当输送路径连接模式为连接模式C1时，插入到进入口11的纸币BL经由输送路径P2通过，沿切换爪12的左侧以相反方向折回，经由输送路径P1朝向纸币检查装置14输送，并由纸币检查装置14进行检查。经检查的纸币BL沿着输送路径P1进一步前进，并且被临时存储在临时保持部15中。

当纸币检查装置14不能鉴别面额或不能识别序列号并且检查结果为“NG”时，输送路径连接模式保持处于连接模式C1，并且临时存储在临时保持部15中的纸币BL从临时保持部15排出，沿输送路径P1通过，并在输送路径分支点PJ处沿切换爪12的左侧以相反方向折回，并经由输送路径P2返回到进入口11。

当已经由纸币检查装置14鉴别出面额并且识别出序列号并且检查结果为“OK”时，与电流I1相反方向的电流I2在螺线管13中流动，并且切换爪12绕中心轴CA向右(顺时针)旋转，使得切换爪12的最左侧边缘与输送路径分支点PJ分离，如图3所示，并且因此输送路径连接模式进入连接模式C2。

当输送路径连接模式处于连接模式C2时，已经临时存储在临时保持部15中的纸币BL从临时保持部15排出，沿着输送路径P1通过，通过输送路径分支点PJ而进入输送路径P3，并且在根据所鉴别的面额被存储在堆叠器16-1、16-2和16-3中的任何一个之前沿着输送路径P3前进。例如，一万日元纸币被存储在堆叠器16-1中，五千日元纸币被存储在堆叠器16-2中，并且一千日元纸币被存储在堆叠器16-3中。

<纸币检查装置的构造>

图4是例示了根据第一实施方式的纸币检查装置的构造示例的图。在图4中，纸币检查装置14具有纸币拍摄单元21、面额鉴别单元22、序列号识别单元24以及存储单元23。

纸币拍摄单元21拍摄已经输送到纸币检查装置14的纸币BL，并将所拍摄的纸币BL的图像(以下有时称为“纸币图像”)BLP输出到序列号识别单元24。

面额鉴别单元22鉴别输送到纸币检查装置14的纸币BL的面额，并且将指示鉴别出的面额的信息(以下有时称为“面额信息”)输出至序列号识别单元24。例如，面额鉴别单元22基于纸币BL的水平长度和垂直长度以及纸币表面上的图案等来鉴别面额。

存储单元23存储使用卷积神经网络(CNN)生成的学习模型。

序列号识别单元24使用从面额鉴别单元22输入的面额信息和存储单元23中所存储的学习模型，基于从纸币拍摄单元21输入的纸币图像BLP来识别纸币BL的序列号，并输出识别结果。

<序列号识别单元的处理和操作>

图5是用于例示了根据第一实施方式的序列号识别单元的处理示例的流程图，并且图6至图23是用于例示根据第一实施方式的序列号识别单元的操作示例的图。

在图5中，在步骤S201中，序列号识别单元24从纸币图像BLP中提取纸币图像BLP中存在序列号的区域(以下有时也称为“序列号存在区域图像”)的图像SNP1(以下有时称为“序列号存在区域图像”)或序列号存在区域图像SNP2，如图6所示。

通过在侧向方向上布置数字字符和字母字符来表示序列号，并且因此序列号存在区域是水平方向上长的矩形区域。此外，例如，日本银行纸币具有在横向观察纸币BL时在纸币BL的右下角的点处印刷的序列号。因此，如图6所示，在纸币BL是日本银行纸币时，序列号识别单元24从纸币图像BLP的右下角的点开始提取水平方向上长的矩形形状的序列号存在区域图像SNP1。例如，在纸币图像BLP的左上角为原点0(零)并且水平轴为X而垂直轴为Y的情况下，坐标(x1，y1)表示序列号存在区域的左上角，并且由坐标(x2，y2)表示序列号存在区域的右下角。因此，在纸币BL为日本银行纸币时，序列号识别单元24从纸币图像BLP提取由坐标(x1，y1)和坐标(x2，y2)指定的矩形区域的图像作为序列号存在区域图像SNP1。

此外，在特定外国纸币的情况下，如图6所示，当以横向观察纸币BL时，有时沿着纸币BL的右边缘在侧向方向上印制序列号。因此，在纸币BL是特定外国纸币时，序列号识别单元24从纸币图像BLP的右侧上的点开始提取具有垂直方向上长的矩形形状的序列号存在区域图像SNP2，如图6所示。

以下有时将序列号存在区域图像SNP1和SNP2统称为“序列号存在区域图像SNP”。

这里，如图7所示，当使用六个字符l1至l6形成纸币BL的序列号时，在序列号存在区域SR中，字符l1至l6分别被布置在规定尺寸的区域(以下有时称为“规定尺寸区域”)RR1至RR6中，并且该区域的水平长度和垂直长度表示为L1和L2。规定尺寸区域RR1至RR6全部具有相同尺寸，并且规定尺寸区域RR1至RR6彼此以相等间隔L3定位。以下，规定尺寸区域RR1至RR6有时统称为“规定尺寸区域RR”。

返回参照图5，接下来，在步骤S203中，当序列号存在区域图像是具有(类似于图6的序列号存在区域图像SNP2那样的)垂直方向上长的矩形形状的图像时，序列号识别单元24通过将序列号存在区域图像旋转90°来校正序列号存在区域图像的方位。由于该校正，具有垂直方向上长的矩形形状的序列号存在区域图像SNP2被校正为具有(类似于序列号存在区域图像SNP1那样的)水平方向上长的矩形形状的序列号存在区域图像。

此后，在步骤S205中，序列号识别单元24对序列号存在区域图像SNP执行第一二值化处理。

例如，如图8所示，序列号存在区域图像SNP由54个像素形成，即，像素(x，y)＝像素(1，1)至像素(6，9)，并假设像素具有作为图8所示的值的灰度值，序列号识别单元24按照下面的二值化处理示例1或二值化处理示例2执行第一二值化处理。

<第一二值化处理示例1(图9)>

序列号识别单元24通过使用固定的二值化阈值TH1对序列号存在区域图像SNP进行二值化。因此，当二值化阈值TH1为“210”时，例如，序列号识别单元24通过将图8中灰度值等于或大于210的像素的灰度值改变为“255”并且将图8中灰度值小于210的像素的灰度值改变为“0”，对序列号存在区域图像SNP进行二值化，如图9所示。

序列号识别单元24还可以设置二值化阈值TH1，该二值化阈值TH1具有与从面额鉴别单元22输出的面额信息所指示的面额相对应的值。

<第一二值化处理示例2(图10、图11)>

首先，如图10所示，序列号识别单元24在序列号存在区域图像SNP中所包含的多个像素当中配置第一部分PT1和第二部分PT2。此后，在54个像素(即，像素(1，1)至像素(6，9))当中，序列号识别单元24计算每列中第一部分PT1的灰度值的平均值，并将所计算出的平均值设置为用于作为平均值计算对象的列的二值化阈值TH2。因此，例如，第一列至第四列的二值化阈值TH2被计算为(220+210+200)/3＝210，并且第五列和第六列的二值化阈值TH2被计算为(140+130+120)/3＝130。因此，对于54个像素的每列(即，像素(1，1)到像素(6，9))，序列号识别单元24使用第一部分PT1来计算每列的二值化阈值TH2。因此，因为对于第一列至第四列，二值化阈值TH2为“210”，所以序列号识别单元24通过将图10中灰度值等于或大于210的像素的灰度值改变为“255”并且将图10中灰度值小于210的像素的灰度值改变为“0”，来对序列号存在区域图像SNP进行二值化，如图11所示。此外，因为对于第五列和第六列，二值化阈值TH2是“130”，所以序列号识别单元24通过将图10中灰度值等于或大于130的像素的灰度值改变为“255”并且将图10中灰度值小于130的像素的灰度值改变为“0”，来对序列号存在区域图像SNP进行二值化，如图11所示。

上面已经描述了第一二值化处理示例1和2。

返回图5，接下来，在步骤S207中，序列号识别单元24在序列号存在区域图像SNP中检测形成纸币BL的序列号的字符图像(以下有时称为“字符图像”)所存在的区域(有时称为“字符存在区域”)CR的候选(以下有时称为“字符存在区域候选”)。例如，序列号识别单元24通过使用“边界跟踪”来检测字符存在区域候选，该“边界跟踪”是用于在二值化图像中跟踪与背景相邻的图形像素的典型方法。

首先，通过对已经过第一二值化的序列号存在区域图像SNP应用边界跟踪，序列号识别单元24检测已经过第一二值化的序列号存在区域图像SNP中所包含的图像的轮廓(以下有时称为“图像轮廓”)CO，如图12所示。接下来，序列号识别单元24在形成图像轮廓CO的多个像素(x，y)当中，检测X坐标的最小值xmin、Y坐标的最小值ymin、X坐标的最大值xmax、和Y坐标的最大值ymax。此后，序列号识别单元24在序列号存在区域图像SNP中指定具有最小值xmin和最小值ymin的坐标C11＝(xmin，ymin)，以及具有最大值xmax和最大值ymax的坐标C12＝(xmax，ymax)。接下来，序列号识别单元24在序列号存在区域图像SNP中指定距坐标C11预定距离(例如，-X方向上的三个像素和-Y方向上的三个像素的距离)的坐标C21、以及距坐标C12预定距离(例如，+X方向上的三个像素和+Y方向上的三个像素的距离)的坐标C22。此外，序列号识别单元24将左上角在坐标C21处并且右下角在坐标C22处的矩形区域检测为字符存在区域CR的候选。在步骤S207中，序列号识别单元24在序列号存在区域图像SNP中如前所述地检测多个字符存在区域候选。

返回图5，接下来，在步骤S209中，序列号识别单元24基于在步骤S207中检测到的多个字符存在区域候选来指定字符存在区域。以下提供了具体示例1至10作为字符存在区域的具体示例。

<字符存在区域的具体示例1(图13)>

如图13所示，序列号识别单元24通过从步骤S207中检测到的字符存在区域的多个候选当中排除字符存在区域CR的尺寸小于预定尺寸SZ1的候选，从而在序列号存在区域图像SNP中指定字符存在区域，该预定尺寸SZ1是基于规定尺寸区域RR的尺寸已经设置的。例如，预定尺寸SZ1被设置为规定尺寸区域RR的尺寸的一半。

<字符存在区域的具体示例2(图14)>

如图14所示，序列号识别单元24通过从步骤S207中检测到的字符存在区域的多个候选当中排除字符存在区域CR的尺寸等于或大于预定尺寸SZ2的候选，从而在序列号存在区域图像SNP中指定字符存在区域，该预定尺寸SZ2是基于规定尺寸区域RR的尺寸已经设置的。例如，预定尺寸SZ2被设置为规定尺寸区域RR的尺寸的两倍。

<字符存在区域的具体示例3(图15)>

如图15所示，序列号识别单元24通过从步骤S207中检测到的字符存在区域的多个候选当中排除黑色像素(即，由于第一二值化而灰度值为“0”的像素)相对于字符存在区域CR中的白色像素(即，由于第一二值化而灰度值为“255”的像素)的比例等于或大于预定值THR的候选，从而在序列号存在区域图像SNP中指定字符存在区域。例如，预定值THR被设置为20％。

<字符存在区域的具体示例4(图16)>

如图16所示，序列号识别单元24通过从步骤S207中检测到的字符存在区域的多个候选当中排除其中分布在字符存在区域CR中的黑色像素的数量等于或大于预定值THN的候选，从而在序列号存在区域图像SNP中指定字符存在区域。对于分布在字符存在区域CR中的黑色像素的数量，将在垂直、水平或倾斜方向上延伸的一系列黑色像素计为一个单位。作为示例，图16例示了所分布的黑色像素的数量为“6”的情况。

<字符存在区域的具体示例5(图17)>

如图17所示，序列号识别单元24通过从步骤S207中检测到的字符存在区域的多个候选当中排除距序列号存在区域图像SNP的每个边缘不超过预定距离D的候选，在序列号存在区域图像SNP中指定字符存在区域。例如，在图17所例示的示例中，在字符存在区域的多个候选CR11至CR17当中，候选CR11距序列号存在区域图像SNP的左边缘不大于预定距离D，候选CR13距序列号存在区域图像SNP的顶边缘不大于预定距离D，候选CR16距序列号存在区域图像SNP的底边缘不大于预定距离D，并且候选CR17距序列号存在区域图像SNP的右边缘不大于预定距离D。因此，在图17所示的示例中，从字符存在区域的多个候选CR11至CR17当中排除候选CR11、CR13、CR16和CR17，并且将字符存在区域CR12、CR14和CR15指定为序列号存在区域图像SNP中的字符存在区域。

<字符存在区域的具体示例6(图18)>

如图18所示，序列号识别单元24获取在步骤S207中检测到的字符存在区域的多个候选CR21、CR22和CR23中的每个的左上角的X坐标PX21、PX22和PX23，并且将X坐标PX21、PX22和PX23按升序排序。此后，根据排序顺序，序列号识别单元24计算X坐标PX22相对于X坐标PX21的距离XD1作为候选CR22相对于候选CR21的距离，然后计算X坐标PX23相对于X坐标PX22的距离XD2作为候选CR23相对于候选CR22的距离。此外，序列号识别单元24通过排除计算出的距离等于或大于预定值THX的候选，来在序列号存在区域图像SNP中指定字符存在区域。例如，在图18中，当距离XD1小于预定值THX并且距离XD2等于或大于预定值THX时，从字符存在区域的多个候选CR21、CR22和CR23中排除候选CR23，并且将字符存在区域CR21和CR22指定为序列号存在区域图像SNP中的字符存在区域。

<字符存在区域的具体示例7(图19)>

如图19所示，序列号识别单元24获取在步骤S207中检测到的字符存在区域的多个候选CR31、CR32和CR33中的每个的左上角的Y坐标PY31、PY32和PY33，并且将Y坐标PY31、PY32和PY33按升序排序。此后，根据排序顺序，序列号识别单元24计算Y坐标PY32相对于Y坐标PY31的距离YD1作为候选CR32相对于候选CR31的距离，然后计算Y坐标PY33相对于Y坐标PY32的距离YD2作为候选CR33相对于候选CR32的距离。此外，序列号识别单元24通过排除计算出的距离等于或大于预定值THY的候选，来在序列号存在区域图像SNP中指定字符存在区域。例如，在图19中，当距离YD1小于预定值THY并且距离YD2等于或大于预定值THY时，从字符存在区域的多个候选CR31、CR32和CR33当中排除候选CR33，并且符号存在区域CR31和CR32被指定为序列号存在区域图像SNP中的字符存在区域。

<字符存在区域的具体示例8(图20)>

在图20所示的示例中，序列号识别单元24首先针对字符存在区域获取分别在多个候选CR41至CR47的左上角的坐标CP41至CP47。此后，序列号识别单元24计算坐标CP41至CP47的平均值(以下有时称为“坐标平均值”)。接下来，序列号识别单元24针对候选CR41至CR47中的每个计算左上角坐标与坐标平均值之间的Mahalanobis(马哈拉诺比斯)距离。此外，序列号识别单元24通过排除计算出的Mahalanobis距离等于或大于预定值THM的候选，来在序列号存在区域图像SNP中指定字符存在区域。例如，在图20中，当候选CR41至CR46中的每个的Mahalanobis距离小于预定值THM，而候选CR47的Mahalanobis距离等于或大于预定值THM时，从字符存在区域的多个候选CR41至CR47中排除候选CR47，并且将字符存在区域CR41至CR46指定为序列号存在区域图像SNP中的字符存在区域。

这里，前述具体示例7、8和9(图18、图19和图20)共享的共同点在于：序列号识别单元24从字符存在区域的多个候选中排除了距其他候选的距离等于或大于预定值的候选。

<字符存在区域的具体示例9(图21)>

序列号识别单元24从步骤S207中检测到的字符存在区域的候选当中，通过在字符存在区域中的两个图像轮廓之间的最短距离小于预定值THL时整合两个图像轮廓，在序列号存在区域图像SNP中指定字符存在区域。例如，在图21所示的示例中，当在字符存在区域CR中图像轮廓CO1和图像轮廓CO2之间的最短距离DMIN小于预定值THL时，序列号识别单元24通过补偿图像轮廓CO1与图像轮廓CO2之间的像素PXA，来整合图像轮廓CO1与图像轮廓CO2而产生一个图像轮廓。

<字符存在区域的具体示例10(图22)>

当在步骤S207中检测到的字符存在区域的候选数量少于形成纸币BL的序列号的字符数量时，序列号识别单元24通过基于形成纸币BL的序列号的字符数量添加新的字符存在区域，在序列号存在区域图像SNP中指定字符存在区域。例如，在纸币BL的序列号由6个字符形成(如图7所示)，而在步骤S207中检测出的字符存在区域的候选为5个候选时(即，如图22所示的CR51至CR55)，字符存在区域的候选数量小于形成纸币BL的序列号的字符数量。此外，在图22所示的示例中，在字符存在区域的候选数量(五个)与形成纸币BL的序列号的字符数量(六个)之间存在一个的差异。因此，在图22所示的示例中，序列号识别单元24通过在候选CR51至CR55之外添加一个新的字符存在区域CR56，在序列号存在区域图像SNP中指定字符存在区域。例如，序列号识别单元24将字符存在区域CR56添加到距位于候选CR51至CR55当中的最右侧位置的候选CR55间隔L3(图7)的位置处。

上文已经描述了字符存在区域的具体示例1至10。通过向在步骤S207中检测到的多个字符存在区域候选应用上述具体示例1至10中的任意一个或更多个，将在步骤S209中指定的字符存在区域每个指定为存在字符图像的区域。

返回图5，接下来，在步骤S211中，序列号识别单元24将在步骤S209中指定的字符存在区域的数量(以下有时称为“特定区域计数”)设置为“N”。

此后，在步骤S213中，序列号识别单元24将计数器n的值设置为“n＝1”。

通过将在步骤S209中指定的多个字符存在区域中的每个作为处理对象，从序列号存在区域图像SNP中的最左侧的字符存在区域开始并随着计数器n的增加而向右移动，依次实施步骤S215至S229的处理。

在步骤S215中，序列号识别单元24将在步骤S209中指定的字符存在区域CR设置为纸币图像BLP，并从纸币图像BLP提取字符存在区域CR的图像(以下有时称为“字符存在区域图像”)。字符存在区域图像包括字符图像。

此后，在步骤S217中，序列号识别单元24对在步骤S215中提取的字符存在区域图像执行第二二值化处理。在第二二值化处理中，例如，序列号识别单元24通过使用作为典型二值化方法的“Otsu(大津)二值化”来对字符存在区域图像进行二值化。

接下来，在步骤S219中，例如，序列号识别单元24使用与在步骤S207中使用的方法相同的“边界跟踪”，以在已经过第二二值化的字符存在区域图像中检测字符图像，并且检测在检测的字符图像中包含的“孔数量”(以下有时称为“孔计数”)。这里，可能形成纸币BL的序列号的字符包括十个数字字符0至9和二十六个字母字符A至Z当中的任何字符。在这46个字符当中，在作为数字字符1、2、3、5和7或字母字符C、E、F、G、H、I、J、K、L、M、N、S、T、U、V、W、X、Y、Z的字符当中没有孔，在作为数字字符0、4、6、8和9和字母字符A、D、O、P和R的每个字符中有一个孔，而在每个字母字符B和Q中有两个孔。

接下来，在步骤S221中，序列号识别单元24使用在步骤S217中执行Otsu二值化时计算出的二值化阈值THO来校正第二二值化之前的字符存在区域图像的对比度。如图23所示，序列号识别单元24首先针对整个字符存在区域图像确定直方图HG1。接下来，序列号识别单元24针对直方图HG1设置二值化阈值THO。此外，序列号识别单元24检测直方图HG1中的灰度值的最小值MI。另外，序列号识别单元24将形成字符存在区域图像的全部像素当中灰度值等于或大于二值化阈值THO的像素的灰度值改变为“255”。此外，序列号识别单元24通过基于最小值MI和二值化阈值THO校正形成字符存在区域图像的全部像素当中灰度值在最小值MI和二值化阈值THO之间的像素(以下有时称为“关注像素”)的灰度值，来校正字符存在区域图像的对比度。例如，如图23所示，序列号识别单元24通过将直方图HG1改变为直方图HG2使得最小值MI为灰度值“0”并且二值化阈值THO为灰度值“255”，来校正关注像素的灰度值。因此，例如，灰度值为最小值MI的关注像素的灰度值被校正为“0”，并且灰度值为二值化阈值THO的关注像素的灰度值被校正为“255”。这样的对比度校正通过提高字符存在区域的对比度，能够增加在字符存在区域图像中表示识别对象的字符部分的灰度值与表示噪声的背景部分的灰度值之比。因此，在随后的步骤S225和S227中的字符识别时，由于构成噪声的背景部分的影响能够保持最小，因此能够提高字符识别的准确性。

返回图5，接下来，在步骤S223中，序列号识别单元24确定在步骤S219中检测到的孔计数是否为1或更大(即，字符图像是否有孔)。当字符图像中有孔(步骤S223：是)时，处理前进至步骤S225，而当字符图像中没有孔(步骤S223：否)时，处理前进至步骤S227。

这里，存储单元23存储第一学习模型和第二学习模型。第一学习模型是通过仅将可能用作纸币BL的序列号的字符0到9和A到Z当中的有孔的字符0、4、6、8、9、A、D、O、P、R、B和Q的图像作为训练数据，而将没有孔的字符1、2、3、5、7、C、E、F、G、H、I、J、K、L、M、N、S、T、U、V、W、X、Y和Z的图像不作为训练数据，使用CNN而生成的学习模型。同时，第二学习模型是通过仅将可能用作纸币BL的序列号的字符0到9和A到Z当中的没有孔的字符1、2、3、5、7、C、E、F、G、H、I、J、K、L、M、N、S、T、U、V、W、X、Y和Z的图像作为训练数据，而将有孔的字符0、4、6、8、9、A、D、O、P、R、B和Q的图像不作为训练数据，使用CNN而生成的学习模型。

因此，当步骤S223的确定为“是”时，序列号识别单元24使用第一学习模型在步骤S225中对经过对比度校正的字符存在区域图像执行使用CNN的字符识别。另一方面，当步骤S223的确定为“否”时，序列号识别单元24使用第二学习模型在步骤S227中对经过对比度校正的字符存在区域图像执行使用CNN的字符识别。作为步骤S225和S227的处理结果，序列号识别单元24获取通过字符识别识别出的字符并以及对该字符的得分。在步骤S225或步骤S227的处理之后，处理前进至步骤S229。

在步骤S229中，序列号识别单元24指定字符存在区域图像中所包含的字符。例如，假设以下情况：在步骤S225或步骤S227的处理中，识别出9个字符(即，0至9)，并且0.9765的得分被指配给“0”，0.005的得分被指配给“1”，0.004的得分被指配给“2”，0.003的得分被指配给“3”，0.03的得分被指配给“4”，0.04的得分被指配给“5”，0.865的得分被指配给“6”，0.06的得分被指配给“7”，0.05的得分被指配给“8”，并且0.654的得分被指配给“9”。在这种情况下，序列号识别单元24将具有最大得分的“0”指定为字符存在区域图像中所包含的字符。

这里，在具有最大得分的字符与具有第二得分的字符之间的得分之差的绝对值小于预定值THS的情况下，序列号识别单元24可以确定字符存在区域图像中所包含的字符是未知的。例如，当阈值THS被设置为0.15时，在前述示例中，指配给具有最高得分的字符“0”的得分为0.9765，指配给具有第二高得分的字符“6”的得分为0.865，并且因此，得分之间的差的绝对值为0.1115(其小于阈值THS)，因此序列号识别单元24确定字符存在区域图像中所包含的字符是未知的。

另外，例如，在存在于得分最高的字符中的孔的数量与步骤S219中检测到的孔计数不匹配的情况下，序列号识别单元24可以确定字符存在区域图像中所包含的字符是未知的。

例如，序列号识别单元24还可以通过使用边界跟踪来检测字符图像的周长，根据式(1)来归一化所检测到的周长，以及当在与归一化周长P相对应的字符组中不存在具有最高得分的字符时，确定字符存在区域图像中所包含的字符是未知的。在式(1)中，“D”表示使用边界跟踪检测到的字符图像的周长，“W”表示字符图像的宽度，而“H”表示字符图像的高度。

归一化周长P＝D/SQRT(W×H)...(1)

此后，在步骤S231中，序列号识别单元24确定计数器n的值是否已达到特定区域计数N。当计数器n的值尚未达到特定区域计数N(步骤S231：否)时，处理前进至步骤S233，并且当计数器n的值达到特定区域计数N(步骤S231：是)时，处理前进至步骤S235。

在步骤S233中，序列号识别单元24递增计数器n的值。在步骤S233的处理之后，处理返回到步骤S215。

同时，在步骤S235中，序列号识别单元24输出由多个字符形成的序列号的识别结果。例如，当纸币BL的序列号由六个字符l1至l6形成(如图7所示)时，随着计数器n的值从“1”增加到“6”，序列号识别单元24依次输出在步骤S229的处理中指定的六个字符作为序列号识别结果。例如，序列号识别单元24输出“BX3970”作为识别结果。

然而，序列号识别单元24通过用“？”代替如前所述输出那些确定为不清楚的字符来输出那些字符。例如，当序列号“BX3970”中的“9”被确定为不清楚时，序列号识别单元24输出“BX3？70”作为识别结果。

如先前所述，在第一实施方式中，纸币检查装置14具有存储单元23和序列号识别单元24。存储单元23存储使用有孔的字符图像作为训练数据而生成的第一学习模型以及使用没有孔的字符图像作为训练数据而生成的第二学习模型。序列号识别单元24在字符图像有孔时使用第一学习模型来识别形成纸币BL的序列号的字符，而当字符图像没有孔时，使用第二学习模型来识别形成纸币BL的序列号的字符。

因为通过根据形成纸币BL的序列号的字符的特征使用学习模型以这种方式来执行字符识别，所以能够提高序列号识别的准确性。

此外，根据第一实施方式，序列号识别单元24校正字符存在区域图像的对比度，并且基于经对比度校正的字符存在区域图像，使用第一学习模型或第二学习模型来识别形成序列号的字符。

因此，由于字符存在区域图像中的字符部分的灰度值与其中的背景部分的灰度值之比很大，因此能够进一步提高序列号识别的准确性。

此外，根据第一实施方式，序列号识别单元24使用第一二值化对纸币图像进行二值化，并且使用经二值化的纸币图像来指定纸币图像中的字符存在区域。另一方面，序列号识别单元24使用第二二值化来对字符存在区域图像进行二值化，并且使用二值化的字符存在区域图像来检测字符图像中的孔的数量。尽管在第二二值化的二值化中涉及更高的计算复杂度，但是优选地其比第一二值化具有更高的二值化准确度。例如，序列号识别单元24将以上处理示例1或处理示例2中所例示的二值化用于第一二值化，并且将Otsu二值化用于第二二值化。

因此，低计算复杂度的第一二值化能够应用于由大量像素形成的纸币图像，并且高精度的第二二值化能够应用于比纸币图像由更少像素形成的字符存在区域图像，因此，整体上，能够执行在满足必要的精度水平的同时抑制复杂度的二值化。

此外，根据第一实施方式，序列号识别单元24检测纸币图像BLP中的字符存在区域的多个候选，并基于所检测到的多个候选来指定字符存在区域。例如，序列号识别单元24根据前述具体示例1至10中的任何一个或更多个来指定字符存在区域。

因此，能够提高指定字符存在区域的准确度。

[第二实施方式]

<纸币检查装置的硬件构造>

纸币检查装置14能够通过以下硬件构造来实现。纸币拍摄单元21例如由相机实现。面额鉴别单元22例如由诸如光学传感器和磁传感器的各种传感器实现。序列号识别单元24例如由处理器实现。存储单元23例如由存储器实现。处理器的可能示例包括中央处理器(CPU)、数字信号处理器(DSP)和现场可编程门阵列(FPGA)。存储器的可能示例包括随机存取存储器(RAM)，诸如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)和闪存。

此外，可以通过使处理器执行与各个处理相对应的程序来实现在前述描述中由序列号识别单元24进行的各个处理。例如，与前述描述中由序列号识别单元24进行的各个处理相对应的程序可以存储在纸币处理装置1的存储器中，并且可以由纸币处理装置的处理器读取并执行该程序。此外，程序可以存储在经由可选网络连接到纸币处理装置1的程序服务器上，并且可以从程序服务器下载到纸币处理装置1并执行，或者可以存储在纸币处理装置1可以读取的记录介质上，并且从记录介质读取并执行该程序。纸币处理装置1可以读取的记录介质例如包括便携式存储介质(诸如存储卡、USB存储器、SD卡、软盘、磁光盘、CD-ROM、DVD以及Blu-ray(蓝光，注册商标)盘)。此外，程序是使用可选语言或可选描述方法描述的数据处理方法，并且具有与源代码和二进制代码无关的格式。此外，程序不必限于构造为单个单元，并且可以包括作为多个模块或多个库分布地配置的程序，以及与由操作系统(OS)表示的另一程序协作以实现其功能的程序。

附图标记的说明

1 纸币处理装置

14 纸币检查装置

21 纸币拍摄单元

22 面额鉴别单元

23 存储单元

24 序列号识别单元