通过自适应概率加权提高字符识别准确性的系统和方法

摘要

本发明公开一种数据处理系统及方法，该系统及方法从几个字符识别程序中选择一个字符识别程序，该程序可对文件格式图象中的域内字符的识别准确性进行优化。考虑了特殊字符的字符格式及域类型并且在几个可能采用的候选字符识别程序中根据实时性进行了优化选择。字符识别操作的结果对于预先打印形式中的变化很大的字符格式及域类型的识别具有最大的准确性。

说明书

本发明一般涉及数据处理系统并且特别涉及到文本图象的字符识别。

本专利申请与T.S.Betts等于1992年4月15日提出的、序号为07/870，129、名称为“对文件格式扫描图象的字符识别错误进行顺序修改的数据处理系统及方法”的共同未决美国专利申请相关，Betts等的申请已转让给IBM公司，在这里，该申请作为参考加以引用。

本专利申请还与Betts等于1992年4月17日提出的、序号为07/870，507、名称为“对文件格式扫描图象的字符识别过程和编码数据修改过程进行规范选择的数据处理系统和方法”的共同未决美国专利申请相关，Betts等的申请已转给IBM公司，在这里该申请作为参考加以引用。

本专利申请还与R.G.Casey等于1989年2月2日提出的、名称为“打印格式数据自动析取的计算机实现方法”的共同未决美国专利申请相关，Casey等的申请已转让给IBM公司，在这里只作为参考加以引用。

在数据处理领域中，通过昂贵的花销已开发出文本图象字符识别技术。有许多商业上可得到的字符识别计算机程序和设备，这些程序和设备接收一个字母数字文本图象并将其转换成一串字母数字编码数据字符。每个商业可得到的字符识别产品的特性通常表现在其生产厂家所具有的某方面的更为合适的优势。某些字符识别程序在将机器击打打印图象转换成编码数据字符串方面非常出色，但是在转换点阵方面却不行。其他的字符识别程序设计成可转换手写字符，这些手写字符或者是限制在长方形方框内的手写字符或者是非限制性的手写字符，这些特殊的字符识别程序不能用于其他字符形式类型。将字符格式的种类诸如机器击打打印类、点阵打印类、限制性手写类或非限制性手写类及相似种类看作是字符格式的变化。文本的另一个变化种类是域类型种类，对于该种类，某些字符识别程序的识别比其他程序更为准确。例如域类型可以全部是数字域，可以全部是大写字母或小写字母的字母域，也可是某些大写字母和某些小写字母的混合字母域以及相似域类型。某些字符识别程序在准确地转换数字域上要比准确地转换字母字符域或混合字符域强得多。字符识别程序在字符格式及域类型变化很大的范围上只能进行有限识别的原因是：字符识别程序一般基于单个或有限个字符识别算法，如模式识别、神经网络、字符特征或其他字符识别算法。

当分析多种文本格式时，这种多字符格式及域类型的限制就会产生问题，而对于字符格式及域类型，现有字符识别程序是有用的。现在需要一种能够克服单个字符识别产品弱点的方法，以便提高系统的整个性能，该系统必须能够分析非常多的字符格式及域类型。

所以本发明的目的就是提供一种改进了的用来准确地对具有很多种字符格式或域类型的文本进行字符识别的方法。

本发明的另一个目的是克服单个字符识别程序产品的弱点以便提高系统的性能，该系统必须能够对来自很多种字符格式及域类型的字符进行识别。

通过自适应概率加权来提高字符识别准确性的系统和方法实现了这些目的、特性和优势。公开了一种数据处理系统和方法，该系统包括文本图象输入设备如扫描器、格式识别程序、域析取程序及多个字符识别程序。本发明涉及到选择多个字符识别程序中的哪一个程序来识别文件格式图象中的域中字符的系统和方法。

每个字符识别程序在识别字符格式诸如机器击打打印、点阵打印、限制性手写体、非限制性手写体和相似的字符格式方面具有某种优点，同时也有其他缺点。对于各个字符识别程序来说，这些优点和缺点可通过输入到数据处理系统内的字符格式置信度表来表示。

相似地，每个字符识别程序在识别诸如数字型、字母型（全部大写或全部小写或大小写混合）、字母及数字混合型和相似的类型方面有一定的优点，同时也有其他缺点。对于众多字符识别程序中的每个程序来说，这些优点和缺点可通过输入到数据处理系统中的域类型置信度表来表示。

由于对一个特定字符识别程序的优点和缺点的原有估计可能不准确，因此在这里，本公开发明通过对多个字符识别程序中的每一个使用自适应概率加权因子来提供对这些优点的估计的修改方法。当将多个字符识别程序应用到字符格式和域类型的特定组合中时，自适应概率加权因子就可将最好的字符识别程序更准确地选择出来。由于这种组合可能会从格式中的一个域变化到下一个域，因此当分析格式中的连续域时，本发明提供了不同的自适应概率加权因子的快速应用。

每个字符识别程序在数据处理系统中生成第一猜测字符和第一置信值以及第二猜测字符和第二置信值。

然后数据处理系统计算OCR（光学字符识别）装置选择置信度，它为字符格式置信度、域类型置信度、自适应概率加权因子与第一置信值和第二置信值两者之差连乘的结果。当考虑到对特定域进行分析时，每个字符识别程序都要做这种计算。

接着数据处理系统在多个字符识别程序中选择具有最大OCR装置选择置信度值的那个程序。然后选择域内字符的最好猜测并将其插入到识别结果数据包中，该数据包可用作被分析域图象中的编码数据的信息表示。

数据处理系统还包括对识别结果数据包进行取样的监视及改正站。这种监视和改正可在人工站通过操作员观察来自识别结果数据包的编码数据以及观察原来的填写格式的图象来完成。也可通过自动错误检测程序来完成对某些域类型诸如州名及邮政编码混合型的监视和改正，州名和邮政编码可在邮政编码目录中核查到。当查出错误时，就注明生成错误的字符识别程序名，并且维持一个运行计数器用来记载那个字符识别程序对于特定的字符格式和域类型的混合产生了识别错误。这些错误计数器记录在一个错误计数表中。

举例来说，在一天结束时，数据处理系统通过对多个字符识别程序的每一个进行自适应概率加权因子的新值计算以及通过一个用来修改现有自适应概率加权因子的、从错误计数中导出的值来更新自适应概率加权因子。对于每个字符格式及域类型的混合都进行这种更新。

在这种方式下，本公开发明通过使用多个字符识别程序中每个程序的自适应概率加权因子来提供修改评估每个字符识别程序优点的方法。

通过参考附图可以更加完全理解这些目的、特性及优势。

图1是本发明的综合逻辑图。

图2A及图2B是识别站程序200更为详细的流程图。

图3是识别站300的结构图。

图4是局域网400的结构图，局域网400包括识别站处理器300和舍弃监视及改正站处理器500。

图5是监视改正站500的结构图。

图6是监视和改正站程序流程图。

图7是自适应概率加权因子更新程序的流程图。

图8A表示取样包的错误计数表800。

图8B表示目前所有采样字符表。

图8C表示现有自适应概率加权表。

图8D表示新的自适应概率加权表。

图9A表示字符格式置信度表。

图9B表示域类型置信度表。

图1是综合流程图而图2是操作步骤序列的更为详细的流程图，这些操作步骤是由图3识别站300执行的。识别站300与局域网（LAN）400相连，如图4所示，并且通过对文件的扫描来生成文件图象从而生成结果包260及格式图象100。典型的由识别站处理器300扫描的各文件都是格式，这些格式具有位于预先定义单元上的预先定义域，这些预先定义单元具有预先定义域类型，所有域类型由格式定义数据集说明。图4局域网络400将结果包260及格式图象100传送到人工舍弃监视及改正站处理机500或自动舍弃监视及改正站600中。监视及改正站处理机将累计在识别站处理机300上执行字符识别操作时所发生的错误，并且将制定一个新的加权表810，该表通过局域网400传回到识别站300上。图5表示监视及改正站500，该站监视字符识别中发生的错误并且为识别站处理机生成一个更新加权表。

回到图1，扫描器102将扫描文件100并生成文件100的数字图象。文件100是预先定义格式的、具有至少两个域如图示1号域及2号域。图1所示的1号域的图象是字符串abcd104。图1所示的第一个字符“a”106被送到3个OCR（光学字符识别装置）的输入端或字符识别装置110的输入端，OCR1，OCR2和OCR3中。每个字符识别装置对输入的字符图象106执行各自的字符识别操作，并且生成第一猜测字符114及相应的置信值116，同时它还生成第二猜测字符118及相应的置信值120。这里用术语G11，C11分别代表OCR1的第一猜测字符和其相应的置信值，G21，C21分别代表OCR1的第二猜测字符和其相应的置信值。图1中也表示了OCR2和OCR3相应的第一猜测字符和置信值及第二猜测字符和置信值。

图1的步骤122决定三个字符识别装置110的每个装置的第一猜测字符是否相同，举例来说，如果OCR1，OCR2和OCR3都生成第一猜测字符114并且实际上第一猜测字符114就是输入字符图象106“a”，那么步骤122流向识别结果包260的形成处。图1所示的识别结果数据包260是一个由识别站处理机300构成的数据包封。识别结果数据包260包括图象地址136，格式标识138，其即为文件100，1号域140及1号字符格式，该字符格式一般由一个或多个字符识别装置所决定并被插入到域141中。域142包括第一字符的猜测字符，该域既包括猜测字符又包括生成特定猜测字符的字符识别装置110中各个装置的标识符。例如，图1所示的域142包含OCR1的猜测GA11，同时也包括这样的事实：所有三个字符识别装置110，即OCR1，OCR2和OCR3都猜到了相同的字符“a”。域144包含字符串图象104中第二个字符“b”的猜测字符。第二个字符的猜测字符是GB11并且在这个例子中，第一和第二识别装置110即OCR1和OCR2所猜测的字符都是“b”。第三个装置或OCR3没有猜到相同的字符，因此没有被选择代表第二个字符。对图1中的识别结果数据包260的检查表明：OCR2单独在域146中生成第三猜测字符同时两个识别装置OCR2和OCR3在域148对第四个字符进行了猜测。用154表示的1号域是识别结果数据包260的一部分。用156表示的第二个2号域包括了用150表示的2号域和用152表示的2号字符格式信息。字符格式信息一般由字符识别装置110生成。

在步骤122，如果对于第一猜测字符114，各字符识别装置110的猜测结果不全一样，那么程序流向计算OCR装置选择置信度F1、F2及F3的步骤124、126及128处。当各个字符识别装置的猜测结果不全一样时，装置选择置信度使得系统能够选择对受分析字符哪个或哪几个字符识别装置具有最好猜测。装置选择置信度的计算取决于字符格式置信度Fcf，Fcf表示每个特定字符识别装置对于具有每个特殊字符格式CF的各个字符进行准确识别的能力。图9A是表示字符格式置信度900表的一个例子。装置选择置信度的计算也取决于域类型置信度Fft，该Fft表示各个识别装置对每个特定域类型进行准确识别的能力。图9B的表902表示域类型置信度的一个例子。例如，对于3个商业可得的字符识别程序来讲，机器击打打印的字符格式置信度分别是99%，95%，99%。对于点阵字符，它们分别是70%，90%和90%。对于限制性手写字符，它们分别是30%，95%和99%。对于非限制性手写字符，它们分别是20%，85%和90%。相同顺序的3个相同的字符识别程序分别具有100%，100%和100%的数字字符的域类型置信度。对于所有大写字母字符，它们的域类型置信度分别为98%，98%和80%。对于混合的大写字母及数字字符，它们的域类型置信度分别为90%，97%和50%。

图1中计算的装置选择置信度也取决于第二猜测字符替换第一猜测字符的概率。为了分析特殊字符图象的特殊字符识别装置的输出，装置选择置信度可通过计算第一猜测字符的置信值与第二猜测字符的置信值的差值来建立。

字符格式置信度、域类型置信度与特殊猜测的第一置信值与第二置信值的差值连乘的结果即为装置选择置信度，然后这个结果再与自适应概率加权因子相乘。

对于系统中其他字符识别处理机，根据它们提供的对特殊字符格式及域类型的长期准确识别的能力，来使用自适应概率加权因子Wp在一段时间内调整对特殊字符识别处理器的选择。自适应概率加权因子的初值设置为1，以后随着对各个字符识别装置的运转状态的监视，来调整自适应概率加权因子以便能选择对字符格式及域类型的特殊组合进行最好识别的字符识别程序。

图1中，在步骤124，126和128分别计算完字符识别装置OCR1，OCR2及OCR3的装置选择置信度F1，F2和F3后，程序流向步骤232处。在步骤232，确定是否OCR1与OCR2的第一猜测是一样的并且不等于OCR3的猜测。如果这为真，而且如果装置选择置信度F1或F2大于F3，那么猜测G被设置成等于OCR1或OCR2的猜测G11（1，2）。如果F3大于F1及F2，那么OCR3肯定是这个字符的最好猜测，因此G被设置成等于G13（3）。然后程序流向识别结果数据包260的形成处，在260，将最好的猜测插入到154的合适域中。

如果步骤232不能满足，那么程序流向步骤234处，该步骤判定OCR2的第一猜测是否等于OCR3的第一猜测以及判字它们是否不等于OCR1的第一猜测，如果答案是肯定的，那么就判定装置选择置信度F2或F3是否大于F1，如果大于，那么猜测G被设置成等于OCR2或OCR3的第一猜测G12（2，3）。如果F1大于F2和F3，那么G被设置成为最好猜测并等于OCR1的输出G11（1）。然后程序流向识别结果数据包260的形成处。

如果步骤234不能满足，那么程序流向步骤236处，该步骤判定OCR1的第一猜测114的输出是否与OCR3的第一猜测相同并且判定它们与OCR2的第一猜测是否不相等。如果回答是肯定的，那么步骤236判定是否装置选择置信度F1或F3大于F2，如果大于，那么最好猜测G被设置成等于OCR1或OCR3的输出G11（1，3）。如果不大于，并且F2大于F1和F3，那么G被设置成等于OCR2的输出G12（2）。然后步骤236流向识别结果数据包260的形成处。

图2A和图2B提供了识别站程序200的工作步骤序列的更为详细的流程图。步骤202在放大形式图象中扫描。步骤204执行格式识别用来获取格式标识符（ID）。步骤206通过使用格式ID存取格式定义数据集，用来取得格式类型，域ID和域坐标以及每个特殊域的域类型。此外格式定义数据集也可包括限制性或非限制性域的信息。然后步骤208取得域类型并且差别域类型是数字的还是字母的，如果是数字或字母的，那么判别是否都是大写字符或大小写字符混合，或者是字母与数字混合。格式定义数据集提供的域类型信息也可包括某些字符格式信息，例如，如果域是限制性区域，那么如果在该域中发现任何手写字符，那么它们就是限制性手写字符或非限制性手写字符，两者都是字符格式属性。

然后图2A的方法流向步骤210，该步骤分别包括生成字符G11，G12及G13的第一猜测以及相应的置信度C11，C12及C13的字符识别程序110。然后步骤212包括生成字符G21，G22及G23的第二猜测以及相应的置信度C21，C22及C23的相应字符识别程序110。

接着图2A的步骤214判别G11是否等于G12和等于G13，这种相等情况发生在所有三个字符识别程序OCR1，OCR2和OCR3的第一猜测都相同时。如果是这种相等情况，那么程序就流向步骤238。但是如果不相等的话，程序就流向步骤216，该步骤开始选择由哪个字符识别装置来接收这个受分析的特殊字符的过程。步骤218使得每个字符识别装置执行分析并且作为副产品输出字符格式的猜测。这可用作对字符格式是点阵、连续机器打印或手写的一个猜测。商用字符识别程序一般提供这种输出，这种输出一般很容易由传统字符识别算法决定。举例来说，点阵字符格式具有与连续机器打印字符格式迥然不同的象元结构。这种信息作为值CF输出并且一般与系统中所有的字符识别程序一致。如果各字符识别装置偶然对一个受分析的特殊字符格式CF有不同的识别结果，那么就进行投票并且选择大多数字符识别程序输出的那个字符格式CF作为在图2A及图2B的程序中使用的CF值。

然后程序流向图2B，在图2B，步骤219开始一个在步骤219与步骤230之间的循环，用来计算第i个字符识别装置（OCD）或OCR110的装置选择置信度Fi。步骤220使用字符格式CF及域类型FT来访问图8C所示的第i个OCR装置的自适应概率加权因子Wp表，第i个OCR装置指的是第i个字符识别装置110。然后步骤222使用字符格式CF从图9A所示的表900中访问第i个OCR装置或字符识别程序110的字符格式置信度Fcf。接着步骤226和228计算第i个字符识别程序110的装置选择置信度Fi。在步骤228可见，装置选择置信度Fi等于自适应概率加权因子Wp乘以字符格式置信度Fcf再乘以域类型置信度Fft再乘以第一猜测置信度与第二猜测置信度的差或者第一个OCR1的C11与C21之差的乘积。然后步骤230判定系统中是否还有更多的字符识别程序必须计算装置选择置信度。如果有这样的字符识别程序，那么索引值“i”加1并且程序流向步骤219。相反，程序流向步骤232。

步骤232、234和236以如前所述的相同方式执行，这里，在三个字符识别程序OCR1，OCR2和OCR3的三个第一猜测输出之中，识别出一个最好猜测的特殊值G。然后当条件满足时，步骤232，234或236流向步骤238用来将字符猜测G插入到识别结果数据包260中。

如果要分析的域中有更多的字符，那么程序流向步骤210。如果要分析的格式中有更多的域，那么程序流向步骤206。在要分析的格式中所有域按这种方式处理完后，识别结果数据包260就由识别站处理机300输出，用于数据处理系统，数据处理系统将根据字母数字编码数据串进行操作，用来执行编程应用。

图3表示识别站处理机300。它包括通过总线305与CPU304相连的存储器302。与总线305连接的还有磁盘存储器306，与LAN400相连的LAN适配器308。与总线305相连的还有扫描器适配器310。其与扫描装置相连，该扫描装置把诸如文件100的硬拷贝文件格式转换成那个文件格式的数字图象100′。键盘312，显示器314及鼠标适配器316也连接在总线305上。

存储器302包括识别站程序200，格式识别程序320，格式定义数据集分区322，OCR1，OCR2和OCR3的字符识别程序的分区326，328和330。分区332为OCR1的第一猜测G11及置信度C11、OCR2的G12及C12和OCR3的GB及C13提供了存储器。分区344为OCR1，OCR2和OCR3的各个第二猜测字符及其相应的置信度提供了相似的存储器。

存储器302还包括用于字符格式CF的分区336和用于格式类型FT的分区324。自适应概率加权表810连同字符格式置信度表900和域类型置信度表902一起存放在内存302中。分区344为OCR装置选择置信度F1，F2及F3提供了工作区和存储单元。分区350用来组装和存储识别结果数据包260。

操作系统352也存放在存储器302中。存放在存储器302的程序是代表相应操作步骤序列的可执行指令序列，该指令序列在CPU中是可执行的，用来完成预定功能和操作。因此，识别站处理机300为了系统中其他处理机的使用，将识别结果数据包260输出到局域网络400上。

图4表示将图3所示的识别站处理机300与图5所示的人工舍弃监视及改正处理器500互联的局域网400。结果包260及格式图象100′被从识别站处理机300中传送到监视及改正站处理机500中。

图5表示包括了通过总线505与CPU504相连的存储器502的监视及改正站处理器500。与总线505相连的还有磁盘存储器506和连在LAN400上的LAN适配器508。与总线505相连的还有打印机适配器510，键盘512，显示器514及鼠标适配器516。

监视及改正站程序700和自适应概率加权因子更新程序750都存放在存储器502中。分区522存储格式定义数据集，分区520存储识别结果数据包260，该数据包260是通过局域网400从识别站处理机300中接收的。存储器502还包括用于图8A的取样数据包表800的错误计数存储分区，用于图8B所示的目前所有抽样字符表802的存储分区，用于图8C所示的现有自适应概率加权表804以及图8D所示的新自适应概率加权表810的存储分区。此外，格式图象显示缓冲区560表示存放在其中的格式XYZ的图象，该格式包括名字域，州域，邮政编码域和驾驶证号域。存储器502还包括编码数据显示缓冲区570，该缓冲区包括从识别结果数据包260中析取的各编码数据字符串，数据包260中的那些域与在格式图象显示缓冲区560里的图象中出现的那些域相对应。存储器502还包括操作系统580。存储在存储器502中的程序是可执行指令序列，这些指令序列可由CPU504执行用来完成预期的功能。

图6是监视及改正站程序700的操作步骤序列流程图。步骤702接收识别结果数据包600。步骤704将目前取样的总字符数加1，该数是图8B的表802所示的总加CNT。步骤706从要分析的特殊字符格式的格式定义数据集中取得所有域坐标。步骤708显示所有来自数据包的字符识别猜测，这些字符识别猜测可作为图5的分区570里的域格式化位置中的编码数据。步骤710取得格式扫描图象100′并且在图5的分区560中显示这个图象100′。

图6的步骤712接收操作员指定的错误字符，该错误字符在图5的分区570里的编码数据字符中显示。步骤714从图5分区550中的结果数据包260中取得相应于指定字符的识别字符猜测G（i，i…）。步骤716从结果数据包260中取得生成识别字符猜测的字符识别程序的标识“i”。步骤718从结果数据包260中取得域的字符格式CF。步骤720从格式定义数据集中取得域类型FT。步骤722接收来自键盘的正确字符，操作员观察正在显示的、存放在分区560中的图象并且将错误字符改正过来。然后步骤704将正确的字符插入结果数据包226中。然后步骤726将生成错误的OCR装置的错误计数EC加1并且将EC输入到图8A所示的取样数据包表800的错误计数中。然后程序转入步骤728，返回主程序。

图7是自适应概率加权因子更新程序750的操作步骤的流程图。步骤752为每个字符格式CF、域类型FT和字符识别程序“i”或OCRi开始一个循环。在错误统计已被累计并记录在图8A表800之后，这个程序可在一天结束或任意合适时间段结束时在监视及改正站500上执行。程序流向步骤754，步骤754为处理每个特殊字符格式CF和域类型FT的特殊字符识别程序计算更新过的自适应概率加权因子Wp。在这个例子中，自适应率加权因子的更新是由图8C的表804中的现有自适应概率加权的各加权与调整值相乘一起完成的。在这个例子中，对于这些存放在图8B的表802中的特殊字符识别程序和字符格式CF及域类型FT的特殊组合来讲，该调整值是错误计数EC乘以目前取样的总字符数的错误计数总加。然后该值被在所有识别结果数据包260中取样的所有字符总加所除。这会平滑错误计数的短期变化，所以它们不会过分影响累计的自适应概率加权因子值，这些加权因子值已在很长的时间段内累计。然后步骤754循环回到步骤752，这样每个字符识别程序“i”的每个字符格式CF及每个域类型的循环就完成了。结果，图8C的表804中的现有自适应概率加权Wp1就转换成图8D的表810中的新自适应概率加权Wp2。然后图7步骤756中图8D的表810新的自适应概率加权Wp2被送到识别站300上。接着图77的程序流向步骤758，该步骤返回到主程序。

因此，由图8A表800中的取样数据包错误计数所表示的累计错误统计用来调整自适应概率加权Wp以便可生成一个更新表810，该更新表810得益于对监视错误累计的了解，对这些错误的累计的监视是在将字符识别程序应用到大量要分析的填写格式中进行的。

一般地，要进行字符识别的格式的10%取样会产生足够的错误统计，这些错误统计允许对表810中的自适应概率加权进行更新用以优化对对应用到字符格式及域类型特殊组合的最准确的字符识别程序的选择。

尽管在上述例子中使用了三个字符识别装置用来选择特殊字符格式及域类型的最优字符识别装置，但是也可使用其他数量的字符识别装置及上述使用的方法。

人工舍弃监视及改正站处理器500也可包括图4所示的自动监视及改正处理器600，该处理器自动检测第一猜测字符的错误并生成替代第一猜测字行的正确字符。举例来说，这种检测可在诸如混合的邮政编码及州域中进行。例如，如果在州域中检测到一个错误，那么在另一个域也按相同格式出现的邮政编码可用来访问邮政编码目录，用以决定正确的州名。然后州域中的错误字符被改正并且错误改正统计表800相应地加1。

尽管只说明了本发明的一个特殊实施例，但技术熟练的人会理解可对这个特殊实施例进行变动，只要不脱离本发明的实质及范围。