基于笔画属性的手写笔画分组的方法和产品

摘要

本发明涉及基于笔画属性的手写笔画分组的方法和产品。一个实施方式提供了一种方法，该方法包括：接收多个手写墨迹笔画；使用处理器确定多个手写墨迹笔画的至少一个分组，其中，使用与多个手写墨迹笔画相关联的间距以及与多个手写墨迹笔画的至少一个部分相关联的至少一个属性来确定分组；将至少一个分组发送至识别引擎；从识别引擎接收机器输入；以及将机器输入显示在显示装置上。描述并要求保护了其他方面。

说明书

技术领域

本发明涉及基于笔画属性的手写笔画分组的方法和产品、以及信息处理装置。

背景技术

信息处理装置(“装置”)例如移动电话、智能电话、平板电脑装置、膝上型计算机等均准许用户使用手指或笔/触控笔来输入手写字。这使用户能够更自然地写字而不使用键盘。用户可以在输入栏中提供手写墨迹笔画(例如，字母、数字、字符、符号等)。然后，手写墨迹笔画可以被发送到识别软件以从手写墨迹笔画转换为机器输入或机器文本。

发明内容

总之，一方面提供了一种方法，包括：接收多个手写墨迹笔画；使用处理器确定多个手写墨迹笔画的至少一个分组，其中，使用与多个手写墨迹笔画相关联的间距以及与多个手写墨迹笔画的至少一个部分相关联的至少一个属性来确定所述分组；将至少一个分组发送至识别引擎；从识别引擎接收机器输入；以及将机器输入显示在显示装置上。

另一方面提供了一种信息处理装置，包括：处理器；显示装置，该显示装置在操作上耦接至处理器；存储器装置，该存储器装置存储指令，该指令可以由处理器执行以：接收多个手写墨迹笔画；确定多个手写墨迹笔画的至少一个分组，其中，使用与多个手写墨迹笔画相关联的间距以及与多个手写墨迹笔画的至少一个部分相关联的至少一个属性来确定所述分组；将至少一个分组发送至识别引擎；从识别引擎接收机器输入；以及将机器输入显示在显示装置上。

再一方面提供了一种产品，包括：存储有代码的存储装置，该代码可以由处理器执行并且包括：用于接收多个手写墨迹笔画的代码；用于确定多个手写墨迹笔画的至少一个分组的代码，其中，使用与多个手写墨迹笔画相关联的间距以及与多个手写墨迹笔画的至少一个部分相关联的至少一个属性来确定所述分组；用于将至少一个分组发送至识别引擎的代码；用于从识别引擎接收机器输入的代码；以及用于显示该机器输入的代码。

前述是概要，因此可以包含细节的简化、概括和省略；因此，本领域技术人员将理解的是，该概要仅仅是说明性的而不意在以任何方式进行限制。

为了更好地理解实施方式连同实施方式的其他和进一步特征和优点，参照以下的结合附图的描述。本发明的范围将在所附权利要求中指出。

附图说明

图1示出了信息处理装置线路的示例。

图2示出了信息处理装置线路的另一示例。

图3示出了基于笔画属性的墨迹笔画分组的示例方法。

具体实施方式

将容易理解的是，可以以除所描述的示例实施方式以外的多种不同的配置来布置和设计此处附图中大体描述并示出的实施方式的部件。因此，如在附图中表示的，示例实施方式的以下更详细的描述不意在限制所要求保护的实施方式的范围，而仅表示示例实施方式。

贯穿本说明书对“一个(one)实施方式”或“一种(an)实施方式”(等)的引用意味着结合实施方式所描述的特定特征、结构或特性被包含在至少一个实施方式中。因此，在贯穿本说明书中各处出现的短语“在一个实施方式中”或“在一种实施方式中”等未必都指同一实施方式。

此外，在一个或更多个实施方式中，可以以任何适当的方式对所描述的特征、结构或特性进行组合。在下面的描述中，提供了许多具体细节以给出对实施方式的透彻的理解。然而，相关领域的技术人员将认识到，可以在没有一个或更多个具体细节的情况下来实施各种实施方式，或者使用其他方法、部件、材料等来实施各种实施方式。在其他示例中，未详细地示出或描述公知的结构、材料或操作以避免混淆。

一些信息处理装置(例如，智能电话、平板电脑、智能手表、膝上型计算机、个人计算机等)使用户能够在输入栏中输入手写墨迹笔画。该输入栏可以位于信息处理装置(“装置”)上或可以通过有线连接或者无线连接在操作上耦接至该装置。用户通常期望手写墨迹笔画被转换为机器输入或机器文本。在这种情况下，装置可以将手写墨迹笔画(例如，字符、符号、数字、字母等)发送至识别引擎。手写墨迹笔画可以在用户提供输入时被发送至识别引擎。或者，可以在用户完成提供输入之后或者根据用户的发送墨迹笔画进行识别的命令来将墨迹笔画发送至识别引擎。然后，该引擎可以将手写墨迹笔画转换为机器输入或机器文本并且例如通过将机器输入显示在显示装置上来将其提供给用户。

可以将不同量的输入发送至识别引擎以转换为机器输入。例如，在一些情况下，使用间距(例如，词语、句子、段落等)或墨迹笔画接近度对墨迹笔画进行分组并且将包含在分组内的墨迹笔画发送至识别引擎。然后，识别引擎返回包括包含在分组中的所有墨迹笔画的整个字符串。例如，为了帮助识别引擎创建正确的转换，通常将包括邻近的墨迹笔画的一组墨迹笔画(例如，成对词语、短语等)发送至识别引擎。这使该识别能够使用上下文来确定正确的转换。当前的识别引擎一般仅分析上下文中的三个词语或四个词语。如果发送了太多词语，则引擎可能会变得迷惑或者可能刚好忽略了“额外”的墨迹笔画。问题在于难以确定应该将哪些词语以及多少词语发送至识别引擎以帮助上下文确定。

识别引擎发送在特定间距内的所有墨迹笔画的另一问题在于用户可能不意在将特定间距内的墨迹笔画的全部识别为一组。而是，用户可能想要将墨迹笔画识别为分开的词语。例如，用户可以以下述方式将词语写在一起：识别引擎将所述词语识别为整个句子，即使用户已经将所述词语写为不相关的词语也如此。当从识别引擎接收到机器输入时，引擎可能使用了所有墨迹笔画来确定上下文并且可能导致与用户所写的墨迹笔画不匹配的机器输入。此外，如果用户随后在与先前墨迹笔画的大致区域相同的区域内添加墨迹笔画，则识别引擎会将新旧墨迹笔画作为一组进行分析，即使这组墨迹笔画作为一组不合理，其也不意在成为一组。

当用户随后对已经被识别引擎识别的墨迹笔画进行注释时该方法的另一个问题出现了。在这样的情况下，通常在所述区域内的所有墨迹笔画即包括原始墨迹笔画和注释被发送至识别引擎。这种旧墨迹笔画或所识别的机器输入和新墨迹笔画的组合会造成识别引擎混合结果，结果是机器输入可能变得难以辨认，并且用户的原意可能变得迷惑。

或者，可以仅将注释发送至识别引擎。该方法的问题在于用户可能旨在用注释修改旧墨迹笔画或已识别的机器输入。例如，用户可以写词语“analyze”，随后对“ze”加删除线并且在该词语上方写上“sis”，意在构成词“analysis”。然而，识别引擎可能已经将“analyze”转换为机器输入并且当接收注释时，识别引擎可能仅返回“sis”，给出读取“analyze”以及在该词语上的“sis”的用户机器输入。

这些技术问题该用户带来的问题在于可能不会安装产生可识别的或正确的机器输入的方式来对墨迹笔画进行分组。特别的困难是确定应该将包含在特定间距内的哪些墨迹笔画发送至识别引擎。此外，当用户对先前输入的墨迹笔画或已识别的机器输入进行注释时，难以确定应该与所述墨迹笔画或机器输入一起分析该注释还是应该与所述墨迹笔画或机器输入分开地分析该注释。如果装置具有不仅基于间距而且基于墨迹笔画属性来对墨迹笔画进行智能分组的方法，则机器输入结果可以更准确地反映用户意图并且可以导致更好的机器输入转换。

因此，实施方式提供了基于墨迹笔画属性对墨迹笔画进行分组的方法。首先，与当前使用的方法相似，实施方式基于墨迹笔画间距来创建墨迹笔画的分组。然后实施方式确定手写墨迹笔画的属性(例如，颜色、宽度、尺寸、笔法、时间戳、识别置信度分数等)在墨迹笔画的不同部分之间是相似的还是不同的。当确定出属性是相似的还是不同的时，实施方式创建分组以发送至识别引擎。基于确定出属性是否相似，分组可以包含墨迹笔画的全部或者可以替代地包含墨迹笔画的子集。在一个实施方式中，该分组可以包含用户对先前输入的墨迹笔画或先前识别的机器输入作出的注释。识别引擎将包含在分组内的墨迹笔画转换为机器输入或机器文本。实施方式接收此机器输入并且将机器输入显示在针对用户的显示装置上。

通过参考附图可以最好地理解所示出的示例实施方式。下面的描述仅意在作为示例，并且简要示出了某些示例实施方式。

虽然在信息处理装置中可以利用各种其他电路、线路或部件，但是对于智能电话和/或平板电脑线路100来说，图1中示出的示例包括例如出现在平板电脑或其他移动计算平台中的片上系统设计。软件和一个或更多个处理器结合在单芯片110中。处理器包括本领域公知的内部运算单元、寄存器、高速缓存、总线、I/O端口等。内部总线等取决于不同的供应商，但是基本上所有外围装置(120)可以都附接至单芯片110。线路100将处理器、存储器控制以及I/O控制器集线器全部结合到单芯片110中。此外，这种类型的系统100通常不使用SATA或PCI或LPC。公共接口例如包括SDIO和I2C。

存在有一个或更多个电力管理电路130，例如电池管理单元BMU，该电力管理电路130对例如经由可再充电电池140供应的电力进行管理，可再充电电池140可以通过到电源(未示出)的连接来再充电。在至少一个设计中，单芯片如110用于提供类似BIOS的功能和DRAM存储器。

系统100通常包括用于连接到各种网络(例如电信网络和无线因特网装置如接入点)的WWAN收发器150和WLAN收发器160中的一个或更多个。此外，通常包括装置120，例如图像传感器如照相机。系统100通常包括用于数据输入包括手写输入以及显示/渲染的触摸屏170。系统100通常还包括各种存储器装置，例如闪存180和SDRAM(同步动态随机存储器)190。

图2描绘了信息处理装置电路、线路或部件的另一示例的框图。图2中描绘的示例可以对应于计算系统，例如由位于北卡罗来纳州莫里斯维尔的联想(美国)公司销售的THINKPAD系列个人计算机或其他装置。根据此处的描述明显的是，实施方式可以包括图2中示出的示例的特征中的仅一些特征或其他特征。

图2的示例包括所谓的芯片组210(一组一起工作的集成电路或芯片、芯片组)，芯片组210具有可以根据制造商(例如，INTEL、AMD、ARM等)而变化的架构。INTEL是英特尔公司在美国和其他国家的注册商标。AMD是超微半导体公司在美国和其他国家的注册商标。ARM是安谋股份有限公司在美国和其他国家的未注册商标。芯片组210的架构包括核和存储器控制组220以及I/O控制器集线器250，I/O控制器集线器250经由直接管理接口(DMI)242或链路控制器244交换信息(例如，数据、信号、命令等)。在图2中，DMI 242是芯片到芯片接口(有时也被称为是“北桥”和“南桥”之间的链路)。核和存储器控制组220包括经由前端总线(FSB)224交换信息的一个或更多个处理器222(例如，单核或多核)和存储控制集线器226；注意，组220的部件可以被集成在代替传统的“北桥”式架构的芯片中。一个或更多个处理器222包括本领域公知的内部运算单元、寄存器、高速缓存、总线、I/O端口等。

在图2中，存储控制集线器226与存储器240接口(例如，为可以被称为“系统存储器”或“存储器”的一类RAM提供支持)。存储控制集线器226还包括用于显示装置292(例如，CRT、平板、触摸屏等)的低压差分信号(LVDS)接口232。块238包括可以经由LVDS接口232(例如串行数字视频、HDMI(高清晰度多媒体接口)/DVI(数字视频接口)、显示端口)支持的一些技术。存储控制集线器226还包括可以支持独立显卡236的PCI-express(高速外部部件互连)接口(PCI-E)234。

在图2中，I/O控制器集线器250包括SATA接口251(例如，用于HDD(硬盘驱动器)、SDD(固态硬盘)280等)、PCI-E接口252(例如，用于无线连接282)、USB接口253(例如，用于装置284如数字化仪、键盘、鼠标、摄像头、电话、麦克风、存储装置、手写输入装置、其他连接装置等)、网络接口254(例如，LAN)、GPIO(通用输入输出)接口255、LPC接口270(用于ASIC(专用集成电路)271、TPM(可信平台模块)272、超级I/O 273、固件集线器274、BIOS支持275以及各种类型的存储器276如ROM(只读存储器)277、闪存278和NVRAM(非易失性随机存储器)279)、电力管理接口261、时钟发生器接口262、音频接口263(例如，用于扬声器294)、TCO接口264、系统管理总线接口265以及可以包括BIOS 268和启动代码290的SPI(串行)闪存266。I/O控制器集线器250可以包括千兆比特以太网支持。

系统在通电时可以被配置成执行在SPI闪存266内存储的、用于BIOS268的启动代码290，此后，在一个或更多个操作系统和应用程序软件(例如，存储在系统存储器240中)的控制下处理数据。操作系统可以存储在多种位置中的任何位置处，并且例如根据BIOS 268的指令来访问。如本文所述，装置可以包括比在图2的系统中示出的特征更少或者更多的特征。

通常，在装置例如平板电脑、智能电话、个人计算机装置和/或用户可以用于输入手写输入的电子装置中，可以使用例如如图1或图2所列出的信息处理装置线路。替代地，所述装置可以用于处理手写输入以及将该手写输入转换为机器输入或机器文本。例如，图1中所列出的线路可以在平板电脑或智能电话实施方式中实现，而图2所列出的线路可以在个人计算机实施方式中实现。

现在参考图3，在301处，实施方式可以接收多个手写墨迹笔画。在一个实施方式中，该接收可以包括接受用户已经在显示和/或输入装置上输入的手写输入。例如，用户可以在平板电脑的显示/输入装置上进行写入。替代地或附加地，所述接收可以包括从另一个信息处理装置接收先前输入的手写墨迹笔画。例如，用户可以在智能电话上输入手写输入。然后，智能电话可以将该手写输入发送至远程装置(例如，云装置、远程连接的存储装置、无线连接的信息处理装置、有线的信息处理装置等)用于分析和处理。

在一个实施方式中，多个墨迹笔画可以包含墨迹笔画的多个子集。例如，多个墨迹笔画可以包含墨迹笔画的两个子集，包含旧墨迹笔画的第一子集(即，由用户先前输入的墨迹笔画)以及包含新墨迹笔画的第二子集(即，由用户最近输入的墨迹笔画)。例如，用户可能已经在五分钟之前输入了墨迹笔画并且在两分钟之前对这些墨迹笔画添加了注释。五分钟之前输入的墨迹笔画可以被看作旧墨迹笔画，两分钟之前输入的墨迹笔画可以被看作新墨迹笔画。替代地，子集可以包含由不同于时间的属性来划分的墨迹笔画。例如，第一子集可以包含绿色的墨迹笔画，第二子集可以包含红色的墨迹笔画。两个子集仅用作示例，实施方式可以包含多于两个子集并且可以使用不同的属性来划分子集。

在302处，实施方式可以确定多个手写墨迹笔画的分组。在一个实施方式中，可以使用墨迹笔画的间距、距离或接近度来确定第一分组。例如，第一分组可因为所有墨迹笔画被包含在单个输入栏而被确定。作为替代示例，第一分组可因为所有墨迹笔画在中心点的一英寸半径内而被确定。

然后，实施方式可以确定是否应该将整个分组发送至识别引擎或者是否应该分解所述分组。换句话说，实施方式确定用户是否意在将词语的分组看作一组，或者用户是否可能意在将不同的墨迹笔画分开考虑。为了确定应该分开识别还是一起识别墨迹笔画，实施方式可以使用与墨迹笔画的至少一部分关联的属性。该属性可以与墨迹笔画本身关联。例如，分组可以取决于笔画颜色、笔画宽度、笔画尺寸、笔画笔法、笔画时间戳等。属性可以替代地基于墨迹笔画的位置，例如，如果一些墨迹笔画在其它墨迹笔画上方或下方，则其可以被分开分组。属性可以基于墨迹笔画的类型，例如，如果一些墨迹笔画是与数字截然不同的字符，则其可以被分开分组。

在替代实施方式中，分组可以基于识别置信度分数。例如，当分组被发送至识别引擎时，该识别引擎可以将墨迹笔画转换为机器输入。在所述转换之后，该识别引擎可以使用识别置信度分数(例如，引擎正确转换墨迹笔画的置信度如何)来确定分组是否正确。可以以本领域中公知的许多方法来计算识别置信度分数。如果置信度分数为低，则实施方式可以对墨迹笔画进行重新分组以创建可以接收更好的置信度分数的更好的分组。

在一个实施方式中，在302处，可以通过将墨迹笔画的一部分的一个或更多个选定的属性与该墨迹笔画的另一部分或其余部分的一个或更多个相同的属性进行比较来进行确定。例如，实施方式可以比较所有墨迹笔画之间的墨迹笔画的颜色。这可以确定包含在特定部分内的墨迹笔画例如词语是紫色，而包含在另一部分内的墨迹笔画例如另一词语是橙色。在一个实施方式中，所述部分可以包括实施方式可能在先前已经接收到的手写墨迹笔画的子集。然后，可以比较子集的属性以确定墨迹笔画的分组。

在302处，如果实施方式确定墨迹笔画的不同部分之间的属性是相似的，则实施方式可以将墨迹笔画分组在一起并且在303处将该分组发送至识别引擎。例如，假设接收到墨迹笔画的子集的实施方式与确定出子集之间的所有属性或大部分属性的实施方式是相似的，则分组可以包含墨迹笔画的第一子集和第二子集两者。然而，在302处，如果实施方式确定出墨迹笔画的不同部分之间的属性是不同的，则实施方式可将墨迹笔画分开为例如两个分开的组，并且在304处，将每个组分别发送至识别引擎。例如，如果实施方式确定出两个子集之间的属性是不同的，则将第一子集与第二子集分开地发送至识别引擎。

应该注意的是，即使不是所有的属性都相似，实施方式也可以将墨迹笔画分组在一起。例如，实施方式可以基于相似的其他属性来将已经以基本上不同的时间写入的墨迹笔画分组在一起。换句话说，单独的属性的差异或甚至多于一个的属性的差异不会导致分开的分组。

例如，实施方式可以接收与机器输入或先前输入的墨迹笔画邻近的手写墨迹笔画(例如，用户已经对先前输入的墨迹笔画或先前识别的机器输入进行了注释)，并且可以将这些手写墨迹笔画分组在一起。作为示例，用户可以写入被转换为机器输入的词语，然后可以接着删掉该机器输入词语并且在该词语上写另一词语。作为第二示例，用户可以写入被转换为机器输入的词语，然后删去与该词语关联的字母并且在该词语上写入新字母。在第一示例中，发送至识别引擎的分组可以仅包含在删去的词语上方的词语。在第二示例中，发送至识别引擎的分组可以包括先前识别的词语以及该词语上方的注释。

为了帮助确定是一起发送还是分开发送旧墨迹笔画/机器输入和注释，一个实施方式可以包括允许用户指示给实施方式应该一起发送或单独发送它们的特征。例如，实施方式可以将符号的特定分组识别为应该一起发送墨迹笔画和注释的指示。符号的该分组可以是默认的或者可以是用户设置的。例如，用户可以指示：如果实施方式检测到“＝+”，则其表明该组应该一起发送。

当实施方式已将部分在303处一起发送至识别引擎或者在304处分开地发送至识别引擎时，实施方式在305处都可以从识别引擎接收机器输入。该机器输入可以包括表示被发送至识别引擎的分组的机器文本。例如，如果该识别已经接收到手写墨迹笔画的第一子集，则机器输入可以包括机器文本，该机器文本包括被包括在第一子集中的词语。然后，在306处，实施方式可以将该机器文本显示在显示装置上。

因此，本文所描述的各种实施方式相对于当前手写识别引擎的技术改进在于：实施方式提供了不仅基于间距和墨迹笔画的接近度，而且基于与墨迹笔画的不同部分关联的属性对手写墨迹笔画进行分组的方法。使用本文所描述的技术，对发送至识别引擎的墨迹笔画的分组是更加智能的分组，这创建了与用户意图并且期望一起转换以及分开转换更相似的转换。因此，用户接收与他们实际输入的手写墨迹笔画更相似的机器输入。

如本领域的普通技术人员将理解的，各个方面可以实施为系统、方法或装置程序产品。因此，各个方面可以采用整体硬件实施方式的形式或采用包括软件的实施方式的形式，其在本文中可以全部统称为“电路”、“模块”或“系统”。此外，各个方面可以采用实施在一个或更多个装置可读介质中的装置程序产品的形式，所述一个或更多个装置可读介质包含有装置可读程序代码。

应当注意的是，可以使用由处理器执行的存储在装置可读存储介质例如非信号存储装置上的指令来实现本文中所描述的各种功能。存储装置可以是例如电子的、磁的、光学的、电磁的、红外的或半导体的系统、设备或装置，或前述的任何适当的组合。存储介质的更多的具体示例包括如下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁存储装置，或前述的任何适当的组合。在本文件的上下文中，存储介质不是信号，并且“非暂态”包括除信号介质之外的全部介质。

可以使用任何适当的介质，包括但不限于无线、有线、光缆、RF等或前述的任何适当的组合，来传输在存储介质上所包含的程序代码。

用于执行操作的程序代码可以以一种或更多种编程语言的任何组合来编写。程序代码可以完全地在单个装置上执行、部分地在单个装置上执行、作为独立软件包执行、部分地在单个装置上且部分地在另一装置上执行或完全在其他装置上执行。在一些情况下，可以通过任何类型的连接或网络(包括局域网(LAN)或广域网(WAN))来连接装置，或可以通过其他装置(例如，通过使用因特网服务提供商的因特网)、通过无线连接例如近场通信或通过线连接(例如，通过USB连接)来进行连接。

本文参照示出了根据各种示例实施方式的示例方法、装置和程序产品的附图描述了示例实施方式。要理解的是，动作和功能可以至少部分地由程序指令来实现。可以将这些程序指令提供给装置、专用信息处理装置或其他可编程数据处理装置的处理器，以产生机制，使得指令实现指定的功能/动作，所述指令经由装置的处理器被执行。

值得注意的是，虽然在附图中使用了特定的块，并且已经示出了块的特定顺序，但这些都是非限制性的示例。由于明确说明的示例仅用于描述的目的，而不被理解为限制，所以在某些情况下，可以组合两个或更多个块，可以将块分成两个或更多个块，或者可以根据需要将某些块重新排序或重新组织。

除非另行指明以外，否则本文所使用的单数“一个(a)”和“一个(an)”可以被理解为包括复数“一个或更多个”。

为了说明和描述的目的给出了本公开内容，而非意在是穷举或限制。对于本领域普通技术人员来说，许多修改和变化是明显的。选择并描述示例实施方式以便说明原理和实际应用，并且使得本领域其他技术人员能够理解本公开内容，本公开内容的各种实施方式具有与预期的特定用途相适应的多种修改。

因此，尽管本文已经参考附图描述了说明性的示例实施方式，但要理解的是，该描述不是限制性的，并且在不偏离本公开内容的范围或精神的情况下本领域技术人员可以作出各种其他变化和修改。