对流格式文档中的布局结构元素进行色彩编码

摘要

提供了色彩编码引擎和比较引擎。色彩编码引擎可被利用来检测流格式文档中的逻辑布局对象属性，并将唯一性的色彩应用于与每一逻辑布局对象属性相关联的文本元素。得到的经色彩编码的文档可被保存为目标流格式文档。目标流格式文档可被转换成固定格式文档，并随后被转换引擎转换成流格式文档。得到的经转换流格式文档可被保存为输出流格式文档。比较引擎可被利用来将输出流格式文档和目标流格式文档进行比较以确定布局信息是否已在文档转换过程中被正确地保留。

说明书

背景

流格式文档和固定格式文档被广泛使用且具有不同的目的。流格式文档使 用诸如章节、段落、列和表之类的复杂逻辑格式化对象来组织文档。结果，流 格式文档提供了灵活性且容易修改，使得它们适用于涉及被频繁更新或受到相 当多编辑的文档的任务。相反，固定格式文档使用诸如文本串、路径和图像之 类的基本物理布局元素来组织文档以保留原始外观。固定格式文档提供了一致 且精确的格式布局，使得它们适用于涉及不被频繁或大量改变的或其中需要统 一性的文档的任务。这样的任务的示例包括文档归档、高质量再现、以及用于 商业发布和印刷的源文件。固定格式文档通常从流格式源文档中创建。固定格 式文档还包括物理(即，纸质)文档的数字化再现(例如，扫描和照片)。

在其中需要编辑固定格式文档但流格式源文档不可用的情况下，固定格式 文档必须被转换成流格式文档。转换涉及解析该固定格式文档并将来自固定格 式文档的基本物理布局元素变换成在流格式文档中使用的更复杂的逻辑元素。

在针对准确性对转换过程进行测试时，在进行了到流格式文档的固定格式 文档转换之后的输出可被测试以确定布局信息是否从固定格式文档中被正确 地提取。固定格式文档具有有限的工具用于保留文档布局信息。目前，对一些 布局特征的测试可能需要对这些布局特征进行人工视觉检查。例如，测试者可 观看转换成流格式文档之前的文档和转换之后的文档以查看特征(诸如，段落) 是否是相同的并因此被正确地转换。如可领会的，人工视觉检查可能是低效的 并易引起人为错误。例如，测试者可能观看经转换文档中的标题，并可确定它 看上去好像它在页面顶部的正确位置中；然而该标题可能不在该文档的标题区 域中。

本发明正是对于这些和其他考虑事项而做出的。

概述

本发明的各实施例通过利用色彩将与文档的布局结构特征和属性有关的 信息嵌入到该文档的内容中来解决以上和其他问题。

色彩编码可被利用来在文档中的不同布局结构元素之间进行区分。色彩编 码引擎可被利用来检测流格式文档中的逻辑布局对象属性，并将唯一的色彩应 用于与每一逻辑布局对象属性相关联的文本元素。得到的经色彩编码的文档可 被保存为目标流格式文档并被转换成固定格式文档。固定格式文档可被转换引 擎转换成流格式文档并被保存为输出流格式文档。比较引擎可被利用来将输出 流格式文档和目标流格式文档进行比较以确定布局信息是否已在文档转换过 程中被正确地保留。

一个或多个实施例的详情在附图及以下描述中阐述。通过阅读以下详细描 述并查阅相关联的附图，其它特征和优点将是显而易见的。应该理解，下述详 细的描述仅是说明性的，而不是对所要求保护的发明的限制。

提供本发明内容以便以简化的形式介绍将在以下具体实施方式中进一步 描述的一些概念。本发明内容并不旨在标识所要求保护的主题的关键特征或必 要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图简述

合并在本发明中并构成其一部分的附图示出本发明的各种实施方式。在附 图中：

图1是包括文档转换器的系统的一个实施例的框图；

图2是示出文档处理器的一个实施例的操作流程的框图；

图3是包括色彩编码引擎和比较引擎的往返方法的一个实施例的框图；

图4是对示例目标文档及输出文档中的经色彩编码的逻辑布局对象进行比 较的图示；

图5是对示例目标文档及输出文档中的经色彩编码的逻辑布局对象属性进 行比较的图示；

图6是示例报告的图示；

图7是用于利用色彩编码来检测在从固定格式文档转换成的流格式文档中 的布局信息的方法的流程图；

图8是示出可用来实施本发明的各实施例的计算设备的示例物理组件的框 图；

图9A和9B是可用来实施本发明的各实施例的移动计算设备的简化框图； 以及

图10是可用来实施本发明的各实施例的分布式计算系统的简化框图。

详细描述

如上简要所述，本发明的实施例涉及提供对流格式文档中的布局结构元素 的色彩编码。流格式文档可被转换成固定格式文档，并随后被转换回流格式文 档。根据各实施例，色彩编码可被利用来在可在比较测试中进行比较的各布局 结构元素之间进行区分。

下面的详细描述参考各个附图。只要可能，就在附图和以下描述中使用相 同的附图标记来指示相同或相似的元件。尽管可能描述了本发明的各实施方 式，但修改、改编和其他实现也是可能的。例如，可以对附图中所示出的要素 进行置换、添加、或修改，且可以通过对所公开的方法置换、重新排序、或添 加阶段来修改此处所描述的方法。因此，下文的详细描述不限制本发明，相反， 本发明的合适范围由所附权利要求来限定。

现在参考其中相同的标号代表相同的元素的附图，描述各实施例。图1示 出了包含在计算设备104上执行的文档转换器102的系统的一个实施例。文档 转换器102使用解析器110、文档处理器112以及串行化器114将固定格式文 档106转换成流格式文档108。解析器110从固定格式文档106中读取和提取 数据。从固定格式文档中提取的数据被写入可由文档处理器112和串行化器114 访问的数据存储116。文档处理器112使用一个或多个检测和/或重构引擎来分 析该数据并将该数据变换成可流动元素。最后，串行化器114将可流动元素写 成可流动文档格式(例如，文字处理格式)。

图2更加详细地示出文档处理器112的操作流程的一个实施例。文档处理 器112包括可任选的光学字符识别(OCR)引擎202、布局分析引擎204以及 语义分析引擎206。数据存储116中包含的数据包括物理布局对象208和逻辑 布局对象210。在一些实施例中，物理布局对象208和逻辑布局对象210被分 层安排在编组(即，数据对象)的树类阵列中。在各实施例中，页面是物理布 局对象208的顶层编组，而章节是逻辑布局对象210的顶层编组。从固定格式 文档106中提取的数据一般被存储为由固定格式文档106中的包含页面来组织 的物理布局对象208。基本物理布局对象208包括文本串、图像和路径。文本 串是在页面内容流中指定当显示固定格式文档时字符的绘制位置的文本元素。 图像是储存在固定格式文档106中的光栅图像(即，图片)。路径描述了诸如 用于构建矢量图的线、曲线(例如，三次贝塞尔曲线)和文本轮廓等元素。逻 辑布局对象210包括诸如章节、段落、列、表和列表等可流动元素。

处理开始的位置取决于被解析的固定格式文档106的类型。从流格式源文 档直接创建的本机固定格式文档106A包含基本物理布局元素中的一些或全部。 嵌入式数据对象由解析器提取并且可供文档转换器立即使用；但在某些情况 下，微小的重新格式化或其它微小处理被应用来组织或标准化数据。相反，通 过对物理文档进行数字图像化(例如，扫描或拍照)而创建的基于图像的固定 格式文档106B中的所有信息被存储作为不带有附加数据(即，没有文本串或 路径)的一系列页面图像。在这种情况下，可任选的光学字符识别引擎202分 析每一页面图像并创建对应的物理布局对象。一旦物理布局对象208可用，布 局分析引擎204就分析固定格式文档的布局。在布局分析完成之后，语义分析 引擎206用从对物理布局对象和/或逻辑布局对象的分析中获得的语义信息来 丰富逻辑布局对象。

可针对准确性来测试固定格式文档106到流格式文档108C的转换。根据 各实施例，一个测试方法可包括往返方法。现参考图3，示出了用于确定是否 已从固定格式文档106正确地提取了逻辑布局对象210的往返方法300。如图 所示，流格式文档108A(例如，文字处理文档)可被转换304成固定格式文档 106(例如，PDF文档)。固定格式文档106可以是经标记的或未经标记的固 定格式文档。固定格式文档106可随后被转换306回流格式文档108C。从固定 格式文档106到流格式文档108C的转换306可由转换器102来执行，如以上 参考图1所描述的。

根据各实施例，在将流格式文档108A转换304成固定格式文档106时， 可以用色彩对一种或多种类型的逻辑布局对象210进行编码。根据一个实施例， 对逻辑布局对象210进行编码可由色彩编码引擎302来执行。通过用色彩对逻 辑布局对象210进行编码，描述各种文档属性的许多绝对数可被保留，因为色 彩可从不同格式转换而来，而几乎没有降级。可被进行色彩编码的逻辑布局对 象210可包括但不限于段落、章节、表、列表和字体属性。术语“目标文档” 108B在本文中可用于描述在流格式文档108B被转换304成固定格式文档106 之前的该流格式文档108B，且术语“输出文档”108C在本文中可用于描述在 流格式文档108C被从固定格式文档106转换306出后的该流格式文档108C。

根据各实施例，色彩编码可被利用来在可在比较测试中进行比较的不同逻 辑布局对象210之间进行区分。所选类型的逻辑布局对象中的每一逻辑布局对 象210(例如，列表中的每一个列表项、文档中的每一段落，等等)均可以用 唯一性的色彩来着色。例如并如图4所示，色彩编码可被利用来存储有关段落 的信息。如图4所示，流格式文档108A中的每一段落402、404、406、408都 可以用不同的色彩来着色。例如，第一段落402可被着红色，第二段落404可 被着蓝色，第三段落406可被着绿色，且第四段落408可被着紫色。在该示例 中，色彩编码可被利用来提供可容易标识的比较特征来对目标文档108B和输 出文档108C中的各段落402、404、406、408进行比较。

此外，色彩编码可被利用来表示与逻辑布局对象210的属性310有关的信 息。例如并如图5所示，色彩编码可被利用来在各段落对齐(属性310)之间 进行区分。每一段落对齐类型(例如，左对齐、居中对齐、右对齐和两端对齐) 可以用不同的色彩来编码。例如，第一段落502中的文本可被左对齐并被色彩 编码成绿色，第二段落504中的文本可被居中对齐并被色彩编码成棕色，第三 段落506中的文本可被右对齐并被色彩编码成桔色，且第四段落508中的文本 可被两端对齐并被色彩编码成灰色。在该示例中，色彩编码可被利用来提供可 容易标识的比较特征来对目标文档108B和输出文档108C中的段落502、504、 506、508的对齐进行比较。

回头参考图2，根据各实施例，一个或多个特征308可被选择以在比较测 试中进行比较。比较测试可包括测试文档108B、108C的子集。比较测试可由 比较引擎312来执行。比较引擎312在将输出文档108C与目标文档108B进行 比较时可聚焦于所选的特征308。可被比较的特征308可包括逻辑布局对象210 (以上参考图4描述)并可包括逻辑布局对象210的属性310(如以上参考图 5所描述的)。可被进行色彩编码和比较的逻辑布局对象210可包括但不限于 章节、段落、列表、表和单词。下表示出了根据各实施例的可被进行色彩编码 和比较的一些逻辑布局对象210和相关联的属性310。如应领会的，该表不是 逻辑布局对象210和属性310的穷尽列表，并且各实施例不应受限于该表中包 括的对象和属性。

表1

例如，可对段落检测进行测试以确定是否在输出文档108C中正确地重构 了来自固定格式文档106的段落。即，可确定各段落是否具有相同的内容并处 于相同的读序。根据一实施例，这些段落可被色彩编码以保留诸如以下的信息： 哪些单词属于相同的段落(例如，一段落中的所有单词可具有相同的色彩)以 及每一段落的读序(例如，各段落所上的色彩可具有确定的顺序)。准确性可 通过迭代通过输出文档108C中的各段落并确定每一段落中出现的色彩数以及 每一色彩出现在其中的段落的数量来计算。例如，可检测检测到的段落的数目 或百分比。如果目标文档108B中的段落的色彩仅在输出文档108C的一个段落 中出现，并且输出文档108C的该段落具有唯一性的色彩，则可认为检测到了 目标段落(即，目标文档108B中的段落)。此外，例如如果检测到的段落中 的所有单词在目标文档108B和输出文档108C两者中相同，则可确定具有完全 重构内容的检测到段落的数目或百分比。可检测处于正确读序的检测到段落的 数目或百分比。例如，如果一检测到段落紧跟另一检测到段落而来，则可检测 它们的色彩。如果这些色彩按顺序排列，则可认为这些段落处于正确的读序。 此外，可确定输出文档108C中被合并、被拆分或既被合并又被拆分的段落的 数目或百分比。

根据各实施例，在比较引擎312执行了对目标文档108C和目标文档108B 中的所选特征308的比较测试后，可确定准确性水平。准确性水平可在报告314 中被提供并可包括精度度量。根据一实施例，精度可被定义成：

准确性水平可包括召回(recall)度量。根据一实施例，召回可被定义成：

准确性水平可包括相对误差度量。根据一实施例，相对误差可用作针对连续 值的度量，例如针对其值是连续的特征(例如，边距)的度量。相对误差可被 定义成：

报告314的示例在图6中示出。如图6所示，报告314可包括正在比较测试中 进行比较的特征308，并可包括诸如精度度量602和召回度量604之类的度量。 度量602、604可通过将正确输出(目标文档108B)与实际输出(在转换306 回成流格式文档108C后的流格式文档108C)进行比较来计算。

根据各实施例，色彩编码可用于训练数据。例如，通过机器学习，可提供 训练集，其中该训练集可包括特征308以及应该从那些特征中导出的预期结果。 各实施例可用于生成该训练数据。训练数据可被利用来进一步开发转换器102。

图7是根据一实施例的用于提供色彩编码的方法700的流程图。方法700 在操作702开始，并进行到操作705，在操作705接收流格式文档108A。根据 各实施例，流格式文档108A可包括向该文档提供流和布局的复杂逻辑格式化 对象，诸如章节、段落、列、和表。例如，流格式文档108A可包括文字处理 文档，该文字处理文档包括格式化(例如，字体样式、表、页眉、页脚、标号 列表、项目符号项、边距等)。

在操作710，可对流格式文档108A进行色彩编码。根据各实施例，可以 用色彩对流格式文档108A布局信息进行编码，并可将该色彩编码应用于文档 108A。经编码的布局信息可包括诸如所选择的要进行测试的特征308等结构元 素。如上所述，特征308可包括逻辑布局对象210和属性310。唯一性的色彩 可被应用于与所选择的要进行测试的逻辑布局对象210的属性310中的每一个 相关联的文本元素。

例如，文字处理文档中的段落可被进行色彩编码，每一段落用不同的色彩 进行编码。作为另一示例，列表项可被进行色彩编码。色彩编码可被利用来对 诸如项目符号/标号类型、级别和标识之类的属性310进行编码。根据各实施例， 取决于所选择的要进行测试的逻辑布局对象210和属性310，可变数目的文档 108A可被进行色彩编码，因为特征308可能彼此相互影响/干扰。例如，如果 段落对齐和段落标识是要被测试的特征308，则两组文档108A可能需要被进行 编码。左对齐段落可被色彩编码成蓝色。两个顺序的段落可能是左对齐的并因 此被色彩编码成蓝色，这可干扰确定这两个段落是否是分开的段落。

根据各实施例，不同的逻辑布局对象210和属性可在同一文档108中通过 将色彩空间划分成各组来进行色彩编码。例如，如果RGB中的色彩是使用三 个字节来表示的，则第一字节可用于对第一属性310(例如，段落对齐)进行 色彩编码，并且余下的字节可用于对第二属性310(例如，段落标识)进行色 彩编码。根据各实施例，经色彩编码的流格式文档108B可被保存为目标文档 108B并被加载到数据存储中。

在操作715，可将经色彩编码的流格式文档(目标文档)108B转换304成 固定格式文档106。在操作720，可将固定格式文档106转换306回流格式文 档108C。根据各实施例，从固定格式文档106到流格式文档108C的转换306 可由文档转换器102来执行。在操作718，可生成训练数据。训练数据可被利 用来进一步开发转换器102(例如，机器学习)。

在操作725，可将被转换成固定格式文档106之前的流格式文档108B(即， 正确的输出)中的特征308B与被转换成固定格式文档106之后的流格式文档 108C(即，输出文档108C)中的特征308C进行比较。根据各实施例，该比较 可由比较引擎312来执行。可执行该比较以确定文档转换器102在将固定格式 文档106转换成流格式文档108C时是否已从固定格式文档106中正确地提取 了布局信息。比较引擎312可用于执行该比较、计算度量并生成报告314。

在操作730，可生成报告314。如上所述，报告314可提供用于确定固定 格式文档106到流格式文档108C的转换306的准确性的度量。方法700在操 作795处结束。

尽管已在结合在计算机上的操作系统上运行的应用程序执行的程序模块 的一般上下文中描述本发明，但本领域的技术人员将认识到，本发明也可结合 其他程序模块实现。一般而言，程序模块包括执行特定任务或实现特定抽象数 据类型的例程、程序、组件、数据结构和其他类型的结构。

本文描述的实施例和功能可通过多种计算系统来操作，包括但不限于台式 计算机系统、有线和无线计算系统、移动计算系统(如移动电话、上网本、图 形输入板或平板型计算机、笔记本计算机、和膝上型计算机)、手持设备、多 处理器系统、基于微处理器或可编程消费电子产品、小型计算机、以及大型计 算机。此外，本文所述的实施例和功能可在分布式系统上操作(如基于云的计 算系统)，其中应用功能、存储器、数据存储和检索、以及各种处理功能可在 诸如因特网或内联网之类的分布式计算网络上彼此远程地操作。各种类型的用 户界面和信息可经板载计算设备显示器或经与一个或多个计算设备相关联的 远程显示单元被显示。例如，各种类型的用户界面和信息可在墙壁表面上被显 示和交互，各种类型的用户界面和信息被投射在墙壁表面上。与可用于实施本 发明的各实施例的许多计算系统的交互包括：键击输入、触摸屏输入、语音或 其他音频输入、姿势输入(其中相关联的计算设备配备有用于捕捉和解释用于 控制计算设备的功能的用户姿势的检测(如相机)功能)等。图8-10以及相关 描述提供了其中可实施本发明的实施例的各种操作环境的讨论。然而，关于图 8-10所示出和讨论的设备和系统是用于示例的目的，而非对可被用于实施本文 所述的本发明的各实施例的大量计算设备配置的限制。

图8是示出可用来实施本发明的各实施例的计算设备800的物理组件(即 硬件)的框图。下面描述的计算设备组件可适用于上述的计算设备。在基本配 置中，计算设备800可包括至少一个处理单元802和系统存储器804。取决于 计算设备的配置和类型，系统存储器804可包括，但不限于，易失性存储器(例 如，随机存取存储器)、非易失性存储器(例如，只读存储器)、闪存、或这 些存储器的任何组合。系统存储器804可包括操作系统805和适于运行诸如色 彩编码引擎302、文档处理器112、解析器110、文档转换器102、串行化器114 以及比较引擎312等软件应用820的一个或多个程序模块806。操作系统805 例如可适合于控制计算设备800的操作。此外，本发明的各实施方式可以结合 图形库、其他操作系统、或任何其他应用程序来实践，且不限于任何特定应用 程序或系统。该基本配置在图8中由虚线808内的那些组件示出。计算设备800 可具有附加特征或功能。例如，计算设备800还可包括附加数据存储设备(可 移动和/或不可移动)，诸如，例如磁盘、光盘或磁带。这些附加存储在图8中 由可移动存储设备809和不可移动存储设备820示出。

如上所述，可在系统存储器804中存储多个程序模块和数据文件。当在处 理单元802上执行时，程序模块806(例如，色彩编码引擎302、解析器110、 文档处理器112、串行化器114和比较引擎312)可以执行包括但不限于往返 方法300和/或图7中示出的方法700的各阶段中的一个或多个的过程。根据 本发明的实施例可使用的其他程序模块可包括电子邮件和联系人应用、字处理 应用、电子表格应用、数据库应用、幻灯片演示应用、绘图或计算机辅助应用 等。

此外，本发明的各实施方式可在包括分立电子元件的电路、包含逻辑门的 封装或集成电子芯片、利用微处理器的电路、或在包含电子元件或微处理器的 单个芯片上实现。例如，可以通过片上系统(SOC)来实施本发明的各实施例， 其中，可以将图8中示出的每个或许多组件集成到单个集成电路上。这样的SOC 设备可包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元以及 各种应用功能，所有这些都被集成到(或“烧录到”)芯片基板上作为单个集 成电路。当通过SOC操作时，本文中描述的关于色彩编码引擎302、解析器110、 文档处理器112、串行化器114以及比较引擎312的功能可以通过在单个集成 电路(芯片)上与计算设备800的其它组件集成在一起的专用逻辑来操作。本 发明的各实施方式还可以使用能够执行诸如，例如，AND(与)、OR(或) 和NOT(非)等逻辑运算的其他技术来实践，包括但不限于，机械、光学、流 体和量子技术。另外，本发明的各实施方式可以在通用计算机或任何其他电路 或系统中实现。

计算设备800还可具有一个或多个输入设备812，诸如键盘、鼠标、笔、 声音输入设备、触摸输入设备等。还可包括输出设备814，诸如显示器、扬声 器、打印机等。上述设备是示例且可以使用其他设备。计算设备800可包括允 许与其他计算设备818进行通信的一个或多个通信连接816。合适的通信连接 816的示例包括但不限于RF发射机、接收机和/或收发机电路；通用串行总线 (USB)、并行或串行端口、以及适用于与适用的计算机可读介质一起使用的 其他连接。

例如，本发明的各实施方式可被实现为计算机进程(方法)、计算系统或 诸如计算机程序产品或计算机可读介质等制品。计算机程序产品可以是计算机 系统可读并编码了用于执行计算机过程的指令的计算机程序的计算机存储介 质。

如此处所使用的术语计算机可读介质可包括计算机存储介质和通信介质。 计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块 或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可 移动介质。系统存储器804、可移动存储设备809和不可移动存储设备820都 是计算机存储介质(即，存储器存储)的示例。计算机存储介质可以包括，但 不限于，RAM、ROM、电可擦除只读存储器(EEPROM)、闪存或其它存储 器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁 盘存储或其它磁性存储设备、或可用于存储信息且可以由计算机2访问的任何 其它介质。任何这样的计算机存储介质都可以是计算设备800的一部分。

通信媒介可由诸如载波或其他传输机制等已调制数据信号中的计算机可 读指令、数据结构、程序模块、或其他数据来体现，并且包括任何信息传递介 质。术语“已调制数据信号”可以描述以对该信号中的信息进行编码的方式设 定或者改变其一个或多个特征的信号。作为示例而非限制，通信介质包括诸如 有线网络或直接线连接等有线介质，以及诸如声学、射频(RF)、红外线和其 他无线介质等无线介质。

图9A和9B示出可用来实施本发明的各实施例的移动计算设备900，例如 移动电话、智能电话、平板个人计算机、膝上型计算机等。参考图9A，示出了 用于实现各实施例的移动计算设备900的一个实施例。在一基本配置中，移动 计算设备900是具有输入元件和输出元件两者的手持式计算机。移动计算设备 900通常包括显示器905以及允许用户将信息输入到移动计算设备900中的一 个或多个输入按钮910。移动计算设备900的显示器905也可充当输入设备(如 触摸屏显示器)。如果包括，则可任选的侧输入元件915允许进一步的用户输 入。侧输入元件915可以是旋转开关、按钮、或任何其他类型的手动输入元件。 在替代实施例中，移动计算设备900可结合更多或更少的输入元件。例如，在 某些实施例中，显示器905可以不是触摸屏。在又一替代实施例中，移动计算 设备900是诸如蜂窝电话之类的便携式电话系统。移动计算设备900还可包括 可选的小键盘935。可选的小键盘935可以是物理小键盘或者在触摸屏显示器 上生成的“软”小键盘。在各种实施例中，输出元件包括用于示出图形用户界面 (GUI)的显示器905、可视指示器920(如发光二极管)、和/或音频换能器 925(如扬声器)。在某些实施例中，移动计算设备900结合振动换能器来向 用户提供触觉反馈。在又一实施例中，移动计算设备900结合诸如音频输入(如 传声器插孔)、音频输出(如耳机插孔)、以及视频输出(如HDMI端口)之 类的输入和/或输出端口，用于将信号发送到外部设备或从外部设备接收信号。

图9B是示出移动计算设备的一个实施例的架构的框图。即，移动计算设 备900可结合系统(即架构)902以实现某些实施例。在一个实施例中，系统 902被实现为能够运行一个或多个应用(如浏览器、电子邮件、日历、联系人 管理器、消息收发客户端、游戏、以及媒体客户端/播放器)的“智能电话”。 在某些实施例中，系统902被集成为计算设备，诸如集成的个人数字助理(PDA) 和无线电话。

一个或多个应用程序966可被加载到存储器962中并在操作系统964上或 与操作系统864相关联地运行。应用程序的示例包括电话拨号程序、电子邮件 程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、因特网浏 览器程序、消息收发程序等等。系统902还包括存储器962内的非易失性存储 区968。非易失性存储区968可被用于存储在系统902断电时不会丢失的持久 信息。应用程序966可使用信息并将信息存储在非易失性存储区968中，如电 子邮件应用使用的电子邮件或其他消息等。同步应用(未示出)也驻留于系统 902上且被编程为与驻留在主机计算机上的对应的同步应用交互，以保持非易 失性存储区968中存储的信息与主机计算机处存储的相应信息同步。如应理解 的，其他应用可被加载到存储器962中并在移动计算设备900上运行，包括本 文中描述的色彩编码引擎302、解析器110、文档处理器112、串行化器114和 比较引擎312。

系统902具有可被实现为一个或多个电池的电源970。电源970还可包括 外部功率源，如补充电池或对电池充电的AC适配器或加电对接托架。

系统902还可包括执行发射和接收无线电频率通信的功能的无线电972。 无线电972通过通信运营商或服务供应商方便了系统902与“外部世界”之间 的无线连接。来往无线电972的传输是在操作系统964的控制下进行的。换言 之，无线电972接收的通信可通过操作系统964传播到应用程序966，反之亦 然。

无线电972允许系统902例如通过网络与其他计算设备通信。无线电972 是通信介质的一个示例。通信介质通常由诸如载波或其他传输机制之类的已调 制数据信号中的计算机可读指令、数据结构、程序模块、或其他数据来体现， 并且包括任何信息传送介质。术语“已调制数据信号”是指使得以在信号中编 码信息的方式来设置或改变其一个或多个特性的信号。作为示例而非限制，通 信介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、 红外及其他无线介质之类的无线介质。如此处所使用的术语计算机可读介质包 括存储介质和通信介质两者。

系统902的该实施例使用可用于提供可视通知的可视指示器920和/或通过 音频换能器925来产生音频通知的音频接口974来提供通知。在所示实施例中， 可视指示器920是发光二极管(LED)，而音频换能器925是扬声器。这些设 备可直接耦合到电源970，使得当被激活时，即使为了节省电池功率而可能关 闭处理器960和其他组件，它们也保留一段由通知机制指示的保持通电时间。 LED可被编程来无限地保持通电，直到用户采取行动指示该设备的通电状态。 音频接口974用于向用户提供听觉信号并从用户接收听觉信号。例如，除了被 耦合到音频换能器925之外，音频接口974还可被耦合到话筒来接收可听输入， 例如便于电话通话。根据各本发明的各实施例，话筒也可充当音频传感器来便 于对通知的控制，如下文将描述的。系统902可进一步包括允许板载相机930 的操作来记录静止图像、视频流等的视频接口976。

实现系统900的移动计算设备902可具有附加特征或功能。例如，移动计 算设备900还可包括附加数据存储设备(可移动和/或不可移动)，例如磁盘、 光盘或磁带。这种附加存储设备在图9B中用非易失性存储区968示出。计算 机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其 他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动 介质。

由移动计算设备900生成或捕捉的且经系统902存储的数据/信息可如上所 述被本地存储在移动计算设备900上，或数据可被存储在可由设备通过无线电 972或通过移动计算设备900和与移动计算设备900相关联的一分开的计算设 备之间的有线连接访问的任何数量的存储介质上，该计算设备如例如因特网之 类的分布式计算网络中的服务器计算机。如应理解的，此类数据/信息可经移动 计算设备900、经无线电972或经分布式计算网络来被访问。类似地，这些数 据/信息可根据已知的数据/信息传送和存储手段来容易地在计算设备之间传送 以供存储和使用，这些手段包括电子邮件和协作数据/信息共享系统。

图10示出用于如上所述向一个或多个客户机设备提供对流格式文档中的 布局结构元件的色彩编码的系统的架构的一个实施例。与色彩编码引擎302、 解析器110、文档处理器112、串行化器114以及比较引擎312相关联地开发、 交互、编辑或测试的内容可被存储在不同的通信信道或其他存储类型中。例如， 各种文档可使用目录服务1022、web门户1024、邮箱服务1026、即时消息存 储1028或社交网站1030来存储。如本文所描述的，色彩编码引擎302、解析 器110、文档处理器112、串行化器114和比较引擎312可以使用这些类型的 系统中的任一个来启用数据利用。服务器1020可以向客户机提供色彩编码引 擎302、解析器110、文档处理器112、串行化器114和比较引擎312。作为一 个示例，服务器1020可以是通过web提供色彩编码引擎302、解析器110、文 档处理器112、串行化器114以及比较引擎312的web服务器。服务器1020 可以通过网络1015在web上向客户机提供色彩编码引擎302、解析器110、文 档处理器112、串行化器114以及比较引擎312。作为示例，客户机计算设备 1018可被实现为计算设备800并被具体化在个人计算机1018a、平板计算设备 1018b和/或移动计算设备1018c(如智能电话)中。客户机计算设备1018的这 些实施例中的任一个可从存储1016获得内容。

以上参考例如根据本发明的各实施方式的方法、系统和计算机程序产品的 框图和/或操作图示描述了本发明的各实施方式。框中所注明的各功能/动作可 以按不同于任何流程图所示的次序出现。例如，取决于所涉及的功能/动作，连 续示出的两个框实际上可以基本上同时执行，或者这些框有时可以按相反的次 序来执行。

本申请中提供的一个或多个实施例的描述和说明不旨在以任何方式限制 或约束如权利要求所要求保护的发明范围。本申请中提供的实施例、示例和细 节被认为是足以传达所有权，且使得他人能够制作并使用所要求保护的发明的 最佳模式。所要求保护的发明不应被理解为限制于本申请中所提供的任何实施 例、示例或细节。不管是以组合的方式还是分开的方式示出和描述，各种特征 (结构上的和方法逻辑上的)旨在被选择性地包括或忽略，以产生具有特定的 特征集的实施例。在被提供本申请的描述和说明的情况下，本领域的技术人员 能够想象到落在所要求保护的发明的更宽泛方面以及本申请中所具体化的一 般发明概念的精神内的替代实施例并不背离该更宽泛的范围。