用于彩色图像和灰度图像的鲁棒的特征提取

摘要

用于使用主元分析将第一图像转换成强度图像的系统、方法和程序产品，其中强度图像基于第一主元。分析强度图像以标识强度图像中多个缩放不变的特征，每个已标识特征与分数相关联。将自适应阈值应用于已标识特征，以建立用于第一图像的特征集合。

说明书

技术领域

本公开涉及软件，并且更具体地，涉及图像中的特征检测。

背景技术

特征检测通常用于将多个图像合并成单个高动态范围(HDR) 图像，以及用于图像“拼接”，在图像拼接中，两个或更多图像沿 着一个或多个边界结合在一起。合并与拼接依赖于对正被操纵的图 像中公共特征的标识，以便将图像妥善对齐。一般而言，图像对齐 可以这样来实现：首先，从待对齐的每个图像中提取区别特征，从 而在图像间建立特征对应，随后确定用于将每个图像对齐的几何变 换。例如，如果特定自然景观的图像是由不同照相机捕捉的，则每 个图像中的公共特征(例如，岩石的边缘)可以用于将图像变换到 公共坐标系，使得可以创建复合图像。

有代表性的特征提取算法针对灰度图像或者“强度(intensity)” 图像操作。对于彩色图像，亮度通道通常用于特征提取。当亮度通 道不可用时，某些算法使用单个图像色彩通道。例如，红、绿、蓝 (RGB)图像中的绿色通道可以用作对强度图像的近似。但是，这 种图像对于图像噪声可能不够鲁棒，或者对于保存出现在图像中的 结构(包括在跨过不同色彩通道而出现的那些结构)而言不够敏感。 另外，典型的特征提取算法使用固定的阈值来选择特征，这些算法 通常被调整为与正常曝光条件下的图像一起良好工作。然而，对于 高动态范围(HDR)图像中常见的欠曝光图像或过度曝光图像而言， 这些算法效果不好。

发明内容

本说明书描述了涉及图像中的特征检测的技术。

总体上，在此说明书中描述的主题的一个方面可以实现在一种 方法中，其包括：使用主元分析将第一图像转换成强度图像，其中 该强度图像基于第一主元。分析强度图像，以标识强度图像中多个 缩放不变的特征，每个已标识特征与某分数相关联。将自适应阈值 应用于已标识特征，以建立用于第一图像的特征集合。此方面的其 他实施方式包括对应的系统、装置和计算机程序产品。

这些和其他实施方式可以可选地包括以下一个或多个特征。强 度图像包括多个像素，并且每个像素与相应的强度值相关联，该方 法进一步包括：1)基于相应的强度值，确定强度图像中代表第一图 像的欠曝光区域或过曝光区域的像素的数量；以及2)如果所述像素 的数量大于阈值，则将所述多个像素的相应强度值缩放至中间强度 值。应用阈值可以包括：丢弃其相应分数低于阈值的已标识特征。 应用阈值可以包括：基于第一图像的尺寸，确定特征的期待数量； 以及保持所述期待数量的、其相应分数最高的已标识特征。

第一图像是第二图像的较低分辨率版本；并且来自于第一图像 的特征集合被映射至第二图像。标识第二图像中的非恒定分片；以 及将所述非恒定分片用作第一图像。第一图像是第二图像中的非恒 定分片，第二图像大于第一图像。第一图像在以下色彩空间之一中： RGB、CIE L^*a^*b^*、CMYK、HSL、HVL、灰度或黑白。第一图像包 括多个分片；以及并行地对每个分片执行权利要求1的方法。自适 应阈值被独立地应用于每个分片。接受用户对第一图像的一个或多 个区的选择。在一个或多个区中检测到的特征与优先权相关联；所 述一个或多个区指示第一图像中将要执行或者不执行特征检测的一 个或多个区域；或者，所述一个或多个区指示第一图像中在应用自 适应阈值时将对特征给予优先权的一个或多个区域。

总体上，在此说明书中描述的主题的一个方面可以实现在一种 方法中，其包括：使用第一CIE L^*a^*b^*图像的L^*分量，将所述图像 变换成强度图像。分析该强度图像，以标识强度图像中多个缩放不 变的特征，每个已标识特征与某分数相关联。将自适应阈值应用于 已标识特征，以建立用于第一图像的特征集合。此方面的其他实施 方式包括对应的系统、装置和计算机程序产品。

这些和其他实施方式可以可选地包括以下一个或多个特征。强 度图像包括多个像素，并且每个像素与相应的强度值相关联，该方 法进一步包括：1)基于相应的强度值，确定强度图像中代表第一图 像的欠曝光区域或过曝光区域的像素的数量；以及2)如果像素的数 量大于阈值，则将所述多个像素的相应强度值缩放至中间强度值。 应用阈值可以包括：丢弃其相应分数低于阈值的已标识特征。应用 阈值可以包括：基于第一图像的尺寸，确定特征的期待数量；以及 保持所述期待数量的、其相应分数最高的已标识特征。

第一图像是第二图像的较低分辨率版本；以及来自于第一图像 的特征集合被映射至第二图像。标识第二图像中的非恒定分片；以 及将所述非恒定分片用作第一图像。第一图像是第二图像中的非恒 定分片，第二图像大于第一图像。第一图像包括多个分片；以及并 行地对每个分片执行权利要求1的方法。自适应阈值被独立地应用 于每个分片。接受用户对第一图像的一个或多个区的选择。在一个 或多个区中检测到的特征与优先权相关联；所述一个或多个区指示 在第一图像中将要执行或者不执行特征检测的一个或多个区域；或 者一个或多个区指示第一图像中在应用自适应阈值时将对特征给予 优先权的一个或多个区域。

可以实施在此说明书中描述的主题的特定实现，从而带来下述 一个或多个益处。提供了用于计算彩色图像之外的强度图像的技术。 该强度图像对于图像噪声是鲁棒的，同时对于出现在图像中的结构 (包括，跨越不同的色彩通道而存在的结构)是敏感的。强度图像 像素值缩放技术通过补偿图像的暗区域和亮区域而得到了针对HDR 图像的更好的特征检测。自适应特征选择过程允许所检测特征的数 量基于图像大小或其他参数。由于更好的特征提取，改进了图像配 准精度。图像数据是通过不会令数据失真的一系列线性变换来进行 变换的。

为了改进性能，可以处理图像的较低分辨率版本。可以在具有 有意义数据的图像分片中检测特征。类似地，可以从处理中省略恒 定图像分片，以进一步改进性能。图像分片较小，而且更容易被缓 存，这将改进整体性能。对图像进行分片化还允许在知道将丢弃哪 些分片(例如，恒定分片)的基础上计算有效的图像大小。知道有 效图像大小允许选择用于特征检测的最佳图像分辨率。例如，如果 有效图像大小较小，则可以在比有效图像尺寸较大情况下更大的图 像分辨率，来执行特征检测。图像分片可以并行处理。不同分片中 的图像特征被同样地处理，即使某些分片可能包含比其他更多的特 征。图像分片特征可以独立地进行阈值化，从而不会因全局阈值而 丢弃较不常用分片中的特征。

在附图中和下述描述中给出了本发明的一个或多个实现的细 节。本发明的其他特征、方面和优势将从描述、附图和权利要求变 得明显。

附图说明

本专利或申请文件包含以彩色制成的至少一个附图。带有彩色 附图的本专利或专利申请公开的副本，专利局将在基于请求和支付 必要费用的情况下提供。

图1示出了同一彩色图像的两个强度图像。

图2A是用于对彩色图像和灰度图像中的特征进行标识的方法 的流程图。

图2B是用于PCA转换的方法的流程图。

图2C是用于CIE L^*a^*b转换的方法的流程图。

图3示出了HDR图像的两个强度图像。

图4是用于对像素值进行缩放的方法的流程图。

图5示出了应用了自适应特征阈值化的图像。

图6是用于自适应特征阈值化的方法的流程图。

图7A是同一图像的较低解析度的示意图。

图7B是图像分片(tiling)的示意图。

图8示出了用于对彩色图像和灰度图像中的特征进行标识的系 统。

图9是通用计算机系统的示意图。

在各种附图中，相同的附图标记和命名表示相同元素。

具体实施方式

数字图像(为了简便，可以简单地称为图像)并不必须对应于 文件。图像可以存储在保有其他内容的文件的部分中、存储在专用 于所讨论的图像的单个文件中，或者存储在多个经过协调的文件中。 而且，图像可以放置在存储器中，而不用首先存留在文件中。图像 还可以从一个或多个源被流式传输。

图1示出了同一彩色图像的两个强度图像。图像102是RGB彩 色图像100的灰度图像，该彩色图像100是使用40％的红色通道、 40％的绿色通道和20％的蓝色通道创建的。图像104是RGB图像100 的灰度图像，它是通过对图像100执行主元分析(principal component analysis，PCA)，并将所有像素映射到主元而创建的。PCA生成的 图像104具有更多的细节，并且比图像102更加明快。因此，图像 104更适于特征检测。PCA是一种统计技术，其通过线性变换来将 多维数据集减小至较少的维度，使得数据中的最大变化被保留下来。 在各种实现中，PCA用于将每个全彩色像素(例如，三个通道中的) 映射到灰度像素值(例如，一个通道中的)。利用这种方式创建的 图像对于噪声是鲁棒的，并且对于图像中的结构(包括跨越不止一 个色彩通道的结构)是敏感的。在其他实现中，具有CIE L^*a^*b色 彩空间中的像素的图像的L^*分量用于创建灰度图像。

图2A是用于对彩色图像和灰度图像中的特征进行标识的方法 200的流程图。如果图像不是强度图像，则使用PCA或另外的技术 将源彩色图像(例如，100)转换成强度图像(例如，104)(步骤 202)。PCA将在下文参照图2B进一步解释。构成彩色图像的像素 具有色彩空间中的色彩值。色彩空间是一种数学模型，其描述可以 通过数值(通常，作为数值集合)来表示色彩的方式。在各种实现 中，色彩空间是RGB。然而，其他色彩空间也是可行的，例如包括 CIE L^*a^*b^*；青、品红、黄和黑(CMYK)；色调、饱和度、值(HSV)； 和色调、饱和度、明度/亮度(HSL)。对于其像素值不在RGB色彩 空间中的图像，可以使用通常可用的转换技术转换成这样的图像。

可选地，随后可以缩放强度图像中的像素值，以便解决强度图 像中的欠曝光区域和过曝光区域(步骤204)。这将在下文参照图4 进一步说明。接着，对强度图像进行分析，以便标识候选特征(步 骤206)。在各种实现中，使用David G.Lowe在91-110(2004年)、 INTERNATIONAL JOURNAL OF COMPUTER VISION 60(2)上发 表的“Distinctive Image Features from Scale-Invariant Keypoints”中描 述的缩放不变特征变换(SIFT)技术的版本来检测候选特征。然而， 其他特征检测技术是可行的，例如，诸如，基于轮廓的方法、基于 强度的方法和基于参数模型的方法，这些仅是示例。随后，对候选 特征应用自适应阈值(步骤208)。这将在下文参照图6进一步说明。 最后，基于候选特征来标识最终的特征集合(步骤210)。在各种实 现中，步骤210可以进一步基于诸如边缘响应的其他特征来挑选候 选特征。参见上述Lowe发表的文献。备选地，最终的特征集合等于 候选特征。

图2B是用于流程图200中PCA转换步骤202的方法的流程图。 转换中的第一步是确定协方差矩阵(步骤212)。在各种实现中，此 步骤按照如下完成。来自源图像的像素数据被组织成维度为M×N 的矩阵P，其中N是源图像中的像素数量，而M是每个像素的色彩 通道的数量。在此例示中，假设像素值位于RGB色彩空间中，但是， 如上所述，其他色彩空间也是可行的。源图像中的每个像素i由向量 表示：

$P_i=\left(\begin{array}{c}{r}_i\\ g_i\\ b_i\end{array}\right).$

为了确定协方差矩阵，沿着P的每个维度m＝1...M计算P的经 验平均值P：

${\bar{P}}_m=\frac{1}{N}\underset{n=1}{\overset{N}{\Sigma }}{P}_{m,n}.$

随后从P的每个列减去经验平均值向量P，并将结果存储在M ×N矩阵B中，从而得到自平均值的偏离，矩阵B如下：

B＝P-P·h

其中h是全为1的′1×N行向量。最后，从矩阵B与其自身的外 积得到M×M经验协方差矩阵C：

$C=E[B\otimes B]=E[B·B^{*}]=\frac{1}{N-1}B·B^{*}$

其中E是期望值算子，是外积算子，并且^*是共轭转置算子。

变换中的下一步在于求解PCA以获得主方向向量(步骤214)。 在各种实现中，使用奇异值分解(SVD)来求解PCA。然而，注意， 用于求解PCA的其他技术是可行的。变换中的最后一步在于将来自 于图像的每个像素投影到第一主元向量，以便获得一个通道中的强 度图像(步骤216)。第一主元向量具有所求解的协方差矩阵的最高 特征值。

图2C是用于流程图200中变换步骤202的备选方法的流程图。 CIE L^*a^*b色彩空间描述了人眼可见的所有色彩。三个分量L^*、a^*和b^*分别代表色彩的明度(L^*)、品红色和绿色之间的位置(a^*)， 以及黄色和蓝色之间的(b^*)位置。L^*分量在用于黑色的0与用于 白色的100之间变化。作为PCA方法的备选，通过将用于CIE L^*a^*b^*图像中每个像素的L^*分量值(步骤218)，可以简单地创建强度图 像。

图3示出了HDR图像的两个强度图像。HDR图像为特征检测提 出了两个问题，因为在非常暗的区域(例如，阴影)中和非常亮的 区域中(例如，天空)，很难检测到特征。图像300是在没有为了 解决欠曝光区域和过曝光区域而对强度图像中的像素值进行缩放的 情况下创建的。(以下参照图4来详细描述缩放。)因此，仅检测 到102个特征，如区304中的红点所表示的。区304位于图像300 的高亮区域和图像300的最暗区域之间。在区304之外的区域中， 没有检测到特征。相反，强度图像中的像素值在图像302中进行了 缩放，以便解决亮区域和暗区域。注意，作为结果，检测到了更多 的特征(总共448个)。与仅在图像的中间区检测到了特征不同， 还在最亮的区域和最暗的区域(如区306所表示的)中检测到了特 征。增大被检测到的特征的数量例如可以改进用于图像拼接应用与 合并应用的特征配准的精度。

如果图像具有正常曝光，则很可能不需要缩放。在各种实现中， 如果图像欠曝光，则缩放需要找到用于图像的阴影区的中间像素值， 并且对图像中的每个像素值进行缩放，使得用于整个图像的中间像 素值等于用于阴影区的中间像素值。同样，如果图像是过曝光的， 则缩放需要找到用于图像的高亮区的中间像素值，并对图像中的每 个像素值进行缩放，使得用于整个图像的中间像素值等于用于高亮 区的中间像素值。如果需要合并的独立图像的每一个包含不同的高 亮区和阴影区，则可以在特征检测之前单独对图像进行缩放，以便 使潜在公共特征的数量最大化。其他用于缩放图像的技术也是可行 的。

图4是用于流程图200中可选缩放步骤204的方法流程图。构 建强度图像中的像素值的直方图(步骤402)。随后，确定强度图像 的阴影区或高亮区中的像素数量(步骤404)。在各种实现中，阴影 区和高亮区分别构成了最下面的25％像素值和最上面的25％像素 值，但是其他范围也是可行的。如果阴影区或高亮区中的像素数量 大于图像中像素的阈值数量(步骤406)，则如上所述对图像中的每 个像素值进行缩放，以使其进入新的范围(步骤408)。在各种实施 方式中，像素的阈值数量是40％。其他阈值是可行的，并且该阈值 可以是用户可设置的。

图5示出了对图像302进行缩放后的强度图像，其中自适应阈 值化作为特征检测的一部分而应用。一共检测到2785个特征，这远 远多于原来在没有自适应阈值化的情况下检测到的448个特征。自 适应阈值化保持了尽可能多的特征，从而改进图像对齐。在各种实 现中，用户可以选择图像的一个或多个区(例如，502)，以便将权 重与在这些区中检测到的特征相关联。这可以用于向后续处理步骤 (例如，合并、拼接)指示应当给予哪些特征优先权。在其他实现 中，所述一个或多个用户选择的区指示在图像的哪些区中将要执行 或者不执行特征检测。在另外一些实现中，图像中由用户选择的区 用于指示在自适应阈值化期间应当给予哪些特征以优先权。这将结 合图6进行描述。

图6是用于流程图200中自适应阈值步骤208的方法流程图。 在此方法中，修改了SIFT技术，从而使其能够通过利用自适应特征 选择来与HDR图像一起更好地工作。SIFT技术中的极值(或“关 键点”)是图像特征的指示。SIFT技术基于以下假设而丢弃具有低 对比度的极值，即，此类值对噪声更加敏感。使用极值处的函数值 来标识具有低对比度的极值，并返回处于范围[0，1]中的值：

$D\left(\hat{x}\right)=D+\frac{1}{2}\frac{{\partial D}^T}{\partial x}\hat{x}.$

在Lowe的论文中，丢弃值或分数小于0.03的所有极值。 然而，此固定常数对于HDR图像而言太过严格。

图6给出了Lowe的固定阈值的备选方案。应用自适应阈值的第 一步在于确定特征的数量(步骤602)。在步骤602中计数的特征数 量与C₁进行比较。在各种实现中，阈值C₁基于图像的尺寸、图像曝 光、其他因素或其组合。例如，在一个百万像素的图像中，阈值500 平均可以每20×20平方像素产生一个特征。如果特征的数量大于或 等于C₁，则将具有最高分数的C₁特征选作候选(步骤606)。 否则，将所有特征选作候选(步骤608)。在各种实现中，在自适应 阈值化期间，给予用户选择的图像区(例如，502)中出现的特征高 于非选择区中特征的优先权。例如，可以首先从用户选择的区中取 得候选特征(不考虑其分数)，以便满足步骤606中的C₁阈值，这 样非选择区中的特征更有可能被忽视。

图7A是相同图像的较低分辨率的示意图。可以对全分辨率图像 700进行向下采样，以创建该图像的一个或多个较低分辨率版本(例 如，702、704)。例如，图像702的分辨率低于图像700，而图像 704的分辨率低于图像702。上述技术和方法可以应用到图像的较低 分辨率版本，而特征检测的结果被映射到原始图像上。这潜在地会 使得操作更快速，并且与在全分辨率图像上操作相比，这需要更少 的内存。在各种实现中，将给定图像变换到较低分辨率图像是线性 的。如上所述，图像数据的线性转换避免了数据的失真。

图7B是图像分片的示意图。图像可以划分成相等大小或不等大 小的分片。分片可以使用上述技术和方法来处理。可以串行或并行 地处理分片以便改善性能。如果分片中的像素都位于缓冲中时(如 果分片足够小，这是可能的)，则可以实现另外的性能改进。如果 处理分片的较低分辨率版本，则可以实现另外的性能改进。例如， 可以在全分辨率(710)或较低分辨率(712)处理分片708。

在各种实现中，如果确定了给定分片是恒定的(即，每个像素 具有同一色彩值或灰度值)，则处理会忽略该分片，因为这种分片 不具有可被检测到的特征。诸如来自于California州、San Jose市的 Adobe Systems公司的Adobe Photoshop的某些应用程序会在与图像 相关联的元数据中自动标识恒定图像分片。忽略恒定分片可以减少 需要处理的数据量从而改进性能。对图像进行分片还允许在知道将 丢弃哪些分片(例如，恒定分片)的基础上计算有效的图像尺寸。 知道有效图像尺寸允许选择用于特征检测最佳图像分辨率。例如， 如果有效图像尺寸很小，则可以在较高的图像分辨率执行特征检测。

在其他实现中，可以将自适应的阈值化(图6)分别应用于每个 图像分片，使得每个图像分片中的特征能够与其他分片独立地进行 阈值化，而不是使用全局阈值。这避免了较常用(busy)分片中的 特征比较不常用分片中的特征更受欢迎。

图8示出了用于对彩色图像和灰度图像中的特征进行标识的系 统800，其可以实现在图像操纵系统或其他交互式应用中。尽管示出 了若干模块，但是在系统800中可以存在更少或更多模块。而且， 模块可以分布在一个或多个计算设备上，这些计算设备可以通过一 个或多个网络或其他适当通信装置连接。

用户可以通过计算机802或其他设备与系统800交互。例如， 计算机802可以是局域网(LAN)或广域网(WAN)内的计算机终 端。具体地，用户可以正在利用系统800来拼接或合并两个或更多 图像。用户输入检测器822从交互式图形用户接口(或其他进程) 接收信号，该信号反映了用户期望在彩色图像或灰度图像804上进 行特征检测。在各种实现中，图形用户接口由Adobe Photoshop提供。 输入检测器822将图像804的标识提供给PCA模块806。PCA模块 806对图像804执行PCA，以生成强度图像808。如上所述，强度图 像中的像素值随后可选地由缩放模块810进行缩放(如果这种缩放 被准许的话)。缩放模块810创建经过缩放的强度图像812，该图像 被提供给特征检测模块814，该模块814对图像812执行SIFT以便 找到指示特征的极值。自适应阈值化模块816将自适应阈值应用于 极值，以便确定最终的特征集合。强度图像和检测到的特征818随 后被提供给绘制模块820，其引起将图像818表示在设备802上。

图9是通用计算机系统900的示意图。系统900可以用于实现 结合上述系统、方法和技术所描述的操作。系统900可以包括一个 或多个处理器902、存储器906、存储设备908和输入/输出设备910。 组件902、906、908和910的每一个都使用一个或多个系统总线904 互连。处理器902能够处理指令，以用于在系统900内执行。这种 经过执行的指令例如可以实现系统800的一个或多个模块。处理器 902例如可以是单线程或多线程、单核或多核，或这些的组合。处理 器902例如能够处理存储在存储器906或存储设备908中的指令， 以将用于用户接口的图形信息显示在输入/输出设备910上。

存储器906是计算机可读介质，诸如在系统900内存储信息的 易失性或非易失性随机访问存储器。存储器906可以存储代表强度 图像(例如808、812和818)与检测到的特征的数据结构。存储设 备908能够为系统900提供永久存储。存储设备908可以是软盘设 备、闪存、硬盘设备、光盘设备或磁带设备，或其他适当永久存储 装置。输入/输出设备910提供用于系统900的输入/输出操作。在各 种实现中，输入/输出设备910包括键盘和/或指示设备，和用于显示 图形用户接口的显示单元。参考图8描述的软件模块，诸如822、806、 810、814、816和820可以存留在存储设备908中、存储器906中， 或者可以通过网络连接获得，这些仅是示例。

本说明书中描述的主题和功能性操作的实施方式可以在数字电 子电路中实现，或者在计算机软件、固件或硬件中实现，该计算机 软件、固件或硬件包括本说明书中公开的结构及其等同结构、或是 它们的一个或多个的组合。本说明书中描述的主题的实施方式可以 实现为一个或多个计算机程序产品，也即，在计算机可读介质上编 码的、以便由数据处理装置执行或控制数据处理装置操作的一个或 多个计算机程序指令模块。计算机可读介质可以是机器可读的存储 设备、机器可读的存储衬底、存储设备、实现计算机可读传播信号 的组合、或者它们中的一个或多个的结合。术语“数据处理装置” 包括用于处理数据的所有装置、设备和机器，例如包括可编程处理 器、计算机，或者多个处理器或计算机。除了硬件之外，该装置可 以包括为考虑中的计算机程序创建执行环境的代码，例如，构成处 理器固件、协议栈、数据库管理系统、操作系统或者它们中一个或 多个的结合的代码。传播信号是人工产生的信号，例如，机器产生 的电信号、光信号或者电磁信号，生成该信号以对信息进行编码， 以便传输到适当的接收器装置。

计算机程序(也公知为程序、软件、软件应用、脚本或代码) 可以由任意形式的编程语言编写，包括编译语言或解释语言，并且 该计算机程序可以任意形式部署，包括部署为单机程序或模块、组 件、子例程，或者适于在计算环境中使用的其他单元。计算机程序 无需对应于文件系统中的文件。程序可以存储在保存其他程序或数 据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一 部分中、可以存储在专门用于考虑中的程序的单个文件中，或者存 储在多个协同文件中(例如，存储一个或多个模块、子程序，或代 码部分的文件)。可以将计算机程序部署为在一个计算机上执行， 或者将其部署为在位于一个地点的多个计算机上执行或跨过多个地 点分布且通过通信网络互连的多个计算机上执行。

本说明书中描述的处理和逻辑流程可以由执行一个或多个计算 机程序的一个或多个可编程处理器执行，用于通过对输入数据进行 操作以及产生输出来执行功能。该处理和逻辑流程还可以由例如 FPGA(现场可编程门阵列)或ASIC(专用集成电路)的专用逻辑 电路执行，并且也可以将装置实现为所述专用逻辑电路。

适于计算机程序执行的处理器例如包括通用和专用处理器两 者、以及任意类型的数字计算机的任意一个或多个处理器。通常， 处理器将从只读存储器或随机访问存储器或两者处接收指令和数 据。计算机的基本元件是用于执行指令的处理器以及用于存储指令 和数据的一个或多个存储器设备。通常，计算机还将包括用于存储 数据的一个或多个海量存储设备，或被操作性地耦合为从所述用于 存储数据的一个或多个海量存储设备接收数据、向其传送数据、或 者进行两者，该海量存储设备例如磁盘、磁光盘、或光盘。然而， 计算机不必一定具有这样的设备。而且，计算机可以嵌入在其他设 备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播 放器、全球定位系统(GPS)接收器、或者便携式存储设备(例如， 通用串行总线(USB)闪存驱动)，这仅是几例。适于存储计算机 程序指令和数据的计算机可读介质包括所有形式的非易失性存储 器、介质和存储设备，例如包括：半导体存储设备，如EPROM、 EEPROM和闪存设备；磁盘，如内部硬盘或可移动硬盘；磁光盘； 以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电 路补充或是包括在专用逻辑电路中。

为了提供与用户的交互，本说明书中描述的主题的实施方式可 以在具有用于向用户显示信息的显示设备以及用户可以通过其向计 算机提供输入的键盘和指点设备的计算机上实现，其中显示设备例 如CRT(阴极射线管)或者LCD(液晶显示器)监视器，指点设备 例如鼠标或者轨迹球。也可以使用其他类型的设备来提供与用户的 交互；例如，提供给用户的反馈可以是任何形式的感观反馈，例如 视觉反馈、声觉反馈、或者触觉反馈；并且可以接收来自用户的任 意形式的输入，包括声音、语音或触觉输入。

本说明书中描述的主题的实施方式可以实现在包括后端组件的 计算系统中，例如数据服务器；或实现在包括中间件组件的计算系 统中，例如应用服务器；或实现在包括前端组件的计算系统中，例 如具有图形用户界面或者Web浏览器的客户端计算机，用户通过该 图形用户界面或Web浏览器可以与本说明书中描述的主题的实现进 行交互；或实现在一个或多个这样的后端、中间件、或前端组件的 任意结合中。系统组件可以与任意形式或介质的数字数据通信(例 如，通信网络)互连。通信网络的示例包括局域网(“LAN”)， 广域网(“WAN”)，例如，互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般相互 远离，并且通常通过通信网络进行交互。客户端和服务器的关系是 借助于在各自计算机上运行的、彼此具有客户端-服务器关系的计算 机程序得到的。

尽管本说明书包含多种特定细节，但是不应将其理解为是对本 发明的范围或者所要求保护内容的限制，而应当理解为是本发明具 体实施方式的特定特征的描述。本说明书中描述的在各个实施方式 的上下文中的某些特征也可以在单个实施方式中结合实现。相反， 在单个实施方式上下文中描述的各种特征也可以分别实现在多个实 施方式中或者任意适当的子组合中。而且，尽管上文可能将特征描 述为在特定的组合中操作，甚至初始也是这样要求保护的，但是来 自所要求保护的组合的一个或多个特征在一些情况下可以从该组合 中去除，并且所要求保护的组合可以针对子组合或组合的变形。

类似地，尽管在附图中以特定的顺序描述操作，但是不应将其 理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或 是要求执行全部所示的操作以得到期望的结果。在特定环境中，多 任务和并行处理可能是有利的。而且，在上述实施方式中多个系统 组件的分离不应被理解为在所有实施方式中需要这些操作，应当将 其理解为所描述的程序组件和系统通常可以在单个软件产品中集成 在一起，或是被打包到多个软件产品中。

这样，已经描述了本发明的特定实现。其他实现也落入下述权 利要求的范围内。例如，权利要求中的动作可以以不同顺序执行， 却仍能实现期待的结果。