图像处理装置、图像处理方法、扫描仪和存储介质

摘要

提供一种图像处理装置、图像处理方法、扫描仪和存储介质。该图像处理装置用于跟踪图像中对象图像的边界，该边界连续且相邻点斜率变化平缓。该图像处理装置包括：边界估计单元，用于估计对象图像的边界的位置；干扰梯度处理单元，用于对图像中所估计边界附近的干扰梯度进行处理，以减弱或从图像中去除干扰梯度；边界跟踪单元，用于针对已处理干扰梯度的图像跟踪边界。采用本公开的技术，图像边界跟踪的准确性显著提高。

说明书

技术领域

本公开涉及图像处理领域，尤其涉及一种用于边界跟踪的图像处理装 置、图像处理方法、扫描仪和存储介质。

背景技术

通过对立体物体进行拍照或扫描等图像获取操作所获得的图像通常 存在失真。以文档扫描为例，无论是传统的平板扫描仪，还是先进的曲面 扫描仪，扫描图像都会存在失真，诸如透视变换，拉伸变形等。另外，以 产品标识识别应用为例，对诸如饮料瓶等产品上的标识进行拍照所获得的 图像也存在失真，因而影响识别的准确性。

因此，为了去除失真、丰富文档编辑、提高内容识别的准确性，得到 准确的文档或标识等图像的边界变得很重要。在这种背景下，各种边界追 踪技术被广泛研究和使用，例如动态规划技术。

发明内容

然而，当使用传统的边界追踪技术，诸如动态规划时，边界提取会被 待追踪的对象图像中的内容或对象图像周围环境的梯度信息所干扰，从而 影响边界跟踪的准确性。对象图像中的内容例如是文档图像或标识图像等 中的图案文字等内容。对象图像周围环境诸如是文档所放置台面的背景纹 路，或标识图像所粘贴的商品上的图案。具体地，当边界周围的内容或背 景环境的梯度较强时，传统边界跟踪技术可能将内容或背景环境中的线条 等误认为边界，造成误跟踪。

考虑以上问题，在本公开中，提出一种利用边界的全局信息来消除对 象图像的内容或背景梯度的影响的图像处理装置、图像处理方法、扫描仪 和存储介质。其主旨是在使用传统边界追踪技术之前，初步估计出边界的 位置，然后将所估计边界位置附近的内容或/和背景梯度减弱或去除，从 而避免其对后续边界跟踪处理的影响。根据本公开的技术尤其适用于对象 图像的边界连续且相邻点斜率变化平缓的情况。

根据本发明的一个实施例，提供一种图像处理装置，用于跟踪图像中 对象图像的边界，边界连续且相邻点斜率变化平缓，图像处理装置包括： 边界估计单元，用于估计对象图像的边界的位置；干扰梯度处理单元，用 于对图像中所估计边界附近的干扰梯度进行处理，以减弱或从图像中去除 干扰梯度；边界跟踪单元，用于针对已处理干扰梯度的图像跟踪边界。

在一个实施例中，边界估计单元包括：分段单元，用于对图像在边界 上的两个角点之间的部分进行分割，以获得预定数量的分段；分段边界估 计单元，用于分别针对所分割的分段估计边界的位置。

在一个实施例中，分段边界估计单元包括边界近似单元，用于使用直 线段近似各个分段中的边界，其中，针对角点所在的最外侧分段中的至少 一个，边界近似单元将最外侧分段中的角点设置为近似最外侧分段中的边 界的第一直线段的起点，并在最外侧分段的第一分割线上选取第一直线段 的终点，使得在包含第一直线段的窄带区域的梯度直方图中，像素相对于 最大梯度最集中；以及边界近似单元将已经得到的边界近似直线段的终点 设置为近似相邻下一分段的边界的第二直线段的起点，并在下一分段的、 不与已经得到边界近似直线段的分段共有的第二分割线上选取第二直线 段的终点，使得在包含第二直线段的窄带区域的梯度直方图中，像素相对 于最大梯度最集中。

在一个实施例中，分段边界估计单元还包括评价单元，用于对由边界 近似单元获得的近似直线段的可用性进行评价。

在一个实施例中，评价单元包括：集中度评价单元，用于确定像素相 对于最大梯度的集中程度是否大于等于预定程度，在大于等于预定程度 时，确定边界的近似直线段可用，在小于预定程度时，确定边界的近似直 线段不可用。

在一个实施例中，评价单元包括：倾斜角验证单元，用于将最新获得 的近似直线段的倾斜角与上一相邻分段中近似直线段的倾斜角进行比较， 当倾斜角之差小于等于预定阈值时，确定近似直线段可用；当倾斜角之差 大于预定阈值时，确定近似直线段不可用。

在一个实施例中，干扰梯度处理单元分别对各个分段中近似直线段附 近的梯度进行处理。

在一个实施例中，干扰梯度处理单元对预定区域之内、除包含近似直 线段的窄带区域之外的梯度进行处理。

在一个实施例中，当最外侧分段的近似直线段不可用时，干扰梯度处 理单元对角点所在水平线上下预定宽度窄带之外的梯度进行处理；并且边 界跟踪单元针对经过该处理的图像跟踪对象图像的边界。

在一个实施例中，当仅从一端角点开始近似，且某一分段的近似直线 段不可用时，干扰梯度处理单元将最后近似可用的分段的近似直线段的终 点与另一端的角点相连接，并对连线的不存在边界的一侧的梯度进行处 理。

在一个实施例中，当同时从两端的角点开始近似，且某一侧或两侧分 段的近似不可用时，干扰梯度处理单元将最后近似可用的分段的近似直线 段的终点与另一侧最后近似可用的分段的近似直线段的终点相连接，并对 连线的不存在边界的一侧的梯度进行处理。

在一个实施例中，上述实施例中描述的对象图像是文档图像。

根据本发明的一个实施例，提供一种扫描仪，包括根据上述实施例中 任一个的图像处理装置。

根据本发明的一个实施例，提供一种图像处理方法，用于跟踪图像中 对象图像的边界，边界连续且相邻点斜率变化平缓，图像处理方法包括： 边界估计步骤，估计对象图像的边界的位置；干扰梯度处理步骤，对图像 中所估计边界附近的干扰梯度进行处理，以减弱或从图像中去除干扰梯 度；边界跟踪步骤，针对已处理干扰梯度的图像跟踪边界。

根据本发明的一个实施例，提供一种计算机可读存储介质，存储有使 计算机执行跟踪图像中对象图像的边界的处理的计算机程序，边界连续且 相邻点斜率变化平缓，处理包括：估计对象图像的边界的位置；对图像中 所估计边界附近的干扰梯度进行处理，以减弱或从图像中去除干扰梯度； 针对已处理干扰梯度的图像跟踪边界。

利用根据本发明的图像处理装置、图像处理方法、扫描仪和计算机可 读存储介质，可以通过在对图像进行传统的边界跟踪处理之前进行预处 理，具体地，通过初步估计出边界位置，减弱或去除所估计位置周围的内 容和/或背景梯度，从而降低边界误跟踪的可能性，提高边界跟踪的准确 性。进而，有助于丰富文档编辑、提高标识识别的准确度等。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明 的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或 部件将采用相同或对应的附图标记来表示。在附图中不必依照比例绘制出 单元的尺寸和相对位置。

图1是示出使用扫描仪对文档进行扫描获得的图像的示意图。

图2是示出根据本发明实施例的边界跟踪装置的功能框图。

图3是示出根据本发明实施例的边界跟踪装置的功能框图。

图4是示例性示出对图1所示文档图像中文档装订线一侧的下边界进 行的分割的示意图。

图5是例示根据本发明实施例的由边界近似单元进行的边界近似处 理的说明图。

图6是例示出相邻两个分段的边界的近似直线段的倾斜情况的说明 图。

图7是例示根据本发明实施例的分段边界估计单元的一个实例的功 能结构的框图。

图8是例示根据本发明实施例的干扰梯度处理的第一种情况的实例 的说明图。

图9是例示根据本发明实施例的干扰梯度处理的第二种情况的实例 的说明图。

图10是例示根据本发明实施例的干扰梯度处理的第三种情况的实例 的说明图。

图11是示出根据本发明实施例的边界跟踪方法的处理流程的流程 图。

图12是示例性示出对诸如图1所示文档图像进行的文档边界跟踪处 理的实例的流程图。

图13是示出实现本发明的计算机的示例性结构的框图。

具体实施方式

下面参照附图来说明本发明的实施例。应当注意，为了清楚的目的， 附图和说明中省略了与本发明无关的、本领域技术人员已知的部件和处理 的表示和描述。

为了方便说明，下文中以通过扫描获得的文本图像为例，说明根据本 发明实施例的图像处理装置和图像处理方法。

图1是示出使用扫描仪对文档进行扫描获得的图像的示意图。其中， 省略示出文档中的内容，并且用“ο”标示出文档图像的角点。从图1中 可见，文档图像的上下边界发生了失真。为了方便对文档图像的进一步编 辑，需要对该上下边界进行准确的跟踪。图2是示出根据本发明实施例的 边界跟踪装置200的功能框图。

如图2中所示，边界跟踪装置200包括：用于估计对象图像的边界的 位置的边界估计单元201、用于对图像中所估计边界附近的干扰梯度进行 处理以减弱或去除干扰梯度的干扰梯度处理单元202，以及用于针对已处 理干扰梯度的图像跟踪边界的边界跟踪单元203。下文中，将采用文档图 像作为对象图像的示例进行描述，但可以理解：可以对任何其它需要对边 界进行跟踪的对象图像，诸如产品标识图像，应用根据本公开的技术，只 要所要跟踪的边界连续且相邻点斜率变化平缓即可。

边界估计单元201估计通过扫描等图像获取操作获得的对象图像的 边界的位置。具体地，针对如图1所示的文档图像，边界估计单元201 可以估计文档图像的上下边界的位置。这里，边界估计单元201的作用是 要初步地给边界定位，获得文档边界的大致位置，以便于进行后续的梯度 处理操作。边界估计单元201可以采用本领域已知的各种方法来估计文档 边界的位置。例如，采用诸如Sobel算子的初步边界检测技术等。甚至， 可以在文档图像中手动地标注边界位置。

在得到所估计的边界的位置后，干扰梯度处理单元202可以选择性地 对该位置周围的干扰梯度进行处理。例如，减弱或从图像中去除干扰梯度。 例如，当由边界估计单元201估计出了图1中所示文档图像的下边界的位 置时，干扰梯度处理单元202可以将该下边界之上的相邻区域中的各像素 的梯度减弱或去除。

首先，需要说明的是：如本领域技术人员可以理解的，在本公开所举 例的实施例中，对图像进行的各种处理，都是在整个图像或对象图像边界 曲线区域的梯度图上进行的。在本公开中，为了所附说明性附图显示更清 楚，各图例（图4－图6以及图8－图10）采用白色背景、黑色梯度的反 色梯度图显示。在反色梯度图中，反色梯度值＝255－原始梯度值。例如， 在正常梯度图中，最大梯度的梯度值是255，最小梯度的梯度值是0。则， 在反色梯度图中，最大梯度的梯度值是0，而最小梯度的梯度值是255。

在使用这种反色梯度图的实施例中，干扰梯度处理单元202可以将边 界位置周围的区域（待处理区域）中的梯度值设为255（相当于去除梯度）， 也可以按照预定规则增加待处理区域中的梯度值（相当于减弱梯度）。诸 如，当待处理区域中某个像素对应的梯度值是120时，可以将其乘以整数 2，以将梯度值变为240，从而减弱梯度。对梯度进行减弱而不是去除可 以防止在由边界估计单元201估计出的边界位置不准确时误去除了真正 的边界。同理，当文档图像的背景（诸如扫描台）上有其它纹路时，也可 以对该下边界之下的相邻区域进行同样的处理。

当然，在使用正常的梯度图（黑色背景）的实施例中，干扰梯度处理 单元202可以对待处理区域中的梯度进行处理。例如，将待处理区域中的 所有梯度值设为0。即，去除干扰梯度。或者，为了防止在由边界估计单 元201估计出的边界位置不准确时误去除了真正的边界，干扰梯度处理单 元202可以按照预定规则减小待处理区域中的梯度值。该预定规则例如可 以是用梯度值除以一个整数（例如，2、3）或用梯度值减去一个固定数。 从而，减弱待处理区域中的梯度。下文中，为了显示清楚，只示例性说明 使用反色梯度图的情形。

经过了干扰梯度处理的文档图像被输送给边界跟踪单元203。边界跟 踪单元203可以使用诸如动态规划等本领域公知的各种边界跟踪技术，针 对已处理干扰梯度的文档图像进行边界跟踪处理。

显然，所估计边界位置的准确性对干扰梯度去除的有效性进而边界跟 踪的准确性具有很大的影响。根据图3的实施例旨在提高估计边界位置的 准确性。图3是示出根据本发明实施例的边界跟踪装置300的功能框图。 边界跟踪装置300中的边界跟踪单元303与边界跟踪装置200中的边界跟 踪单元203的功能和配置相同，省略其详细描述。

边界跟踪装置300包括：边界估计单元301、干扰梯度处理单元302 以及边界跟踪单元303。其中，边界估计单元301包括分段单元31和分 段边界估计单元32。分段单元31用于对图像在边界上的两个角点之间的 部分进行分割，以获得预定数量的分段。分段边界估计单元32用于分别 针对所分割的分段估计边界的位置。

图4是示例性示出对图1所示文档图像中文档装订线一侧的下边界进 行的分割的示意图。图4中还示例性示出了可能影响边界跟踪的文档内 容。在已知两个角点的情况下，分段单元41例如可以用最简单的方式来 在边界上获得预定数量的分段：用垂直于两角点连线的分割线均匀分割两 个角点之间的线段，从而分割边界曲线。在图4所示的实施例中，边界被 分割为6段。当然，也可以根据设计需要选择任何其它分割方式。例如， 可以使用倾斜于两脚点连线的分割线，或者通过不均匀地分割角点连线来 分割边界。所分割的段数依据边界两端角点间距离、要求的边界估计精度 等确定。例如可以取5至20段等。在系统计算量和边界估计精度之间寻 求折衷。

可以采用不同的方式来确定边界的角点。例如，使用本领域已知的各 种角点检测方法来自动检测边界的角点。或者，通过人工输入来确定角点。

分段边界估计单元32可以使用已知的各种方法自动、或手动输入地 来按照所分割的分段估计边界的位置。图7是例示根据本发明实施例的分 段边界估计单元的一个实例700的功能结构的框图。

在图7所示的实施例中，分段边界估计单元700可以包括：用于使用 直线段近似各个分段中的边界的边界近似单元701，以及用于对由边界近 似单元701获得的近似直线段的可用性进行评价的评价单元702。其中， 评价单元702可以包括集中度评价单元71和倾斜角验证单元72。下文中， 将结合图5和图6分别对这些单元的功能进行详细描述。

图5是例示根据本发明实施例的由边界近似单元701进行的边界近似 处理的说明图。如图5中所示，首先，边界近似单元701从所有分段中最 外侧的分段（即角点所在的分段）开始进行边界近似处理。根据对象图像 的边界的特点和设计需要，可以选择同时从两个最外侧分段开始进行边界 近似，也可以只从一个最外侧分段开始进行边界近似。在图5所示的实施 例中，考虑到靠近文档装订线的边界失真较严重，只从文档远离装订线的 角点A所在的最外侧分段开始进行边界近似。

具体地，边界近似单元701将该最外侧分段中的角点A设置为要用 来近似该最外侧分段中的边界的直线段的起点，并在最外侧分段的分割线 a1上选取该边界近似直线段的终点，以使得在包含该边界近似直线段的 窄带区域的梯度直方图中，像素相对于最大梯度最集中。后面将结合式（1） 更详细地说明。

当已经得到最外侧分段中边界的近似直线段在分割线a1上的终点 时，边界近似单元701将已经得到的终点设置为用来近似相邻下一分段的 边界的直线段的起点。然后，边界近似单元701在下一分段的、不与已经 得到边界近似直线段的分段共有的分割线（a2）上选取近似直线段的终点， 使得在包含该近似直线段的窄带区域的梯度直方图中，像素相对于最大梯 度最集中。

以此类推，在已经得到从最外侧分段数起第m（m＝1…n－1，n为 分段总数）个分段的边界近似直线段在分割线a_m上的终点时，边界近似 单元701将所获得的终点设置为第m＋1个分段中的边界的近似直线段的 起点。然后，边界近似单元701在第m＋1个分段的、不与第m个分段 共有的分割线，即分割线a_m+1上选取近似直线段的终点，使得在包含该近 似直线段的窄带区域的梯度直方图中，像素相对于最大梯度最集中。从而， 得到两角点间边界的全部分段的近似直线段。

换句话说，对于边界的近似直线段（包括最外侧分段之外的其它分段 中边界的近似直线段），起点是固定的。即，起点是角点或者前一段边界 的近似直线段的终点。而终点要在不同于角点或前一分段近似所获得终点 所在分割线的分割线上选择。例如，可以每隔预定距离在分割线上选择一 个可能终点，或者遍历分割线上的所有点以选择一个可能终点，以和起点 构成可能近似直线段。然后，通过在包含该可能近似直线段（例如以该近 似直线段为中心线）的窄带区域的梯度直方图中像素相对于最大梯度最集 中的原则进行近似直线段的选取。

对于每一条可能的近似直线段，计算邻近区域（例如窄带区域）的梯 度直方图。如图5所示，用“——”表示可能的近似直线段，窄带区域 是在两条“-------”线段之间的部分。对于每一条可能的直线段，都能计 算出对应的梯度直方图。对于一个梯度直方图，横坐标是梯度值，纵坐标 是相应的像素个数。

在使用反色梯度图的实例中，根据该反色梯度图获得的梯度直方图的 梯度值0的位置对应最大梯度，梯度值255的位置对应最小梯度。可以通 过求取反映该梯度直方图中像素相对于最大梯度的集中程度的α分位的 梯度k来选取最可能的近似直线段。

如式（1）所示，可以计算求得超过α(例如α=0.95)分位的梯度值k：

$\arg {\min }_k(\underset{i=0}{\overset{k}{\Sigma }}{h}_i\ge 0.95*\underset{i=0}{\overset{255}{\Sigma }}{h}_i)---\left(1\right)$

而具有最小k值（梯度值最小）的线段，就是最有可能的线段，从而得到 分段边界的近似直线段。

当然，在另外的实施例中，也可以使用正常的梯度图。在根据该正常 梯度图获得的梯度直方图中，梯度直方图的梯度值255的位置对应最大梯 度，梯度直方图的梯度值0的位置对应最小梯度。在这种情况下，可以通 过诸如下面的式（2）来求取反映该梯度直方图中像素相对于最大梯度的 集中程度的梯度k来选取最可能的近似直线段。

$\arg {\max }_k(\underset{i=k}{\overset{255}{\Sigma }}{h}_i\ge 0.95*\underset{i=0}{\overset{255}{\Sigma }}{h}_i)---\left(2\right)$

在使用正常梯度图的情况下，具有根据式（2）计算的最大k值的线段， 就是最有可能的线段，从而得到分段边界的近似直线段。

分段边界估计单元可以只包括边界近似单元。在由边界近似单元获得 分段边界的近似直线段之后，直接输送到干扰梯度处理单元执行后续的干 扰梯度处理。

此外，为了提高边界估计的准确度，如图7中所示，分段边界估计单 元还可以包括评价单元702，用于对由边界近似单元701获得的近似直线 段的可用性进行评价。评价近似直线段的可用性，即确定近似直线段是否 充分接近真正的边界，或者说，确定近似直线段充分接近真正的边界的可 能性是否足够高。可以通过采用本领域已知的各种确定手段、标准进行评 价。例如，使用上述像素相对于最大梯度的集中程度与预定程度的关系作 为标准进行评价。或者，例如，使用获得的可能近似直线段与上一分段的 近似直线段的倾斜角的差作为标准进行评价。当确定近似直线段可用时， 可以将该近似直线段作为边界的估计位置，减弱或从图像中去除该位置附 近的干扰梯度。而当确定近似直线段不可用时，可以根据需要选择是否减 弱或去除该近似直线段附近的梯度。

在根据图7的实施例中，评价单元702例如可以包括集中度评价单元 71和倾斜角验证单元72。

集中度评价单元71可以用来确定由边界近似单元701获得的近似直 线段所在的位置的梯度是否足够强。换句话说，集中度评价单元71可以 确定在上面描述的梯度直方图中像素相对于最大梯度的集中程度是否大 于等于预定程度。

在使用反色梯度直方图的情况下，可以例如使用结合式（1）描述的α 分位的梯度k来评价像素相对于最大梯度的集中程度是否大于等于预定 程度。例如，在一个实例中，当k小于等于阈值Th1时，可以认为像素相 对于最大梯度的集中程度大于等于预定程度；当k大于阈值Th1时，可以 认为像素相对于最大梯度的集中程度小于预定程度。Th1的取值可以是例 如小于等于245，优选在128至255之间。在集中程度大于等于预定程度 时，集中度评价单元72确定边界的近似直线段可用；而在集中程度小于 预定程度时，集中度评价单元71确定边界的近似直线段不可用。

当集中度评价单元71确定边界的近似直线段可用时，可选择地，还 可以利用倾斜角验证单元72对该近似直线段的可用性进行进一步验证。

倾斜角验证单元72可以将最新获得的近似直线段的倾斜角与上一相 邻分段中近似直线段的倾斜角进行比较。当倾斜角之差小于等于预定阈值 Th2时，倾斜角验证单元72确定近似直线段可用；当倾斜角之差大于预 定阈值Th2时，确定近似直线段不可用。根据具体情况，Th2可以在0 度至90度之间取值。例如，Th2可以取8度。

图6是例示出相邻两个分段的边界的近似直线段的倾斜情况的说明 图。从图6中可以直观地看出，在已知边界连续且相邻点的斜率变化平缓 时，当近似直线充分接近真正的边界时，相邻两个分段的近似直线段的倾 斜角变化很小。即，相邻两个分段的近似直线段的倾斜角之差将小于预定 阈值Th2。在一些实施例中，也可以不使用集中度评价单元，而只设置倾 斜角验证单元72对可能近似直线段进行评价。

重新参考图3。当边界估计单元301中进行边界近似的结果输入干扰 梯度处理单元302。干扰梯度处理单元302分别处理各个分段中近似直线 附近的梯度。例如，干扰梯度处理单元302减弱或去除预定区域之内、除 包含近似直线段的窄带区域之外的梯度。如图8中从左数前两个分段所 示。

图8是例示根据本发明实施例的干扰梯度处理的第一种情况的实例 的说明图。以文档图像为例，当从最外侧角点开始成功地获取了两个分段 的近似直线段的情况下，干扰梯度处理单元302可以对这两个分段进行干 扰梯度处理。具体的处理方法可以是：针对每一个分段，处理预定区域（如 图8所示的边界附近的矩形区域）之内，除包含近似直线段的窄带区域之 外的梯度。处理部分如阴影部分所示。该进行梯度处理的预定区域可以根 据对象图像的特点、以及干扰内容的分布特点设定。具体的处理实例已经 在上文中说明。

图9和图10分别是例示根据本发明实施例的干扰梯度处理的第二、 第三种情况的示例的说明图。

如图9中所示，当例如评价单元702确定最外侧分段的近似直线段不 可用时，干扰梯度处理单元302（700）处理角点所在水平线上下预定宽 度的窄带之外的梯度。并且，边界跟踪单元303针对经过该处理的图像跟 踪对象图像的边界。虽然图9仅示出从一端角点进行近似的情况，但可以 理解，图9所示的处理方法也适用于同时从两端角点进行近似的情况。

此外，当仅从一端角点开始近似，直至某一分段的近似直线段不可用 时，干扰梯度处理单元302可以将最后近似可用的分段的近似直线段的终 点与另一端的角点相连接，并处理连线的不存在边界的一侧的梯度。

如图10所示实施例中，成功地对从角点A开始前4个分段的边界进 行了近似。此时，可以以图8示出的干扰梯度处理方式，针对图10中从 角点A开始的前4个分段的每一个分段，处理预定区域之内，除包含近 似直线段的窄带区域之外的梯度。此外，由于未能成功地获得第5个分段 的边界的近似直线段，因而，干扰梯度处理单元302可以将最后（第4 个）近似可用的分段的近似直线段的终点C与另一端的角点B相连接， 并处理连线的不存在边界的一侧的梯度。

针对文档图像，考虑到靠近文档装订线一侧的边界失真较严重，可以 不执行对靠近装订线的边界进行边界定位并减弱或去除附近干扰梯度的 预处理，而是同样如图10中所示，将所获取的距离文档装订线最近的近 似直线段终点（C）与装订线上的角点（B）相连接，并处理C、B连线 的不存在边界的一侧的梯度。后面将对这样的实施例详细举例。

此外，在另外的实施例中，当同时从两端的角点开始近似，且某一侧 或两侧分段的近似不可用时，干扰梯度处理单元将最后近似可用的分段的 近似直线段的终点与另一侧最后近似可用的分段的近似直线段的终点相 连接，并处理连线的不存在边界的一侧的梯度。在边界曲线较复杂的情况 下，可能在C、B连线的两侧都存在边界。在这种情况下，不进行参考图 10对第5和第6分段进行的干扰梯度处理。

上面的实施例都是结合图1中所示的文档扫描图像进行说明的。但本 领域技术人员在通读本公开后可以理解：本公开涉及的技术不仅仅限于只 应用于文档图像的边界跟踪，而还可以应用与其它特定对象图像的边界跟 踪。只要该对象图像的边界连续且相邻点斜率变化平缓即可。

对于上述对文档图像边界进行跟踪的图像处理装置，可以被集成在扫 描仪中，以实现对扫描仪获得的扫描图像的后期处理。

图11是示出根据本发明实施例的边界跟踪方法的处理流程的流程 图。使用该方法可以对从图像获取装置输入的、或从存储装置读取的图像 中的对象图像的边界，尤其是连续且相邻点斜率变化平缓的对象图像边界 进行跟踪。

在步骤S1101中，对对象图像的边界位置进行估计。以诸如图1所示 的文档图像为例，可以估计文档图像的上下边界的位置，以初步地定位文 档边界，以便于进行后续的梯度减弱或去除操作。可以采用本领域已知的 各种方法来估计文档边界的位置。例如，采用诸如Sobel算子的初步边界 检测技术。甚至，可以在文档图像中手动地标注边界位置。

在步骤S1102中，对图像中所估计边界附近的干扰梯度进行处理，以 减弱或从图像中去除干扰梯度。在得到所估计的边界的位置后，可以选择 性地将该位置周围的干扰梯度减弱或去除。例如，当估计出了图1中所示 文档图像的下边界的位置时，可以将该下边界之上的相邻区域的所有像素 的梯度减弱或去除。同理，当文档图像的背景上有其它纹路时，也可以将 该下边界之下的相邻区域的所有像素的梯度减弱或去除。减弱或去除的具 体实例已经在上文中描述。

在步骤S1108中，针对已处理干扰梯度的图像跟踪对象图像的边界。 例如，可以使用诸如动态规划等本领域公知的各种边界跟踪技术，针对已 处理干扰梯度的文档图像进行边界跟踪处理。

由于所估计边界位置的准确性对干扰梯度处理的有效性进而边界跟 踪的准确性具有很大的影响，所以可以采用各种已知的方法提高估计边界 位置的准确性。

在一个实施例中，可以对图像在边界上的两个角点之间的部分进行分 割，以获得预定数量的分段。然后，分别针对所分割的分段估计边界的位 置。

在已知两个角点的情况下，例如可以用最简单的方式来在边界上获得 预定数量的分段：用垂直于两角点连线的分割线均匀分割两个角点之间的 线段，从而分割边界曲线。例如，如图4所示的例子，边界曲线被分割为 6段。当然，也可以根据设计需要选择任何其它分割方式。例如，可以使 用倾斜于两脚点连线的分割线，或者通过不均匀地分割角点连线来分割边 界。所分割的段数依据边界两端角点间距离、要求的边界估计精度等确定。 例如可以取5至20段等。在系统计算量和边界估计精度之间寻求折衷。

可以采用不同的方式来确定边界的角点。例如，使用本领域已知的各 种角点检测方法来自动检测边界的角点。或者，通过人工输入来确定角点。

可以使用已知的各种方法自动、或手动输入地来分别针对所分割的分 段估计边界的位置。在一个例子中，可以使用直线段近似各个分段中的边 界，并对所获得的近似直线段的可用性进行评价，从而获得所估计的边界 位置。下面以实例的方式具体进行说明。

首先，可以从所有分段中最外侧的分段（即角点所在的分段）开始进 行边界近似处理。根据对象图像的边界的特点和设计需要，可以选择同时 从两个最外侧分段开始进行边界近似，也可以只从一个最外侧分段开始进 行边界近似。结合图5所示的实施例中，考虑到靠近文档装订线的边界失 真较严重，只从文档远离装订线的角点A所在的最外侧分段开始进行边 界近似。

具体地，可以将该最外侧分段中的角点A设置为要用来近似该最外 侧分段中的边界的直线段的起点，并在最外侧分段的分割线a1上选取该 边界近似直线段的终点，以使得在包含所述第一直线段的窄带区域的梯度 直方图中，像素相对于最大梯度最集中。关于“像素相对于最大梯度最集 中”已经在上面结合式（1）和（2）的例子进行了举例说明，这里不再赘 述。

当已经得到最外侧分段中边界的近似直线段在分割线a1上的终点 时，可以将已经得到的终点设置为用来近似相邻下一分段的边界的直线段 的起点。然后，可以在下一分段的、不与已经得到边界近似直线段的分段 共有的分割线（a2）上选取近似直线段的终点，使得在包含所述第二直线 段的窄带区域的梯度直方图中，像素相对于最大梯度最集中。以此类推， 最终得到两角点间边界的全部分段的近似直线段。

在对边界估计的准确性要求不高时，可以在获得分段边界的近似直线 段之后，直接执行干扰梯度减弱或去除处理，而不进行任何评价和验证。

然而，为了提高边界估计的准确度，可以对获得的近似直线段的可用 性进行评价。评价近似直线段的可用性，即确定近似直线段是否充分接近 真正的边界，或者说，确定近似直线段充分接近真正的边界的可能性是否 足够高。可以通过采用本领域已知的各种确定手段、标准进行评价。例如， 使用上述像素相对于最大梯度的集中程度与预定程度的关系作为标准进 行评价。或者，例如，使用获得的可能近似直线段与上一分段的近似直线 段的倾斜角的差作为标准进行评价。当确定近似直线段可用时，可以将该 近似直线段作为边界的估计位置，对图像中该位置附近的干扰梯度进行处 理。而当确定近似直线段不可用时，可以根据需要选择是否对该近似直线 段附近的梯度进行处理。后面将举例说明。

在一个实施例中，可以依据边界近似直线段所在位置附近的梯度是否 足够黑来进行评价。例如，可以确定在包含近似直线段的窄带的梯度直方 图中，像素相对于最大梯度的集中程度是否大于等于预定程度。在集中程 度大于等于预定程度时，确定边界的近似直线段可用；而在集中程度小于 预定程度时，确定边界的近似直线段不可用。在使用反色梯度图的情况下， 可以例如使用结合式（1）描述的α分位的梯度k来评价像素相对于最大梯 度的集中程度是否大于等于预定程度。例如，在一个实例中，当k小于等 于阈值Th1时，可以认为像素相对于最大梯度的集中程度大于等于预定 程度；当k大于阈值Th1时，可以认为像素相对于最大梯度的集中程度小 于预定程度。阈值Th1的取值可以是例如小于等于245，优选在128至 255之间。

当确定边界的近似直线段可用时，可选择地，还可以对该近似直线段 的可用性进行进一步验证。例如，可以将最新获得的近似直线段与上一相 邻分段中近似直线段的倾斜角进行比较。当倾斜角之差小于等于预定阈值 Th2时，确定近似直线段可用；当倾斜角之差大于预定阈值Th2时，确 定近似直线段不可用。根据具体情况，Th2可以在0度至90度之间取值。 例如，Th2可以取8度。

如图6所示，在已知边界连续且相邻点的斜率变化平缓时，当近似直 线充分接近真正的边界时，相邻两个分段的近似直线段的倾斜角变化很 小。即，相邻两个分段的近似直线段的倾斜角之差将小于预定阈值Th2。

接下来，根据边界近似的结果进行干扰梯度处理，分别处理各个分段 中近似直线附近的梯度。例如，减弱或去除预定区域之内、除包含近似直 线段的窄带区域之外的所有梯度。如图8中从左数前两个分段所示。

在一种情况下，以文档图像为例，当从最外侧角点开始成功地获取了 两个分段的近似直线段的情况下，可以对这两个分段进行干扰梯度处理。 具体的处理方法可以是：针对每一个分段，对预定区域（如图8所示的边 界附近的矩形区域）之内，除包含近似直线段的窄带区域之外的梯度进行 减弱或去除。处理部分如阴影部分所示。该进行梯度处理的预定区域可以 根据对象图像的特点、以及干扰内容的分布特点设定。

在另一种情况下，当例如确定最外侧分段的近似直线段不可用时，可 以减弱或去除角点所在水平线上下预定宽度的窄带之外的梯度，并针对经 过该减弱或去除的图像跟踪对象图像的边界。如图9中所示。虽然图9 仅示出从一端角点进行近似的情况，但可以理解，该去除方法也适用于同 时从两端角点进行近似的情况。

此外，当仅从一端角点开始近似，直至某一分段的近似直线段不可用 时，可以将最后近似可用的分段的近似直线段的终点与另一端的角点相连 接，并处理连线的不存在边界一侧的梯度。

在再一种情况下，成功地对从角点A开始前4个分段的边界进行了 近似。此时，可以以图8示出的处理方式，针对图10中从角点A开始的 前4个分段的每一个分段，减弱或去除预定区域之内，除包含近似直线段 的窄带区域之外的梯度。此外，由于未能成功地获得第5个分段的边界的 近似直线段，因而，可以将最后（第4个）近似可用的分段的近似直线段 的终点C与另一端的角点B相连接，并对连线的不存在边界的一侧的梯 度进行处理。

针对文档图像，考虑到靠近文档装订线一侧的边界失真较严重，可以 不执行对靠近装订线的边界进行边界定位并对附近干扰梯度进行减弱或 去除的预处理，而是同样如图10中所示，将所获取的距离文档装订线最 近的近似直线段终点（C）与装订线上的角点（B）相连接，并对C、B 连线的不存在边界的一侧的梯度进行处理。

此外，在另外的实施例中，当同时从两端的角点开始近似，且某一侧 或两侧分段的近似不可用时，干扰梯度处理单元将最后近似可用的分段的 近似直线段的终点与另一侧最后近似可用的分段的近似直线段的终点相 连接，并对连线的不存在边界的一侧的梯度进行处理。

下面参考图12描述本发明的一个具体应用。图12是示例性示对图1 所示文档图像进行的文档边界跟踪处理的实例的流程图。

在一个实例中，例如可以对文档装订线左右两侧的上下边界分别进行 边界跟踪。下面以文档装订线左侧的下边界作为示例。

在步骤S1201中，获取下边界曲线的两个端点。可以自动进行角点提 取或者人工输入角点的位置。

在步骤S1202中，以任意方式，诸如用垂直两个端点连线的若干分割 线将边界曲线分割成N段；并且对变量n（n＝0…N）赋值，使得n＝1。

在步骤S1203中，确定n是否小于等于N－2。当在步骤S1203中确 定为是时，在步骤S1204中，用直线段对该第n个分段中的边界进行近似， 以获得该边界的近似直线段。

接下来，对最终获得的最可能的近似直线段进行评价。在步骤S1205 中，确定所获得的近似直线段所在位置的梯度是否足够强。当在步骤 S1205中确定为是时，在步骤S1206中确定n是否等于1。如果n＝1，则 进行到步骤S1208，如参考图8所描述的，减弱或去除包含近似直线段的 窄带区域之外的梯度（简便起见，下文中称为“处理梯度1”）。

如果在S1206中确定n不等于1，则进行到步骤S1207，确定该第n 个分段的近似直线段的倾斜角与第n－1个分段成功近似的直线段的倾斜 角的差异是否足够小。如果足够小，则步骤进行到S1208，处理梯度1。 然后，进行到步骤S1209，使得n自加1。并将步骤返回到步骤S1203， 确定n是否小于等于N－2。

当在步骤S1205确定为否时，即所获得的近似直线段所在位置的梯度 不足够强，即该近似直线段不可用时，处理进行到步骤S1210，确定n是 否等于1。当n＝1时，步骤进行到S1211，如参考图9所描述的，对端点 所在水平线上下预定宽度的窄带之外的梯度进行处理（简便起见，下文中 称为“处理梯度2”）。然后，进行步骤S1212，停止估计边界并处理干扰 梯度的预处理，对处理了干扰梯度的文档图像进行边界跟踪。

当n不等于1时，停止估计边界并处理干扰梯度的预处理，直接进行 到步骤S1212，开始对文档图像的边界进行跟踪。

此外，当在步骤S1207中确定倾斜角差异较大时，停止估计边界并处 理干扰梯度的预处理，直接进行到步骤S1212，开始对文档图像的边界进 行跟踪。

考虑到靠近装订线的文档边界的失真较严重，当在S1203的确定步骤 中发现n等于N－2时，步骤进行到S1213。在S1213中，如参考图10 所描述的，将第N－2个分段中得到的近似直线段的终点与位于装订线上 的边界的端点相连，并对该连线之上区域中的内容梯度进行处理（简便起 见，下文中称为“处理梯度3”）。

然后，处理进行到步骤S1212，停止估计边界并处理干扰梯度的预处 理，开始对文档图像的边界进行跟踪。

这里，需要注意的是：在一些实施例中，可以省略步骤S1206。可以 在对第一段的近似直线段进行评价时使用预估的倾斜角进行倾斜角比较。

下文中，参考图13描述实现本发明的数据处理设备的计算机的示例 性结构。图13是示出实现本发明的计算机的示例性结构的框图。

在图13中，中央处理单元（CPU）1301根据只读存储器（ROM） 1302中存储的程序或从存储部分1308加载到随机存取存储器（RAM） 1303的程序执行各种处理。在RAM 1303中，也根据需要存储当CPU 1301 执行各种处理时所需的数据。

CPU 1301、ROM 1302和RAM 1303经由总线1304彼此连接。输入 /输出接口1305也连接到总线1304。

下述部件连接到输入/输出接口1305：输入部分1306，包括键盘、鼠 标等；输出部分1307，包括显示器，诸如阴极射线管（CRT）、液晶显示 器（LCD）等，以及扬声器等；存储部分1308，包括硬盘等；以及通信 部分1309，包括网络接口卡诸如LAN卡、调制解调器等。通信部分1309 经由网络诸如因特网执行通信处理。

根据需要，驱动器1310也连接到输入/输出接口1305。可拆卸介质 1311诸如磁盘、光盘、磁光盘、半导体存储器等根据需要被安装在驱动 器1310上，使得从中读出的计算机程序根据需要被安装到存储部分1308 中。

在通过软件实现上述步骤和处理的情况下，从网络诸如因特网或存储 介质诸如可拆卸介质1311安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图13所示的其 中存储有程序、与方法相分离地分发以向用户提供程序的可拆卸介质 1311。可拆卸介质1311的例子包含磁盘、光盘(包含光盘只读存储器 （CD-ROM）和数字通用盘（DVD）)、磁光盘（包含迷你盘（MD））和 半导体存储器。或者，存储介质可以是ROM 1302、存储部分1308中包 含的硬盘等，其中存有程序，并且与包含它们的方法一起被分发给用户。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或 示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使 用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组 件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在 或附加。涉及序数的术语“第一”，“第二”等并不表示这些术语所限定的 特征、要素、步骤或组件的实施顺序或者重要性程度，而仅仅是为了描述 清楚起见而被配置用于在这些特征、要素、步骤或组件之间进行标识。

此外，本发明的各实施例的方法不限于按照说明书中描述的或者附图 中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地 执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构 成限制。

综上，在根据本发明的实施例中，本发明提供了如下方案：

1.一种图像处理装置，用于跟踪图像中对象图像的边界，所述边界 连续且相邻点斜率变化平缓，所述图像处理装置包括：

边界估计单元，用于估计所述对象图像的边界的位置；

干扰梯度处理单元，用于对所估计边界附近的干扰梯度进行处理，以 减弱或从所述图像中去除所述干扰梯度；

边界跟踪单元，用于针对已处理干扰梯度的所述图像跟踪所述边界。

2.根据附记1所述的图像处理装置，其中，所述边界估计单元包括：

分段单元，用于对所述图像在所述边界上的两个角点之间的部分进行 分割，以获得预定数量的分段；

分段边界估计单元，用于分别针对所分割的分段估计边界的位置。

3.根据附记2所述的图像处理装置，其中，所述分段边界估计单元 包括边界近似单元，用于使用直线段近似各个分段中的边界，

其中，针对所述角点所在的最外侧分段中的至少一个，所述边界近似 单元将所述最外侧分段中的角点设置为近似所述最外侧分段中的边界的 第一直线段的起点，并在所述最外侧分段的第一分割线上选取所述第一直 线段的终点，使得在包含所述第一直线段的窄带区域的梯度直方图中，像 素相对于最大梯度最集中；以及

所述边界近似单元将已经得到的边界近似直线段的终点设置为近似 相邻下一分段的边界的第二直线段的起点，并在所述下一分段的、不与所 述已经得到边界近似直线段的分段共有的第二分割线上选取所述第二直 线段的终点，使得在包含所述第二直线段的窄带区域的梯度直方图中，像 素相对于最大梯度最集中。

4.根据附记3所述的图像处理装置，其中，所述分段边界估计单元 还包括评价单元，用于对由所述边界近似单元获得的近似直线段的可用性 进行评价。

5.根据附记4所述的图像处理装置，其中，所述评价单元包括：集 中度评价单元，用于确定像素相对于最大梯度的集中程度是否大于等于预 定程度，在大于等于预定程度时，确定所述边界的近似直线段可用，在小 于预定程度时，确定所述边界的近似直线段不可用。

6.根据附记4或5所述的图像处理装置，其中，所述评价单元包括： 倾斜角验证单元，用于将最新获得的近似直线段的倾斜角与上一相邻分段 中近似直线段的倾斜角进行比较，当倾斜角之差小于等于预定阈值时，确 定近似直线段可用；当倾斜角之差大于预定阈值时，确定近似直线段不可 用。

7.根据附记3至6中任一个所述的图像处理装置，其中，所述干扰 梯度处理单元分别对各个分段中所述近似直线段附近的梯度进行处理。

8.根据附记7所述的图像处理装置，其中，所述干扰梯度处理单元 对预定区域之内、除包含所述近似直线段的窄带区域之外的梯度进行处 理。

9.根据附记4至6中任一个所述的图像处理装置，其中，当所述最 外侧分段的近似直线段不可用时，所述干扰梯度处理单元对所述角点所在 水平线上下预定宽度窄带之外的梯度进行处理；并且所述边界跟踪单元针 对经过该处理的所述图像跟踪所述对象图像的边界。

10.根据附记4至6中任一个所述的图像处理装置，其中，当仅从一 端角点开始近似，且某一分段的近似直线段不可用时，所述干扰梯度处理 单元将最后近似可用的分段的近似直线段的终点与另一端的角点相连接， 并对连线的不存在所述边界的一侧的梯度进行处理。

11.根据附记4至6中任一个所述的图像处理装置，其中，当同时从 两端的角点开始近似，且某一侧或两侧分段的近似不可用时，所述干扰梯 度处理单元将最后近似可用的分段的近似直线段的终点与另一侧最后近 似可用的分段的近似直线段的终点相连接，并对连线的不存在所述边界的 一侧的梯度进行处理。

12.根据附记1至11中任一个所述的图像处理装置，其中，所述对 象图像是文档图像。

13.一种扫描仪，包括根据附记1至12中任一个所述的图像处理装 置。

14.一种图像处理方法，用于跟踪图像中对象图像的边界，所述边界 连续且相邻点斜率变化平缓，所述图像处理方法包括：

边界估计步骤，估计所述对象图像的边界的位置；

干扰梯度处理步骤，对所述图像中所估计边界附近的干扰梯度进行处 理，以减弱或从所述图像中去除所述干扰梯度；

边界跟踪步骤，针对已处理干扰梯度的所述图像跟踪所述边界。

15.根据附记14所述的图像处理方法，其中，所述边界估计步骤包 括：

分段步骤，对所述图像在所述边界上的两个角点之间的部分进行分 割，以获得预定数量的分段；

分段边界估计步骤，分别针对所分割的分段估计边界的位置。

16.根据附记15所述的图像处理方法，其中，所述分段边界估计步 骤包括使用直线段近似各个分段中的边界的边界近似步骤，所述边界近似 步骤包括：

针对所述角点所在的最外侧分段中的至少一个，将所述最外侧分段中 的角点设置为近似所述最外侧分段中的边界的第一直线段的起点，并在所 述最外侧分段的第一分割线上选取所述第一直线段的终点，使得在包含所 述第一直线段的窄带区域的梯度直方图中，像素相对于最大梯度最集中； 以及

将已经得到的边界近似直线段的终点设置为近似相邻下一分段的边 界的第二直线段的起点，并在所述下一分段的、不与所述已经得到边界近 似直线段的分段共有的第二分割线上选取所述第二直线段的终点，使得在 包含所述第二直线段的窄带区域的梯度直方图中，像素相对于最大梯度最 集中。

17.根据附记16所述的图像处理方法，其中，所述分段边界估计步 骤还包括对由所获得的近似直线段的可用性进行评价的评价步骤。

18.根据附记17所述的图像处理方法，其中，所述评价步骤包括： 确定像素相对于最大梯度的集中程度是否大于等于预定程度，在大于等于 预定程度时，确定所述边界的近似直线段可用，在小于预定程度时，确定 所述边界的近似直线段不可用。

19.根据附记17或18所述的图像处理方法，其中，所述评价步骤包 括：将最新获得的近似直线段的倾斜角与上一相邻分段中近似直线段的倾 斜角进行比较，当倾斜角之差小于等于预定阈值时，确定近似直线段可用； 当倾斜角之差大于预定阈值时，确定近似直线段不可用。

20.根据附记16至19中任一个所述的图像处理方法，其中，在所述 干扰梯度处理步骤中分别处理各个分段中所述近似直线段附近的梯度。

21.根据附记20所述的图像处理方法，其中，在所述干扰梯度处理 步骤中对预定区域之内、除包含所述近似直线段的窄带区域之外的梯度进 行处理。

22.根据附记17至19中任一个所述的图像处理方法，其中，当所述 最外侧分段的近似直线段不可用时，在所述干扰梯度处理步骤中对所述角 点所在水平线上下预定宽度窄带之外的梯度进行处理；并且在所述边界跟 踪步骤中针对经过该处理的所述图像跟踪所述对象图像的边界。

23.根据附记17至19中任一个所述的图像处理方法，其中，当仅从 一端角点开始近似，且某一分段的近似直线段不可用时，在所述干扰梯度 处理步骤中将最后近似可用的分段的近似直线段的终点与另一端的角点 相连接，并对连线的不存在所述边界的一侧的梯度进行处理。

24.根据附记17至19中任一个所述的图像处理方法，其中，当同时 从两端的角点开始近似，且某一侧或两侧分段的近似不可用时，在所述干 扰梯度处理步骤中将最后近似可用的分段的近似直线段的终点与另一侧 最后近似可用的分段的近似直线段的终点相连接，并对连线的不存在所述 边界的一侧的梯度进行处理。

25.根据附记14至24中任一个所述的图像处理方法，其中，所述对 象图像是文档图像。

26.一种计算机可读存储介质，存储有使计算机执行跟踪图像中对象 图像的边界的处理的计算机程序，所述边界连续且相邻点斜率变化平缓， 所述处理包括：

估计所述对象图像的边界的位置；

对所述图像中所估计边界附近的干扰梯度进行处理，以减弱或从所述 图像中去除所述干扰梯度；

针对已处理干扰梯度的所述图像跟踪所述边界。