用于使具有透视畸变的图像去模糊的方法和装置

摘要

本发明公开一种用于使具有透视畸变的图像去模糊的方法和装置。所述方法包括：透视信息检测步骤，用于检测图像的透视信息；子区域分割步骤，用于基于透视信息将图像分割成多个子区域，各子区域中的模糊度相同；以及去模糊步骤，用于使各子区域基于其模糊信息而去模糊。与现有技术相比，本发明可改善具有透视畸变的图像的去模糊效果。

说明书

技术领域

本发明涉及用于使具有透视畸变的图像去模糊的方法和装置。

背景技术

可以利用数字照相机来拍摄图像以用于记录和提取文本信息，并 且提取的文本信息可被光学字符识别（OCR）模块识别，以用于例如 检索的其它处理。但是，如果目标文档的表面失焦，则得到的图像将 是模糊的，并且该劣化的图像质量将影响文本信息的识别的精度。

并且，当拍摄方向不与目标文档的表面垂直时，常常在拍摄的图 像中出现透视畸变。如果图像具有透视畸变，则这意味着从图像的不 同部分的表面到数字照相机镜头的距离不同，因此图像的不同部分的 模糊度不同。

对于使图像去模糊（即，恢复），已提出了许多方法。

在美国专利No.6154574中，以一个预定的窗口尺寸将模糊的图 像分割成多个子图像，基于所有子图像的边缘方向计算平均阶跃响应 （Step Response），基于平均阶跃响应估计诸如点扩散函数（PSF） 的模糊信息，并基于PSF恢复模糊的图像。

在美国专利公开No.2009/0067742中，将模糊的图像分割成多个 重叠的块，计算单位阶跃响应以估计各重叠块的PSF，基于相邻的重 叠块的PSF参数确定一个重叠块的PSF参数的有效性，并进一步基于 相邻的重叠块的PSF参数替代所述一个重叠块的无效PSF参数。

在美国专利公开No.2011/0044554中，将模糊的图像分割成具有 固定尺寸的多个重叠的子图像，对于各子图像主要基于其边缘信息估 计PSF，使各子图像基于其自身的PSF而去模糊，并最终使用图像拼 凑来合成去模糊的子图像。

在美国专利公开No.2011/0032575中，基于包含相同的非平面部 分并且在两个不同的焦平面中扫描的两个不同的图像估计失焦模数。 可通过所述两个不同的焦平面的距离和所述两个不同的图像的傅立叶 变换参数估计失焦模数。

但是，对于具有透视畸变的模糊图像（即，其不同部分的模糊度 不同），现有技术的去模糊方法均具有缺点，因为它们仅考虑模糊图 像的局部信息，而没有考虑畸变信息。

更具体而言，对于美国专利No.6154574，基于所有子图像的平均 阶跃响应估计单个的PSF，以恢复整个模糊图像。但是，如果多个子 图像的模糊度不同，则平均阶跃响应不适于整个图像。

对于美国专利公开No.2009/0067742，一个重叠块的PSF参数受 相邻的重叠块的PSF参数的影响。因此，如果一个或更多个相邻的重 叠块不能产生精确的PSF参数，那么中心的重叠块的PSF参数将受到 影响，即使这些参数是精确的。与美国专利No.6154574中的方法同 样，美国专利公开No.2009/0067742中的方法更适于具有基本上均匀 的模糊度的模糊图像。

对于美国专利公开No.2011/0044554，各子图像基于其自身的PSF 被去模糊，并且其自身的PSF主要依赖于其自身的边缘信息。在边缘 信息分布不均匀的情况下，如果子图像包含很少的边缘信息（例如， 页边附近的子图像总是具有很少的边缘信息），那么其PSF估计的精 度将受到影响。

对于美国专利公开No.2011/0032575，需要事先获知两个焦平面 的距离。但是，对于数字照相机，难以以可被预定的不同透镜距离得 到两个图像。

因此，需要能够使具有透视畸变的图像去模糊的方法及其装置。

另外，需要比现有技术具有更好的去模糊效果的用于使具有透视 畸变的图像去模糊的方法及其装置。

发明内容

鉴于以上问题中的至少一个，提出本发明。

本发明的目的之一是提供能够使具有透视畸变的图像去模糊的方 法及其装置。

本发明的另一目的是提供比现有技术具有更好的去模糊效果的用 于使具有透视畸变的图像去模糊的方法及其装置。

根据本发明的第一方面，提供一种用于使具有透视畸变的图像去 模糊的方法，包括：透视信息检测步骤，用于检测图像的透视信息； 子区域分割步骤，用于基于透视信息将图像分割成多个子区域，各子 区域中的模糊度相同；以及去模糊步骤，用于使各子区域基于其模糊 信息而去模糊。

根据本发明的第二方面，提供一种用于使具有透视畸变的图像去 模糊的装置，包括：透视信息检测部件，用于检测图像的透视信息； 子区域分割部件，用于基于透视信息将图像分割成多个子区域，各子 区域中的模糊度相同；以及去模糊部件，用于使各子区域基于其模糊 信息而去模糊。

借助于以上的特征，本发明可提供能够使具有透视畸变的图像去 模糊的方法及其装置。另外，本发明可进一步提供比现有技术具有更 好的去模糊效果的用于使具有透视畸变的图像去模糊的方法及其装 置。

从参照附图对示例性实施例的以下详细描述，本发明的进一步的 目的、特征和优点将变得明显。

附图说明

被并入说明书中并构成其一部分的附图示出本发明的实施例，并 与描述一起用于解释本发明的原理。

图1示意性地示出可实现根据本发明的去模糊方法的计算设备的 硬件配置的框图。

图2示意性地示出根据本发明的去模糊方法的一般流程图。

图3和图4示意性地示出根据本发明的去模糊方法的透视信息检 测步骤的两个替代性流程图。

图5和图6示意性地示出根据本发明的去模糊方法的子区域分割 步骤的两个替代性流程图。

图7示意性地示出根据本发明的去模糊方法的子区域分割步骤中 的精调（refining）步骤的流程图。

图8示意性地示出根据本发明的去模糊方法的子区域分割步骤中 的分割步骤的流程图。

图9示意性地示出根据本发明的去模糊方法的去模糊步骤的流程 图。

图10示意性地示出根据本发明的去模糊方法的去模糊步骤中的 典型子图像选择步骤的流程图。

图11示意性地示出根据本发明的去模糊装置的一般框图。

图12示意性地示出在正分割角度的情况下精调步骤中的子图像 分割。

图13示意性地示出在负分割角度的情况下精调步骤中的子图像 分割。

图14示意性地示出在分割角度大于45°的情况下的子区域分割。

图15示意性地示出在分割角度小于45°的情况下的子区域分割。

图16示出具有透视畸变的示例性模糊图像的一部分。

图17示出根据现有技术的示例性去模糊结果。

图18示出根据本发明的示例性去模糊结果。

具体实施方式

以下将参照附图详细描述本发明的示例性实施例。应注意，以下 的描述在本质上仅是解释性的和示例性的，决不意在限制本发明及其 应用或用途。除非另外特别说明，否则，在实施例中阐述的组件和步 骤的相对布置、数值表达式以及数值并不限制本发明的范围。另外， 本领域技术人员已知的技术、方法和设备可能不被详细讨论，但是在 适当的情况下意在成为说明书的一部分。

顺便说一句，在本说明书中，通常以“像素”为单位来表示尺寸 （诸如长度、高度、宽度等）。

首先，将参照图1描述可实现根据本发明的去模糊处理的计算设 备1000的示意性硬件配置。为了简化，仅示出一个计算设备。但是， 也可根据需要使用多个计算设备。

如图1所示，计算设备1000可包括CPU 1110、芯片集1120、RAM 1130、存储控制器1140、显示控制器1150、硬盘驱动器1160、CD-ROM 驱动器1170和显示器1180。计算设备1000还可包括连接在CPU 1110 与芯片集1120之间的信号线1210、连接在芯片集1120与RAM 1130 之间的信号线1220、连接在芯片集1120与各种外围设备之间的外围 设备总线1230、连接在存储控制器1140与硬盘驱动器1160之间的信 号线1240、连接在存储控制器1140与CD-ROM驱动器1170之间的 信号线1250、以及连接在显示控制器1150与显示器1180之间的信号 线1260。

客户机1300可直接地或经由网络1400与计算设备1000连接。客 户机1300可向计算设备1000发送去模糊任务，并且计算设备1000 可将去模糊结果返回到客户机1300。

接下来，将描述根据本发明的用于使具有透视畸变的图像（诸如 文档图像等）去模糊的方法。

图2示意性地示出根据本发明的去模糊方法的一般流程图。

如图2所示，首先，在步骤210（透视信息检测步骤）处，检测 具有透视畸变的模糊图像的透视信息。

然后，在步骤220（子区域分割步骤）处，基于透视信息将图像 分割成多个子区域，各子区域中的模糊度相同（在本说明书中，这意 味着各子区域中的模糊度基本上相同）。

最后，在步骤230（去模糊步骤）处，使各子区域基于其模糊信 息而去模糊，以获得去模糊的图像。

如前所述，具有透视畸变的模糊图像具有不均匀的模糊度，即， 其不同部分的模糊度不同。在现有技术的去模糊方法中，在不考虑不 均匀的模糊度的情况下模糊图像被分割成多个子图像并被去模糊，由 此，去模糊效果在一定程度上受到影响。相对照地，在以上的本发明 的去模糊方法中，通过考虑透视信息，模糊图像被分割成多个子区域， 而各子区域中的模糊度基本上相同，并且，具有基本上均匀的模糊度 的各子区域基于其自身的模糊信息被单独地去模糊，由此，与现有技 术相比，可以获得更好的去模糊效果。

图2的流程图简要地示出根据本发明的去模糊方法的基本步骤。 以下，将更详细地描述以上的各步骤的示例性处理。

在本发明中首先实施透视信息检测步骤210，以能够基于检测到 的透视信息将模糊图像分割成各具有基本上均匀的模糊度的多个子区 域，并且图3和图4示意性地示出其两个替代性流程图。顺便说一句， 这里，将以水平消失点（vanishing point）和垂直消失点为例进行描 述，但是，显然的是，透视信息不必限于此。

如图3所示，首先，在步骤212处，检测图像的边缘图像。可以 采用本领域中已知的任何适当方法来得到边缘图像。例如，可以采用 Canny方法。Canny方法的参数包含最小边缘阈值、最大边缘阈值、 σ等，并且，在本发明的一个例子中，对于256灰度级，最小边缘阈 值被设为8，最大边缘阈值被设为35，σ被设为1.3。但是，应注意， 所有这些值仅是示例性的，并且本领域技术人员可根据需要选择任何 适当值。

接下来，在步骤214处，在边缘图像中检测水平页边界和垂直页 边界。可以采用本领域中已知的任何适当方法来得到水平页边界和垂 直页边界。作为例子，检测水平页边界的策略可包含：选择边缘图像 上的左上角的一个边缘像素；确定当前的边缘像素的右侧的像素是否 包含至少一个边缘像素；如果是，则检测到的边缘像素将被设为当前 的边缘像素，并且该处理继续检测边缘像素，直到到达行的末端或者 不能找到边缘像素。以这种方式，可以获得水平页边界。不用说，检 测方向也可从右到左。对于垂直页边界，通过以从上到下或从下到上 的检测方向可类似地获得它们。

在本发明的一个例子中，水平页边界的长度阈值被设为0.3×图像 宽度，并且垂直页边界的长度阈值被设为0.3×图像高度，但是这些值 不必限于此。

然后，在步骤216处，基于水平页边界和垂直页边界计算图像的 水平消失点和垂直消失点。

如果包含水平页边界和垂直页边界的页边界可被检测到并且模糊 图像具有透视畸变，那么水平页边界将在x方向（即，水平方向）上 相交，并且，x方向上的交点将被视为候选的水平消失点。类似地， 垂直页边界将在y方向（即，垂直方向）上相交，并且，y方向上的 交点将被视为候选的垂直消失点。

在本发明中，通过下式（1）从x方向上的候选交点P_intersect选择 最终的水平消失点Pt_HorVanish：

${\mathrm{Pt}}_{\mathrm{HorVanish}}={\arg \min }_{\mathrm{Pinter}\sec t}\left(\underset{i=1}{\overset{n}{\Sigma }}\right|{\mathrm{slope}}_{\mathrm{HORi}}-{\mathrm{slope}}_{\mathrm{CONi}\_\mathrm{inter}\sec t}\left|\right)---\left(1\right)$

这里，n表示水平页边界的计数；slope_HORi表示第i个水平页边界的斜 率；slope_{CONi_intersect}表示通过第i个水平页边界的一个边缘点和x方向 上的一个候选交点形成的第i条连接线的斜率；并且，式（1）的整个 右侧表示对其而言括号中的值最小的x方向上的候选交点。

类似地，通过下式（2）从y方向上的候选交点P_intersect选择最终 的垂直消失点Pt_VertVanish：

${\mathrm{Pt}}_{\mathrm{VertVanish}}={\arg \min }_{\mathrm{Pinter}\sec t}\left(\underset{j=1}{\overset{m}{\Sigma }}\right|{\mathrm{slope}}_{\mathrm{VERTj}}-{\mathrm{slope}}_{\mathrm{CONj}\_\mathrm{inter}\sec t}\left|\right)---\left(2\right)$

这里，m表示垂直页边界的计数；slope_VERTj表示第j个垂直页边界的 斜率；slope_{CONj_intersect}表示通过第j个垂直页边界的一个边缘点和y 方向上的一个候选交点形成的第j条连接线的斜率；并且，式（2）的 整个右侧表示对其而言括号中的值最小的y方向上的候选交点。

在一些图像中，可能不存在足够的页边界，例如，水平页边界的 计数小于2。在这种情况下，可替代性地基于文本行和垂直字符笔划 计算图像的水平消失点和垂直消失点（参见图4）。

如图4所示，首先，在步骤212处，检测图像的边缘图像。该步 骤与图3中的步骤212相同，并且将省略其详细的描述。

接下来，在步骤214′处，在边缘图像中检测文本行和垂直字符笔 划。可以采用在本领域中已知的任何适当方法来得到文本行和垂直字 符笔划。

例如，为了得到文本行，可以在水平方向和垂直方向上实施游程 长度平滑算法（Run Length Smoothing Algorithm,RLSA）。在本发 明的一个例子中，水平方向的连接长度被设为0.05×图像宽度，并且垂 直方向的连接长度被设为0.01×图像高度。然后，可以提取沿y方向的 黑色游程的中心点，并且可通过在页边界检测中使用的相同策略将水 平曲线检测为文本行（参见步骤214）。

另一方面，例如，为了得到垂直字符笔划，可首先如下面那样去 除水平边缘。通过下式（3）计算边缘像素的梯度斜线slopeGrad，以 确定其边缘方向：

slopeGrad=arctan(Grad_y/Grad_x)（3）

这里，Grad_y和Grad_x分别表示边缘像素的y梯度和x梯度。如果 slopeGrad与文本行的夹角小于预定的角度（例如，30°），那么该边 缘将被视为水平边缘并被去除。在水平边缘被去除之后，在边缘图像 中检测连通域（CC）。如果一个CC中的边缘像素具有良好的线性， 那么这些边缘像素将被视为一个垂直笔划。在本发明的一个例子中， 采用主成分分析（Principal Component Analysis,PCA）方法来计算 CC的线性。

然后，在步骤216′处，基于文本行和垂直字符笔划计算图像的水 平消失点和垂直消失点。出于此目的，可以使用与式（1）和（2）类 似的式子，并且将省略其详细的描述。

至目前为止，已获得透视信息（例如，水平消失点和垂直消失点）。 它将在随后的子区域分割步骤220中被用于将模糊图像分割成各具有 基本上均匀的模糊度的多个子区域。接下来，将参照图5至8和图12 至15更详细地描述根据本发明的去模糊方法的子区域分割步骤220。

图5和图6示意性地示出子区域分割步骤220的两个替代性流程 图。

如图5所示，首先，在步骤222处，基于透视信息计算用于分割 图像的分割方向。

然后，在步骤224处，沿分割方向将图像分割成多个子区域。结 果，各子区域中的模糊度基本上相同。

从图5和图6的比较可以看出，其间的仅有的不同在于图6的附 加的精调步骤223。更具体而言，在步骤222和步骤224之间的步骤 223处，基于透视信息获得的分割方向进一步基于模糊度被精调，然 后，在步骤224处，图像沿精调之后的分割方向被分割成各具有基本 上均匀的模糊度的多个子区域。也就是说，并不必然需要步骤223， 而是可如希望的那样实施它或不实施它。以下，将以图6为例子进行 更详细的描述。

在图6的步骤222处，例如，可通过基于图像的水平消失点的直 线的斜率和基于图像的垂直消失点的直线的斜率来计算分割方向。更 具体而言，在本发明的一个例子中，通过下式（4）计算分割方向：

Direction_split=arctan(slope_y/slope_x)（4）

这里，Direction_split表示分割方向的分割角度，slope_y表示连接图像的 中心点与图像的垂直消失点的直线的斜率，slope_x表示连接图像的中 心点与图像的水平消失点的直线的斜率。

为了减少局部严重失焦对于透视信息的精度的影响并由此得到更 精确的分割方向，可选地，可在步骤223处基于模糊度进一步精调在 步骤222处基于透视信息获得的分割方向。图7中示出示例性的精调 处理。

如图7所示，首先，在步骤223a处，选择图像的一部分，并且从 所述部分的角部沿分割方向以预定的窗口尺寸从所述部分分割出多个 子图像。

作为例子，可以选择输入的模糊图像pqrs的中心部分p′q′r′s′（参 见图12和图13）。在本发明一个例子中，中心部分p′q′r′s′的左边界、 右边界、顶边界和底边界可分别位于0.2×图像宽度、0.8×图像宽度、 0.2×图像高度和0.8×图像高度处，但本发明不必限于此。

随后，从中心部分p′q′r′s′的角部沿步骤222处获得的分割方向SS′ 以预定的窗口尺寸从中心部分p′q′r′s′分割出多个子图像。窗口的高度 和宽度例如可相同，并且，在本发明的一个例子中，它们中的每一个 被设为256个像素。但是，本发明不必限于此，并且本领域技术人员 可根据需要选择任何适当的值。

如图12和图13所示的那样定义x方向和y方向。在这种情况下， 如果分割方向SS′为正（参见图12），那么沿分割方向SS′从左上到右 下分割中心部分p′q′r′s′：即，第一子图像位于中心部分p′q′r′s′的左上 角；中间子图像位于第一子图像与最后子图像之间，并且中间子图像 的中心点位于第一子图像与最后子图像的中心点的连接线上（即，所 有子图像的中心点位于沿分割方向的同一线上）；并且，基于第一子 图像的位置和分割方向（或其分割角度θ）计算中间子图像的位置。另 一方面，如果分割方向为负（参见图13），则类似地沿分割方向SS′ 分割中心部分p′q′r′s′，但是从左下到右上进行分割：即，第一子图像 位于中心部分p′q′r′s′的左下角。图12和图13示意性地示出中心部分 p′q′r′s′中的第一子图像和最后子图像的位置，并且可如下获得子图像 的具体位置。

如果分割方向的分割角度的绝对值小于45°（可参见将在后面描 述的图15）或等于45°，那么可通过下式（5）获得第一子图像和最后 子图像之间的子图像的中心点坐标x_center和y_center：

$\left(\begin{array}{c}{x}_{\mathrm{center}}=x_{\mathrm{first}}+\mathrm{radius}*i\\ y_{\mathrm{center}}=y_{\mathrm{first}}+\mathrm{radius}*i*\tan \left(\theta \right)\end{array}\right)---\left(5\right)$

这里，radius表示窗口的边长（即，子图像的边长；这里，假定窗口 或子图像的高度和宽度相同），并且可例如被设为256个像素；x_first和y_first表示第一子图像的中心点坐标；i表示子图像的标号（i＝0与 第一子图像对应）；θ表示分割方向的分割角度。

另外，可通过下式（6）和（7）获得第一子图像与最后子图像之 间的子图像的左边界坐标、右边界坐标、顶边界坐标和底边界坐标x_left、 x_right、y_top和y_bottom：

$\left(\begin{array}{c}{x}_{\mathrm{left}}=x_{\mathrm{center}}-\mathrm{radius}*0.5\\ x_{\mathrm{right}}=x_{\mathrm{center}}+\mathrm{radius}*0.5\end{array}\right)---\left(6\right)$

$\left(\begin{array}{c}{y}_{\mathrm{top}}=y_{\mathrm{center}}-\mathrm{radius}*0.5\\ y_{\mathrm{bottom}}=y_{\mathrm{center}}+\mathrm{radius}*0.5\end{array}\right)---\left(7\right).$

另一方面，如果分割方向的分割角度的绝对值大于45°（可参见 将在后面描述的图14），那么可通过下式（8）获得第一子图像与最 后子图像之间的子图像的中心点坐标x_center和y_center:

$\left(\begin{array}{c}{y}_{\mathrm{center}}=y_{\mathrm{first}}+\mathrm{radius}*\mathrm{sign}\left(\theta \right)*i\\ x_{\mathrm{center}}=x_{\mathrm{first}}+\mathrm{radius}*\left|c\tan \left(\theta \right)\right|*i\end{array}\right),$

在这种情况下，也可通过上式（6）和（7）获得第一子图像与最 后子图像之间的子图像的左边界坐标、右边界坐标、顶边界坐标和底 边界坐标x_left、x_right、y_top和y_bottom。

通过上式（5）至（8），从中心部分p′q′r′s′的角部沿分割方向SS′ 以预定的窗口尺寸从中心部分p′q′r′s′分割出多个子图像。

接下来，在图7的步骤223b处，计算所分割的多个子图像（包含 第一子图像、最后子图像和中间子图像）的模糊度BD。在本发明的 一个例子中，可例如通过下式（9）对于各子图像计算BD：

$\mathrm{BD}=\frac{1}{n}\underset{q\in \mathrm{Edge}}{\Sigma }\frac{\underset{k\in \mathrm{neib}\left(q\right)}{\max }f\left(k\right)-\underset{k\in \mathrm{neib}\left(q\right)}{\min }f\left(k\right)}{(q_{\max }-q_{\min })*255}---\left(9\right)$

这里，q表示边缘像素；k表示像素q的邻近像素；f(k)表示像素k的 灰度值；q_max表示沿最大梯度方向的像素q周围的具有最大灰度级的 像素的位置；q_min表示沿最大梯度方向的像素q周围的具有最小灰度 级的像素的位置；n表示子图像中的边缘像素的总数。邻近尺寸可例 如被设为13×13像素。获得的模糊度随后可被用于计算模糊度差异（诸 如模糊度方差等）。

然后，在步骤223c处，从包含步骤222处获得的分割方向的预定 方向范围之中，选择沿其所分割的多个子图像的模糊度的差异最小的 方向作为精调之后的分割方向。更具体而言，可通过将步骤222处获 得的分割方向改变一个δ角度（例如，10°），并然后重新分割子图像 并重新计算模糊度差异以找到最小的一个，来实现这一点。作为例子， 所分割的多个子图像的模糊度的差异可以是所分割的多个子图像的模 糊度的方差（但它不必限于此），并且，在这种情况下，可以使用下 式（10）来找到精调后的分割方向：

${\theta }_{\mathrm{split}}=\underset{{\theta }_{\mathrm{init}}-30\le \theta \le {\theta }_{\mathrm{init}}+30}{\arg m{\mathrm{in}}_{\theta }}(\underset{i=1}{\overset{n}{\Sigma }}{({\mathrm{BD}}_i-{\mathrm{BD}}_{\mathrm{aver}})}^2/n)---\left(10\right)$

这里，θ_split表示精调之后的分割方向的分割角度；θ_init表示基于透视信 息产生的分割方向的分割角度（即，在步骤222处获得的精调之前的 分割方向）；BD_i表示中心部分p′q′r′s′中的第i个子图像的模糊度； BD_aver表示中心部分p′q′r′s′中的所有子图像的平均模糊度；n表示中 心部分p′q′r′s′中的子图像的计数。

顺便说一句，在以上的描述中，预定方向范围被设为 θ_init-30°≤θ≤θ_init+30°，并且δ角度被设为10°。但是，所有的值都仅是 示例性的，并且本领域技术人员可以根据需要选择任何适当的值。

通过图7中的以上处理，基于透视信息和模糊度获得精调后的分 割方向。该更精确的分割方向将进一步有利于随后的子区域分割处理， 使得要被分割的子区域中的每一个具有更均匀的模糊度，由此使得与 现有技术相比本发明的去模糊效果更好。

现在回到图6。在步骤224处，沿分割方向（在这种情况下，为 步骤223处获得的精调之后的分割方向）将图像分割成多个子区域。 结果，各子区域中的模糊度基本上相同。图8示出示例性的子区域分 割处理，并且图14和图15分别示出分割角度大于45°的情况下以及 分割角度小于45°的情况下的细节。

如图8所示，首先，在步骤224a处，从图像分割出多个基本子图 像。更具体而言，如图14所示，如果分割方向的分割角度的绝对值大 于45°，那么从图像pqrs的角部沿水平方向以预定的窗口尺寸从图像 pqrs分割出多个基本子图像a、b、c、d和e。另一方面，如图15所 示，如果分割方向的分割角度的绝对值小于45°，那么从图像pqrs的 角部沿垂直方向以预定的窗口尺寸从图像pqrs分割出多个基本子图 像a、b、c、d和e。另外，如果分割方向的分割角度的绝对值等于45°， 那么可从图像的角部沿水平方向或垂直方向以预定的窗口尺寸从图像 分割出多个基本子图像。

顺便说一句，窗口的高度和宽度例如可相同，并且在本发明的一 个例子中它们被设为256个像素。但是，本发明不必限于此，并且本 领域技术人员可根据需要选择任何适当的值。另外，步骤224a中的窗 口尺寸和步骤223a中的窗口尺寸可相同或可不同。

接下来，在步骤224b处，分别从多个基本子图像a、b、c、d和 e中的每一个沿分割方向以预定的窗口尺寸从图像pqrs分割出属于一 个子区域的多个子图像。也就是说，各子区域由具有相同尺寸的多个 子图像构成，并且所述多个子图像如图14和图15所示的那样分布。 并且，各子图像的高度和宽度分别与窗口的高度和宽度相同，因此， 各子图像的高度和宽度例如可相同，并且，在本发明的一个例子中， 它们可被设为256个像素。但是，本发明不必限于此。顺便说一句， 步骤224b中的分割方式和步骤223a中的分割方式类似，并且，可参 照对步骤223a的以上描述。

然后，在步骤224c处，如果得到的子区域没有覆盖整个图像，那 么以类似的方式沿分割方向将图像的剩余部分继续分割成子区域。

顺便说一句，如图14和图15所示，图8中的子区域分割处理与 以下的处理等同。首先，从图像的一个角部沿分割方向以预定的窗口 尺寸从图像分割出属于一个子区域的多个子图像；然后，通过以下处 理将整个图像分割成多个子区域：如果分割方向的分割角度的绝对值 大于45°，那么沿水平方向平移所分割的一个子区域；如果分割方向 的分割角度的绝对值小于45°，那么沿垂直方向平移所分割的一个子 区域；以及，如果分割方向的分割角度的绝对值等于45°，那么沿水 平方向或垂直方向平移所分割的一个子区域。

到目前为止，所输入的具有透视畸变的模糊图像被分割成多个子 区域，各子区域中的模糊度基本上相同。

接下来，将参照图9和图10更详细地描述本发明的去模糊步骤 230。如前所述，在本发明中，具有基本上均匀的模糊度的各子区域基 于其自身的模糊信息被单独地去模糊，由此，与现有技术相比，可以 获得更好的去模糊效果。

图9示意性地示出根据本发明的去模糊方法的去模糊步骤的流程 图。

如图9所示，首先，在步骤232处，在各子区域中，基于子图像 的边缘密度和模糊度选择一个典型的子图像。在本说明书中，典型的 子图像是用于计算相应的子区域中的模糊信息的最佳子图像。

图10示出示例性的典型的子图像选择处理。

在图10的步骤232a处，对于各子区域，计算其各子图像的边缘 密度和模糊度。例如，可对于各子图像计算边缘像素计数和模糊度。

可以采用任何适当的方法来得到边缘像素计数和模糊度。在本发 明的一个例子中，对于各子图像，可以采用Otsu方法来得到二值图像。 然后，可如下确定边缘像素以得到边缘像素计数。例如，如果对于一 个前景像素确定其3×3邻近像素是背景像素，那么所述前景像素将被 视为非边缘像素；否则，它将被视为边缘像素。关于各子图像的模糊 度，例如可以使用式（9）。

接下来，在图10的步骤232b处，对于各子区域，计算其各子图 像的分数。分数指示子图像的边缘密度与相应的子区域中的所有子图 像的边缘密度的最大值之间的接近度以及所述子图像的模糊度与相应 的子区域中的所有子图像的模糊度的平均值之间的接近度。如果子图 像的边缘密度高并且同时所述子图像的模糊度接近相应的子区域中的 所有子图像的模糊度的平均值，那么所述子图像的分数高。也就是说， 所述子图像是用于计算相应的子区域中的模糊信息的最佳子图像。

作为例子，可通过下式（11）至（13）计算分数：

Score_i=Score_{i_edge}+Score_{i_BD}    （11）

Score_{i_BD}=MIN(BD_i,BD_aver)/MAX(BD_i,BD_aver)（12）

Score_{i_edge}=EdgeCount_i/EdgeCount_max    （13）

这里，Score_i表示第i个子图像的分数；Score_{ie_dge}表示第i个子图像 的边缘密度的分数；Score_{i_BD}表示第i个子图像的模糊度的分数； EdgeCount_i表示第i个子图像的边缘像素的计数；EdgeCount_max表示 相应的子区域中的所有子图像的边缘像素的计数的最大值；BD_i是第i 个子图像的模糊度；BD_aver是相应的子区域中的所有子图像的模糊度 的平均值。

应注意，式（11）至（13）仅是示例性的，并且本领域技术人员 可对于分数使用任何适当的式子，只要其可被用于找到用于计算相应 的子区域中的模糊信息的最佳子图像即可。

然后，在图10的步骤232c处，对于各子区域，选择其具有最大 分数的一个子图像作为典型的子图像。

通过图10的以上处理，对于各子区域选择了一个典型的子图像， 其是用于计算相应的子区域中的模糊信息的最佳子图像。

现在回到图9。在步骤234处，计算各典型的子图像的模糊信息。 可以采用任何适当的方法来得到用于去模糊的模糊信息。在本发明的 一个例子中，模糊信息包含点扩散函数。因此，可通过水平边缘和垂 直边缘附近的像素的灰度级计算阶跃响应，并然后可通过阶跃响应计 算点扩散函数。以下给出简要的描述。

首先，通过梯度值检测水平边缘和垂直边缘。更具体而言，如果 x方向的梯度比y方向的梯度大，那么边缘像素将被标记为水平边缘； 否则，边缘像素将被标记为垂直边缘。以这种方式，可以产生两个边 缘图像：水平边缘图像和垂直边缘图像。

接下来，对于两个边缘图像实施连通域（CC）分析，并且如下面 描述的那样，在检测到的连通域中基于边缘像素沿边缘方向收集灰度 值。

更具体而言，从一个连通域选择一个边缘像素。所选择的边缘像 素被设为中心，并且在模糊图像上沿边缘方向收集灰度值，直到邻近 像素的灰度值的差异小于阈值。阈值例如可被设为1，但不限于此。

对于各边缘像素，产生一个灰度值组。任何长度大于7的组都被 舍弃。从两个边缘图像收集的所有灰度值组被组合，以用于使噪声平 滑化。灰度值组根据灰度值而对准，其中，相同的灰度值意味着相同 的位置。组合的灰度值组的最终长度不能超过7，并且超出部分被截 去。

然后，通过下式（14）计算组合的灰度值的差异diff_i:

diff_i=grayValue_i+1-grayValue_i-1（14）

这里，grayValue_i+1表示组合的灰度值组中的第（i+1）元素的组合灰 度值；grayValue_i-1表示组合的灰度值组中的第（i-1）元素的组合灰度 值。

基于以上，找到差异结果的最大值，并且该相应的元素被设为中 心。然后，可通过以下步骤计算阶跃响应：使得中心元素作为阶跃响 应中的第一元素；并通过下式（15）计算阶跃响应中的其它元素：

Elem_sRi=(Elem_diffCenter-i+Elem_diffCenter+i)*0.5（15）

这里，Elem_SRi表示阶跃响应中的第i元素；下标diffCenter表示组合 的灰度值的差异结果中的中心元素的标号；Elem_diffCenter-i表示组合的 灰度值的差异结果中的第（diffCenter-i）元素；Elem_diffCenter+i表示组 合的灰度值的差异结果中的第（diffCenter+i）元素。

最终，通过阶跃响应计算作为模糊信息的点扩散函数。

在获得各典型的子图像的模糊信息（例如，点扩散函数）之后， 在图9的步骤236处，各子区域基于其典型的子图像的模糊信息被去 模糊。在本发明的一个例子中，基于点扩散函数通过Wiener过滤器 使各子区域去模糊。

更具体而言，点扩散函数被变换成光学变换函数（OTF），并且 采用Wiener过滤器在频域中使各子区域去模糊。通过下式（16）表 示Wiener过滤器：

$F(u,v)=\frac{H*(u,v)Y(u,v)}{{\left|H(u,v)\right|}^2+\gamma }---\left(16\right)$

这里，F（u,v）表示频域中的去模糊图像的函数；H（u,v）和H*（u, v）分别表示频域中的光学变换函数及其转置；Y（u,v）表示频域中 的模糊图像的函数；γ表示噪声的参数，其例如可以被设为0.004。

通过以上的处理，通过根据本发明的去模糊方法恢复所输入的模 糊图像。

如前所述，对于具有透视畸变的模糊图像，现有技术的去模糊方 法均具有缺点。更具体而言，它们不考虑图像的不同部分的不同模糊 度，并因此不适于具有透视畸变的模糊图像。并且，它们中的一些主 要依赖于当前子图像的边缘信息以用于去模糊。在这种情况下，如果 边缘信息不足或者受到严重噪声的影响，那么难以得到精确的模糊信 息以用于去模糊。

相对照地，在本发明中，对于具有透视畸变的模糊图像，首先基 于整个图像的边缘信息获得透视信息，因此它将不受局部噪声或边缘 信息的局部缺乏所影响。然后，基于透视信息获得分割方向，以将图 像分割成多个子区域，而各子区域中的模糊度基本上相同。最后，具 有基本上均匀的模糊度的各子区域基于其自身的模糊信息被单独地去 模糊，由此，与现有技术相比，可以获得更好的去模糊效果。

并且，在本发明的一些例子中，基于透视信息获得的分割方向可 基于模糊度被进一步精调，以减少局部严重失焦对于透视信息的精度 的影响，并由此得到更精确的分割方向。因此，与现有技术相比，可 以获得甚至更好的去模糊效果。

并且，在本发明的一些例子中，在各子区域中基于子图像的边缘 密度和模糊度选择一个典型的子图像。典型的子图像是用于计算相应 的子区域中的模糊信息的最佳子图像，例如，它总是具有足够的用于 估计模糊信息的边缘信息。然后，各子区域基于其典型的子图像的模 糊信息被去模糊。借助于这些特征，与现有技术相比，还可进一步改 善本发明的去模糊效果。

到目前为止，已示意性地描述了根据本发明的具有透视畸变的图 像的去模糊方法。接下来，将参照图16至18评价本发明的去模糊方 法的去模糊效果。

图16示出具有透视畸变的示例性模糊图像的一部分。在图16中， 左边的模糊度比右边的更严重。

图17示出通过现有技术的去模糊方法（其基于各子图像的边缘信 息估计模糊信息，并且使各子图像通过其自身的模糊信息而去模糊） 获得的图16中图像的示例性去模糊结果。从图17可以看出，有界框 中的区域的振铃（ringing）是严重的，即，去模糊效果不好。

相对照地，图18示出通过本发明的去模糊方法获得的图16中图 像的示例性去模糊结果。从图18可以看出，相应的有界框中的区域的 振铃是轻微的，即，大大改善了去模糊效果。

下表1和2分别给出以上的示例性图像部分和整个图像（未示出） 的OCR精度。

表1

示例性图像部分（总共142个字符）  错误字符计数   现有技术   33   本发明   18

表2

  整个图像（总共679个字符）   错误字符计数   现有技术   127   本发明   99

从表1和2明显可见，本发明可减少具有透视畸变的模糊图像的 错误字符计数。

因此，本发明可提供能够使具有透视畸变的图像去模糊的方法。 另外，本发明可进一步提供比现有技术具有更好的去模糊效果的用于 使具有透视畸变的图像去模糊的方法。

顺便说一句，本发明的去模糊方法可具有许多的应用，诸如从照 相机抓拍的图像或视频提取和识别文本信息。

以下，将参照图11简要描述根据本发明的使具有透视畸变的图像 去模糊的装置100。

如图11所示，去模糊装置100可包括：透视信息检测部件110， 用于检测图像的透视信息；子区域分割部件120，用于基于透视信息 将图像分割成多个子区域，各子区域中的模糊度相同；以及去模糊部 件130，用于使各子区域基于其模糊信息而去模糊。

可选地，子区域分割部件120进一步包含：基于透视信息计算用 于分割图像的分割方向的部件；以及沿分割方向将图像分割成所述多 个子区域的部件。

可选地，子区域分割部件120进一步包含：在基于透视信息计算 用于分割图像的分割方向之后、并且在沿分割方向将图像分割成所述 多个子区域之前，基于模糊度对分割方向进行精调的部件。

可选地，在基于透视信息计算用于分割图像的分割方向的部件中， 通过基于图像的水平消失点的直线的斜率和基于图像的垂直消失点的 直线的斜率来计算分割方向。

可选地，在基于透视信息计算用于分割图像的分割方向的部件中， 通过下式计算分割方向：

Direction_split＝arctan(slope_y/slope_x)

这里，Direction_split代表分割方向的分割角度，slope_y代表连接图像的 中心点与图像的垂直消失点的直线的斜率，slope_x代表连接图像的中 心点与图像的水平消失点的直线的斜率。

可选地，基于模糊度对分割方向进行精调的部件进一步包括：选 择图像的一部分、并且从所述部分的角部沿分割方向以预定的窗口尺 寸从所述部分分割出多个子图像的部件；计算所述多个子图像的模糊 度的部件；以及从包含分割方向的预定方向范围之中选择沿其所分割 的多个子图像的模糊度的差异最小的方向作为精调之后的分割方向的 部件。

可选地，所分割的多个子图像的模糊度的差异是所分割的多个子 图像的模糊度的方差。

可选地，窗口的高度和宽度相同。

可选地，沿分割方向将图像分割成所述多个子区域的部件进一步 包括：如果分割方向的分割角度的绝对值大于45°则从图像的角部沿 水平方向以预定的窗口尺寸从图像分割出多个基本子图像、如果分割 方向的分割角度的绝对值小于45°则从图像的角部沿垂直方向以预定 的窗口尺寸从图像分割出多个基本子图像、以及如果分割方向的分割 角度的绝对值等于45°则从图像的角部沿水平方向或垂直方向以预定 的窗口尺寸从图像分割出多个基本子图像的部件；分别从所述多个基 本子图像中的每一个沿分割方向以预定的窗口尺寸从图像分割出属于 一个子区域的多个子图像的部件；以及如果得到的子区域不覆盖整个 图像则继续沿分割方向将图像的剩余部分分割成子区域的部件。

可选地，沿分割方向将图像分割成所述多个子区域的部件进一步 包括：从图像的一个角部沿分割方向以预定的窗口尺寸从图像分割出 属于一个子区域的多个子图像的部件；以及通过以下处理将整个图像 分割成所述多个子区域的部件：如果分割方向的分割角度的绝对值大 于45°，那么沿水平方向平移所分割的一个子区域；如果分割方向的 分割角度的绝对值小于45°，那么沿垂直方向平移所分割的一个子区 域；以及如果分割方向的分割角度的绝对值等于45°，那么沿水平方 向或垂直方向平移所分割的一个子区域。

可选地，窗口的高度和宽度相同。

可选地，模糊信息包含点扩散函数，并且去模糊部件130基于点 扩散函数通过Wiener过滤器使各子区域去模糊。

可选地，去模糊部件130进一步包括：在各子区域中基于子图像 的边缘密度和模糊度来选择一个典型的子图像的部件，所述典型的子 图像是用于计算相应的子区域中的模糊信息的最佳子图像；计算各典 型的子图像的模糊信息的部件；以及使各子区域基于其典型的子图像 的模糊信息而去模糊的部件。

可选地，在各子区域中基于子图像的边缘密度和模糊度来选择一 个典型的子图像的部件进一步包括：对于各子区域计算其各子图像的 边缘密度和模糊度的部件；对于各子区域计算其各子图像的分数的部 件，所述分数指示子图像的边缘密度与相应的子区域中的所有子图像 的边缘密度的最大值之间的接近度以及所述子图像的模糊度与相应的 子区域中的所有子图像的模糊度的平均值之间的接近度；以及对于各 子区域选择其具有最大分数的一个子图像作为典型的子图像的部件。

可选地，通过下式计算分数：

Score_i＝EdgeCount_i/EdgeCount_max+MIN(BD_i,BD_aver)/MAX(BD_i,BD_aver)

这里，Score_i代表第i个子图像的分数，EdgeCount_i代表第i个子图像 的边缘像素的计数，EdgeCount_max代表相应的子区域中的所有子图像 的边缘像素的计数的最大值，BD_i是第i个子图像的模糊度，以及BD_aver是相应的子区域中的所有子图像的模糊度的平均值。

可选地，透视信息包含图像的水平消失点和垂直消失点。

可选地，透视信息检测部件110进一步包含：检测图像的边缘图 像的部件；在边缘图像中检测水平页边界和垂直页边界的部件；以及 基于水平页边界和垂直页边界来计算图像的水平消失点和垂直消失点 的部件。或者，透视信息检测部件110进一步包含：检测图像的边缘 图像的部件；在边缘图像中检测文本行和垂直字符笔划的部件；以及 基于文本行和垂直字符笔划来计算图像的水平消失点和垂直消失点的 部件。

到目前为止，已经示意性地描述了根据本发明的用于使具有透视 畸变的图像去模糊的装置。应注意，以上的所有部件是用于实施本发 明的去模糊方法的示例性优选模块。然而，并未在上面穷尽地描述用 于实施各种步骤的模块。通常，当存在执行某一处理的步骤时，则存 在用于实施该相同处理的对应功能模块或部件。

另外，应注意，可以将两个或多个部件合并为一个部件，只要可 以实现它们的功能即可；另一方面，可以将任何一个部件划分为多个 部件，只要可以实现类似的功能即可。

可以以许多方式来实施本发明的方法和装置。例如，可以通过软 件、硬件、固件或其任何组合来实现本发明的方法和装置。另外，在 一些实施例中，本发明也可以被实现为记录在记录介质中的程序，包 括用于实施根据本发明的方法的机器可读指令。从而，本发明也涵盖 了存储有用于实施根据本发明的方法的程序的记录介质。

虽然已参照示例性实施例描述了本发明，但要理解，本发明不限 于所公开的示例性实施例。对于本领域技术人员显然的是，可以在不 背离本发明的范围和精神的情况下修改以上的示例性实施例。所附的 权利要求的范围要被赋予最宽的解释，以包含所有这样的修改以及等 同的结构和功能。