对来自摄像机中的鱼眼镜头的图像进行校正的方法和装置

摘要

一种操作视频系统的方法，包括接收使用鱼眼镜头捕获的图像。该图像被分成多个水平图像行。每个水平图像行的相应片段以不同的相应采样频率被采样。每个采样频率与被采样片段的大小逆相关。从图像的顶部到图像的底部，被采样片段的大小随着每个水平图像行而增加。

说明书

技术领域

本发明涉及一种用于操作包括鱼眼镜头的摄像机系统的装置和 方法，更具体地，涉及用于操作包括鱼眼镜头的汽车后视摄像机系 统(automotive rear view camera system)的装置和方法。

背景技术

汽车后视摄像机经常使用光学鱼眼镜头。鱼眼镜头是一种产生 非常宽的半球图像的广角透镜。类似于所有的超广角透镜，鱼眼镜 头也有桶形畸变(barrel distortion)的问题，特别是对于极广视角， 这导致外形凸起。

经汽车后视摄像机捕获的畸变图像的例子示于图1中。如鱼眼 镜头所产生的典型畸变，视野在图像的顶部比图像的底部宽得多， 例如大约3倍宽。产生这种差异的原因可能是图像顶部的目标比图 像底部的目标距离透镜更远。

通过使用具有SDRAM的视频数字信号处理器(DSP)有可能 去除由鱼眼镜头引起的畸变。但是，这样使用完善的DSP将会是一 种昂贵的方案因此可能被认为过分。

因此，从现有技术既无法预期又非显而易见的是一种给与观看 者从利用鱼眼镜头捕获的图像中去除畸变的选择并且以不昂贵的方 式来这样做的方法。

发明内容

本发明提供一种通过与畸变量成比例地“伸展(stretch out)” 图像顶部的中间部分来校正鱼眼畸变的方法。“伸展”的程度，或 者在伸展期间消除的图像外缘的宽度可以从图像顶部到图像底部稳 定地减小，直到整个捕获图像被包含在图像的底部。

在一个实施例中，视频先进先出(FIFO)存储器被用于去除鱼 眼镜头引起的畸变，这通过与畸变程度成比例地调节FIFO存储器 的时钟来实现。

在本发明的一种形式中，本发明包括一种操作视频系统的方法， 该方法包括接收使用鱼眼镜头捕获的图像。该图像被分成多个水平 图像行。每个水平图像行的相应片段(fraction)以不同的相应采样 频率被采样。每个采样频率与被采样片段的大小逆相关(inversely  related)。被采样片段的大小随着从图像顶部前进到图像底部的每 个水平图像行增大。被采样片段的大小(因此采样频率)可以是透 镜特性(例如畸变特性)的函数。

本发明的另一种形式包括一种操作视频系统的方法，该方法包 括接收使用鱼眼镜头捕获的第一模拟图像。该模拟图像被转换成数 字图像数据。该图像数据被分成多个图像行。每个图像行的相应中 间部分以不同的相应采样频率被采样。每个采样频率与所述中间部 分所占据的相应图像行的一个片段逆相关。从图像的第一边缘前进 到图像的第二边缘，中间部分所占据的图像行的片段随着每个图像 行增加。采样的数字图像行被转换成第二模拟图像。

本发明的另一种形式包括一种操作视频系统的方法，该方法包 括接收使用鱼眼镜头捕获的第一图像。该图像被分成多个水平图像 行。每个图像行具有一中间部分和两个旁边部分(lateral portion)。 中间部分相对于旁边部分的大小，随着从图像顶部到图像底部的每 个水平图像行增加。图像行的旁边部分被丢弃。每个中间部分由基 本上相等数目的样本表示。形成包括那些样本的第二图像。

本发明的优点是鱼眼镜头产生的图像畸变可以廉价地被校正。

附图说明

通过参考本发明的实施例的下列描述以及结合附图，本发明的 以上和其他特性和目的以及实现这些特性和目的的方式将更加显而 易见并且本发明将更好理解，其中：

图1是现有技术的鱼眼镜头捕获的示范性的畸变图像；

图2a是根据本发明方法的一个实施例的显示在视频屏幕上的图 1的图像的顶行和底行的部分的示意图；

图2b是根据本发明方法的一个实施例的，在视频屏幕上显示该 图像时使用的作为图2a中的图像的水平行的函数的视频时钟频率的 示意图；

图3是本发明的视频系统的一个实施例的方块图；

图4是图3中的视频系统的时钟调节器的一个实施例的方块图；

图5是本发明的用于操作视频系统的方法的一个实施例的流程图；

图6是本发明的用于操作视频系统的方法的另一实施例的流程图。

具体实施方式

后面公开的实施例不是用来穷尽或将本发明限制到下面的说明 书中公开的特定形式。相反，这些实施例的选择和说明是为了本领 域的技术人员可以利用这些教导。

在一个实施例中，本发明的方法包括时钟调节，即：对图像采 样以便在屏幕或监视器上再现的频率的调节。在一个特定实施例中， 捕获的图像经国家电视系统委员会(NTSC)模拟电视系统视频(水 平行频率(F_h)＝15,734.266Hz，以13.5MHz采样)在屏幕上再现。 以此速率，视频屏幕的整个行上将有858个(即 13.5MHz/15,734.266Hz)样本，包括水平消隐间隔。在活动行(即 视频行的可见部分)之内，将可以有858个样本中的720个。如果 增加时钟速率，每行可以捕获更多样本，或者更重要的，720个样本 可以在给定行的更小部分之内捕获。

例如，考虑应用于给定视频图像的顶行的大约40MHz的原始最 大时钟速率。以此速率，视频屏幕的整个顶行上将有2,542个(即 40MHz/15,734.266Hz)样本，包括水平消隐间隔。在活动行(即视 频行的可见部分)之内，将可以有2,542个样本中的2,133个。根据 本发明的一个实施例，720个样本，即2,133样本视频行的大约三分 之一，可以从中间部分(例如顶部视频行的中间三分之一)被捕获 到先进先出(FIFO)存储器中，如图2a所示。

对于向下的每个后续行，可以减小时钟速率，使得需要的720 个样本捕获增加比例的视频行，如图2b所示。在图像的底部，达到 13.5Hz的最小时钟频率，720个样本捕获整个行。

在图像的不位于720个时钟脉冲之内的三角形角落部分10a，10b 期间，采样时钟可以被禁止。采样时钟的禁止导致这些角落部分 10a，10b被丢失和/或丢弃。

在一个实施例中，时钟既作为模拟-数字转换时钟，也作为FIFO 输入时钟。在图2b的图像的顶部，时钟可以被禁止到恰当的时间， 例如当处于经过了顶行的大约三分之一的位置时，然后如所示的， 从图像的中心以高频率(大约40Hz)捕获720个样本。对于从顶部 到底部的每一行转换时钟频率减小，直到到达底行时，频率为 13.5MHz。

另一时钟，既作为FIFO输出时钟又作为数字-模拟转换时钟， 以13.5MHz的恒定速率运行。由于每个视频行包括720个时钟脉冲， 以40MHz捕获的顶行的部分在整个视频屏幕上被伸展，如以减小的 速率捕获的每个相继行那样。因此，每行的采样的中间部分可以组 合以在矩形屏幕上形成图像。

本发明的视频系统12的一个实施例显示于图3中。系统12包 括具有鱼眼镜头的摄像机14。同步锁相(genlock)时钟发生器16 使用摄像机14的视频输出来产生主时钟信号18和水平同步信号H。 时钟调节器20产生FIFO输入时钟信号22，后者被传送到模拟-数 字转换器24和FIFO存储器26。主时钟信号18被馈送到FIFO存 储器26作为FIFO输出时钟信号，并馈送到数字-模拟转换器28。 虽然摄像机14输出具有鱼眼畸变的视频，视频系统12，具体地是数 字-模拟转换器28输出没有鱼眼畸变的视频。能够将除了摄像机14 之外的整个系统12包括在单个针对特定应用的集成电路(ASIC) 中。

图4显示了用于接收主时钟信号18和水平同步信号H并输出 FIFO输入时钟信号22的时钟调节器20的一个具体实施例。数字行 计数器30可以基于接收到的水平同步信号H来计数例如从图像的顶 部到底部的视频行。最大时钟速率可以除以一个值，该值与行计数 值成比例。更具体地，在图4的实施例中，与来自计数器30的行计 数值成比例的值“n”在32产生。主时钟信号18由锁相环34接收。 锁相环34的输出信号36的频率可以大约为主时钟信号18的频率的 3倍。分频器38可以输出FIFO输入时钟信号22，该信号的频率等 于输出信号36的频率除以量值n。

时钟调节器20还可以包括数字像素计数器40，后者计数主时钟 信号18上的主时钟周期，并且禁止采样时钟的开始，即FIFO输入 时钟22的开始，直到恰当的时间。在一个实施例中，“恰当的时间” 选择为使得图像的中心部分在任何给定行之内被捕获。例如，在图 像的顶部，采样时钟被禁止大约该行的三分之一，使得该顶行的大 约中心的三分之一被捕获；在顶行到底行的中间的行，采样时钟被 禁止大约该行的六分之一，使得该行的大约中心的三分之二被捕获； 在图像的底行，采样时钟根本不被禁止，整个行都被捕获。

采样时钟的上述禁止可以由时钟禁止模块42实施，时钟禁止模 块42从分频器38接收原始的FIFO输入时钟信号44，从像素计数 器40接收禁止信号46。禁止信号46可以是二进制信号，当对应于 要禁止的图像的结束部分时其值为0，而当对应于不被禁止的图像的 中间部分时其值为1。时钟禁止模块42可以对来自分频器38的原始 FIFO输入时钟信号44和来自像素计数器40的禁止信号46进行逻 辑“与”，以产生FIFO输入时钟信号22。

在一个实施例中(未示出)，像素计数器40接收来自行计数器 30的输出的当前行信息。这样，对于随着行数变化的一定数目的像 素，像素计数器40可以禁止FIFO输入时钟信号22。

在上面公开的实施例中，FIFO输入时钟信号22的频率与计数 器30产生的行计数有特定的关系。但是，应理解，本发明更广义地 包括FIFO输入时钟信号22的频率随着计数器30产生的行计数的 增加而减小的任何实施例。

用于操作视频系统的本发明的方法500的一个实施例示于图5 中。在第一步骤502，接收使用鱼眼镜头捕获的第一图像。例如，摄 像机14可以包括捕获图1和2a所示的图像的鱼眼镜头。

在步骤504，该图像被分成多个水平图像行，每个图像行具有中 间部分和两个旁边部分，中间部分相对于旁边部分的大小随着从图 像顶部到图像底部的每个水平图像行而增加。也就是说，图2a所示 的图像可以由一组平行的水平图像行组成，或者可以分成一组平行 的水平图像行，每个图像行在图像的左手侧和右手侧之间延伸。如 图2a所示，图像可以包括两个旁边部分10a和10b以及置于其间的 梯形中间部分。从图2a可以看到，中间部分在图像的顶部是最小的， 并且随着接近图像底部，相对于旁边部分逐渐变大。

在下一步骤506中，图像行的旁边部分被丢弃。在一个实施例 中，时钟禁止模块42防止旁边部分10a和10b的采样，仅仅允许图 像的中间部分被采样。这样，图像行的旁边部分从来不被数字化、 存储到存储器中、或者做其他的处理，因此被有效地丢失或丢弃。

接下来在步骤508中，用基本上相等数目的样本表示每个中间 部分。例如，如上述实施例中描述的，从图像的每个水平行的中间 部分取720个样本，而不管中间部分的长度如何。这720个样本有 效地代表了从中采样的相应的中间部分。为了补偿中间部分的不同 长度，在中间部分的长度上，采样频率可以变化以便保持720个时 钟脉冲，即720个样本。中间部分的大小，即被采样的片段的大小， 可以取决于镜头的畸变特性。因此采样频率也可以随着镜头的畸变 特性而改变。

在最后的步骤510中，形成包括样本的第二图像。也就是说， 步骤508中取得的所有样本可以放置到一起来形成非畸变的图像。

用于操作视频系统的本发明的方法600的另一实施例示于图6。 在第一步骤602中，接收使用鱼眼镜头捕获的第一模拟图像。例如， 摄像机14可以包括可以捕获图1和2a所示的模拟图像的鱼眼镜头。

在步骤604，模拟图像被转换成数字图像数据。在一个实施例中， 模拟-数字转换器24将来自摄像机14的模拟图像转换成数字图像数 据，后者被存储到FIFO存储器26中。

在下一步骤606中，图像被分成多个水平图像行。也就是说， 图2a所示的图像可以由一组平行的水平图像行组成，或者可以分成 一组平行的水平图像行，每个图像行在图像的左手侧和右手侧之间 延伸。

接下来在步骤608，每个图像行的相应中间部分以不同的相应采 样频率被采样，每个采样频率与中间部分所占据的相应像行的片段 逆相关，中间部分所占据的图像行的该片段随着从图像的顶缘前进 到图像的底缘的每个图像行而增加。例如，在上述的实施例中，旁 边部分10a和10b之间的图像行的中间部分以从图像顶部处的 40MHz到图像底部处的13.5MHz的范围的采样频率被采样。采样频 率与作为整个图像行的百分比的中间部分的大小逆相关。例如，在 采样频率为40MHz的图像顶部，中间部分大约是整个图像行的三分 之一。当采样频率逐渐从40MHz减小到13.5MHz时，中间部分的 大小从图像行的三分之一逐渐增加到图像底部的整个图像行。

在最后的步骤610中，采样的数字图像行被转换成第二模拟图 像。在上述的实施例中，存储在FIFO存储器26中的采样的数字图 像行被数字-模拟转换器28转换成模拟图像。

虽然作为示范性设计已经说明了本发明，但是本发明还可以在 此说明书公开的精神和范围内做出进一步修改。因此本申请旨在包 括利用本发明总原理的任何的改变、使用或适应性变化。此外，本 申请旨在包括此发明相关的技术领域公知或惯用的实践范围内的本 公开未涉及的方案。