通过地平线估计进行的摄像机自动校准

摘要

本发明涉及通过地平线估计进行的摄像机自动校准。一种用于估计摄像机图像中的地平线以提供俯仰方向上的摄像机自动校准的方法。该方法包括摄取一个场景的图像并采用地平线边缘检测分析来产生该图像的纹理地图，以定位图像中的地平线边缘。该方法还包括通过提供连续图像之间的图像差别来提供运动地图，以便在车辆移动时找出图像中没有运动的区域。将纹理地图和运动地图进行组合以识别图像中不运动且包含地平线边缘的区域。通过统计地图中沿地平线方向的白点，从组合地图中产生地平线投影。对该地平线投影进行平滑处理以消除干扰，并且通过识别地平线投影中的最大峰值来估计图像中的地平线位置。

说明书

技术领域

本发明总体上涉及一种用于提供摄像机图像中的地平线估计的系统和方法，更具体地说，涉及一种用于提供摄像机图像中的地平线估计，以便在俯仰方向上对摄像机进行校准的系统和方法。

背景技术

现代车辆有时候包括一个或多个摄像机，这些摄像机提供支持协助，采集车辆驾驶员的图像以确定驾驶员的睡意和注意力，为了防止碰撞的目的而在车辆行驶时提供路面的图像，提供建筑物-例如路标的识别等等。对于这些图形在摄像机图像上叠加的应用来说，准确地校准摄像机相对于车辆的位置和方位是很关键的。由于制造公差，每辆车都必须执行独立的终检线摄像机校准(end-of-line camera calibration)或后续市场摄像机调节，以便进行例如预定车辆路线的准确叠加。

某些已知的摄像机系统不提供摄像机校准，但是可以恢复到一个默认值，该默认值可能提供多度误差。其他摄像机系统提供如下预校准方法：在车辆坐标系中手动标注摄像机图像上的点并手动测量特征点位置，例如通过提供图像的检测板图案(checker board pattern)。然而，这些校准技术通常耗时，且必须在服务站实施。因此，如果车辆正在行驶并且撞到路面上的不平物或其他障碍物，则摄像机位置可能改变，校准可能不准确，直到将车辆移到服务站进行校正。

摄像机校准包括确定将摄像机图像坐标与地球坐标相关联以及将地球坐标与摄像机图像坐标相关联的一组参数。一些摄像机参数-例如摄像机焦距、光心等都是固定的，然而其他参数-例如摄像机方位和位置却不是固定的。例如，摄像机的高度取决于车辆的负载，其随时会变化。这种变化引起摄像机图像上的车辆轨迹的不准确的叠加图形。因此，需要一种摄像机校准程序，其在车辆被驱动时自动地校准不太稳定的摄像机参数，该车载摄像机系统持续地随时进行自我适应。

摄像机图像中的地平线估计提供一种技术，通过该技术可以校准摄像机图像，特别是在俯仰方向上。然而，依赖于地平线估计的公知的摄像机校准技术通常是不准确且不可靠的。

发明内容

根据本发明的教导，公开一种用于估计摄像机图像中的地平线以提供俯仰方向上的摄像机自动校准的系统和方法。该方法包括摄取一个场景的图像并采用地平线边缘检测分析来产生该图像的纹理地图，以定位该场景中的地平线边缘。该方法还包括通过提供连续图像之间的图像差别来提供运动地图，以便在车辆移动时找出图像中没有运动的区域。将纹理地图和运动地图相组合来识别图像中不运动且包含地平线边缘的候选区域(candidate areas)。通过计数地图中候选区域中的地平线方向上的白点，从组合地图中产生地平线投影。使该地平线投影平滑化以消除干扰，并且通过识别地平线投影中的最大峰值来估计图像中的地平线位置。然后，估计出的地平线就可以被用于自动校准程序，以校准摄像机。

方案1、一种用于估计摄像机图像上的地平线的方法，所述方法包括：

提供源于摄像机的第一和第二图像；

提供源于所述图像中的一个的纹理地图，该纹理地图对所述图像中的边缘进行定位；

提供源于所述第一和第二图像之间的差别的运动地图，该运动地图对所述图像中没有发生运动的区域进行定位；

将所述纹理地图和所述运动地图进行组合以识别组合地图中不运动且包括地平线边缘的位置；

提供包括所述组合地图中沿地平线方向的一定数量的位置的地平线投影，这些位置识别出所述组合地图中的地平线边缘的数量；

对所述地平线投影进行平滑处理以减少所述地平线投影中的干扰；以及

识别平滑处理过的地平线投影中的最大峰值，该最大峰值识别出所述图像中的估计地平线。

方案2、根据方案1所述的方法，其中，提供纹理地图包括采用地平线边缘检测分析来定位地平线边缘。

方案3、根据方案2所述的方法，其中，提供地平线边缘检测分析包括采用Sobel滤波。

方案4、根据方案1所述的方法，其中，所述纹理地图中的边缘、所述组合地图中的位置以及所述地平线投影中的位置都是白点。

方案5、根据方案1所述的方法，其中，对所述地平线投影进行平滑处理包括采用Gaussian平滑滤波器。

方案6、根据方案1所述的方法，其中，所述地平线投影是地平线直方图。

方案7、根据方案1所述的方法，其中，所述摄像机是车载摄像机。

方案8、根据方案1所述的方法，还包括采用地平线估计来更新摄像机的俯仰角。

方案9、一种用于估计摄像机图像中的地平线的方法，所述方法包括：

提供源于摄像机的第一和第二图像；

提供源于所述图像中的一个的纹理地图，该纹理地图将所述图像中的地平线边缘定位成白点，其中，提供纹理地图包括采用地平线边缘检测分析来定位地平线边缘；

提供源于所述第一和第二图像之间的差别的运动地图，该运动地图将所述图像中没有发生运动的区域定位成白点；

将所述纹理地图和所述运动地图进行组合以便将组合地图中不运动且包括地平线边缘的位置识别成白点；

提供包括所述组合地图中沿地平线方向的一定数量的白点的地平线投影，这些白点识别出所述组合地图中的地平线边缘的数量；

对所述地平线投影进行平滑处理以减少所述地平线投影中的干扰；以及

识别平滑处理过的地平线投影中的最大峰值，该最大峰值识别出所述图像中的估计地平线。

方案10、根据方案9所述的方法，其中，提供地平线边缘检测分析包括采用Sobel滤波。

方案11、根据方案9所述的方法，其中，对所述地平线投影进行平滑处理包括采用Gaussian平滑滤波器。

方案12、根据方案9所述的方法，其中，所述地平线投影是地平线直方图。

方案13、根据方案9所述的方法，其中，所述摄像机是车载摄像机。

方案14、根据方案9所述的方法，进一步包括采用地平线估计来更新摄像机的俯仰角。

方案15、一种用于估计摄像机图像中的地平线的系统，所述系统包括：

用于提供源于摄像机的第一和第二图像的装置；

用于提供源于所述图像中的一个的纹理地图的装置，该纹理地图将所述图像中的边缘定位成白点；

用于提供所述第一和第二图像之间的差别的运动地图的装置，该运动地图将所述图像中没有发生运动的区域定位成白点；

用于将所述纹理地图和所述运动地图进行组合以便将组合地图中不运动且包括地平线边缘的位置识别成白点的装置；

用于提供地平线投影的装置，该地平线投影包括所述组合地图中沿地平线方向的一定数量的白点，这些白点识别出所述组合地图中的地平线边缘的数量；

用于对所述地平线投影进行平滑处理以减少所述地平线投影中的干扰的装置；以及

用于识别平滑处理过的地平线投影中的最大峰值的装置，该最大峰值识别出所述图像中的估计地平线。

方案16、根据方案15所述的系统，其中，用于提供纹理地图的装置采用Sobel滤波。

方案17、根据方案15所述的系统，其中，用于对地平线投影进行平滑处理的装置采用Gaussian平滑滤波器。

方案18、根据方案15所述的系统，其中，所述地平线投影是地平线直方图。

方案19、根据方案15所述的系统，其中，所述摄像机是车载摄像机。

方案20、根据方案15所述的系统，进一步包括采用地平线估计来更新摄像机的俯仰角的装置。

结合附图，从下面的描述和所附权利要求书，可以清楚本发明的其他特征。

附图说明

图1是示出一种用于提供摄像机图像地平线估计的程序的流程图表；以及

图2是示出一种采用地平线估计来提供摄像机自动校准的系统的框图。

具体实施方式

下面对本发明实施例的论述涉及一种用于提供摄像机图像中的地平线估计以便在俯仰方向上对摄像机进行自动校准的系统和方法，该论述实质上仅仅作为示例，并不对本发明及其应用或使用进行限制。例如，本发明特别用于校准车载摄像机。然而，如本领域技术人员将会意识到的，本发明还可应用于除车载摄像机之外的其它摄像机。

图1为流程图表10，其示出了用于估计摄像机图像中的地平线的方法。车辆前方的道路在时间k时用摄像机图像12表示，在时间k+1时用摄像机图像14表示。如下所述，该方法估计图像12和14中的地平线，该地平线基本上是一条包含许多地平线边缘的直线，天空和道路在这些地平线边缘处相交。地平线在从一幅图像到下一幅图像中基本上是相同的，使得该值可被用于在俯仰方向上对摄像机进行校准。该方法的下一个步骤是使用地平线结构分析产生一个纹理地图16，以提供地平线边缘检测。该地平线边缘检测可采用任何合适的滤波过程-例如Sobel滤波来识别图像12中的地平线边缘。特别地，如果图像12中的地平线边缘响应超出限定地平线边缘的某一阈值，则那个位置就用一个白点30来识别，白点的组合便形成纹理地图16。

采用运动分析过程将两幅图像12和14组合起来，以找出图像12和14中当车辆移动时没有发生太多运动的区域。通过该分析，图像12和14彼此相减或求差异(differenced)，并且那些没有超过某一阈值的区域或像素并不运动且也用白点34识别，如运动地图18所示。地平线在图像12和14中应该是不移动的，因为它在很远处。地平线估计过程中的下一个步骤是将纹理地图16与运动地图18组合到组合地图20中，以找出地图16和18中都不运动且包含地平线边缘的区域。

下一个步骤是统计组合地图20中地平线方向上的白点36的数量，以提供地平线投影以及识别组合地图20中的地平线位置。该步骤由作为地平线直方图的图表22表示，其示出了沿着组合地图20的垂直侧的位置以及统计出的地平线轴线上的白点36的数目。200附近的主要峰值识别出估计出的地平线。这个地平线投影包括许多干扰，这些干扰可使用合适的平滑滤波器-例如Gaussian滤波器使其变平滑，以得到如图表24所示的平滑的地平线投影。图表24中的最大峰值26识别出了图像30中的线28处的估计出的地平线。

图2是流程图表50，其示出了用于提供摄像机自动校准的程序，该摄像机自动校准采用基于上述流程的地平线估计。图像在方框(box)52处产生。这些图像可提供给方框54，该方框54可通过上述流程提供摄像机地平线估计。此外，这些图像还可提供给方框56，该方框56提供车道标记估计以确定远处的消失点，例如2008年7月18日提交的名称为“Camera-Based Lane Marker Detection”的美国专利申请号No.12/175631中所公开的，该申请已转让给本申请的申请人并且在此通过引用并入本申请。这些图像也可以被提供给基于点的摄像机自动校准方框58，该方框58提供摄像机自动校准，例如2008年5月22日提交的名称为“Self-Calibration of Camera Parameters for a Vehicle Camera”的美国专利申请号No.12/125471中所公开的，该申请已转让给本申请的申请人并且在此通过引用并入本申请。

采用摄像机地平线估计、车道标记估计以及基于点的摄像机自动校准，在方框60处自动更新摄像机方位。摄像机地平线估计可以在方框62处更新摄像机俯仰角，并且摄像机地平线估计可以在方框62处更新摄像机俯仰角以及在方框64处更新摄像机横摆角(yaw angle)。该基于点的自动校准可以用于更新方框62中的摄像机倾斜角、方框64中的摄像机横摆角、方框66中的摄像机滚转角(roll angle)以及方框68中的摄像机离地高度。

前面的讨论仅仅公开和描述了本发明的示例性实施例。本领域技术人员根据这些讨论以及附图和权利要求书将会容易地认识到，在不脱离所附权利要求限定的本发明的精神和范围的情况下，可以做出各种不同的改变、改型和变型。