确定车辆视觉系统外部参数的方法以及车辆视觉系统

摘要

为了确定车辆视觉系统（2至4）的外部参数，在由车辆视觉系统（2至4）的摄像机（2、3）捕捉的至少一幅影像中识别多条道路车道标线（21至23）。针对所述多条道路车道标线（21至23）中的各道路车道标线，分别确定第一参数集，其定义道路车道标线（21至23）在影像平面中延伸所沿着的线的朝向和位置。确定第二参数集，其定义对应道路车道标线（21至23）在道路平面中延伸所沿着的线的朝向和位置。确定线性变换，对于所述多条道路车道标线（21至23；31至33）中的所有道路车道标线，所述线性变换定义第一参数集与第二参数集之间的映射。根据确定的线性变换来建立外部参数，建立的外部参数定义摄像机（2、3）的至少一个朝向。

说明书

技术领域

本发明实施方案涉及确定车辆视觉系统外部参数的方法以及车 辆视觉系统。本发明实施方案尤其涉及允许使用影像处理来确定外部 参数的方法以及车辆视觉系统。

背景技术

在车辆系统中整合一个或者多个影像传感器已经变得越来越普 遍。所述影像传感器可被用作驾驶员辅助系统的组件，其中，所述影 像传感器捕捉车辆环境影像。捕捉的影像可被处理以执行目标识别， 以及/或者可能在处理之后，可显示给使用者。自动报警和辅助功能 可被执行以警告驾驶员潜在危险情况，或者通过启动刹车等来主动控 制车辆操作。影像传感器还可被用作后视或者侧视摄像机，所述后视 或者侧视摄像机帮助驾驶员停车或者其它关键操作。

在车辆应用中利用影像传感器正变得越来越普及，校准车辆视觉 系统所需的复杂性和时间成为重要问题。校准车辆视觉系统需要知道 外部参数和内部参数。虽然内部参数随着时间推移可经常保持不变， 但是这可能并不总是适用于外部参数。摄像机在车辆上的位置以及摄 像机的三维朝向对于所述外部参数而言是示例性的。摄像机朝向可随 着时间推移改变，例如，这是归因于在车辆继续运行期间的震动，这 可能引起摄像机朝向改变。摄像机朝向改变可需要重新校准视觉系 统，以避免潜在的危险运行情况。

一种确定外部参数的方法在于：在相对于车辆的预定位置处定位 一个或者多个专用路标；确定路标在摄像机影像平面中的位置；以及 确定线性映射参数，所述线性映射将车辆坐标系中目标坐标映射到影 像平面中目标坐标上。所述方法是基于点在世界坐标系中的三维坐标 与影像平面中二维坐标之间的映射。这样一种方法可能需要相对于车 辆高精度定位路标，这可能需要在专业车间执行重新校准。这对可频 繁确定外部参数强加约束。

发明内容

所属领域还需要确定车辆视觉系统外部参数的方法以及车辆视 觉系统，其中，校准不需要针对校准程序使用专用路标。所属领域还 需要允许在车辆驾驶操作期间确定外部参数的这样一种方法和这样 一种车辆视觉系统。

根据一个方面，提供确定车辆视觉系统外部参数的方法。车辆视 觉系统包括安装在车辆中的摄像机。处理由摄像机捕捉的道路的至少 一幅影像以识别所述至少一幅影像中的多条道路车道标线，所述多条 道路车道标线相互平行地在道路平面中延伸。针对所述多条道路车道 标线中各道路车道标线，确定第一参数集和第二参数集。第一参数集 定义道路车道标线在至少一幅影像的影像平面中延伸所沿着的线的 朝向和位置。第二参数集定义道路车道标线在道路平面中延伸所沿着 的线的朝向和位置。基于关于道路车道标线在道路平面中的间距的信 息来确定第二参数集。确定线性变换，针对所述多条道路车道标线中 各道路车道标线，所述线性变换定义第一参数集与第二参数集之间的 映射。基于确定的线性变换来建立外部参数，其中，建立的外部参数 定义摄像机的至少一个朝向。

在所述方法中，在分别定义影像平面和道路平面中的线的第一参 数集和第二参数集之间确定线性映射。通过基于定义道路平面中的线 的第二参数集与定义影像平面中的线的第一参数集之间的映射来确 定外部参数，校准程序的稳健性得以实现。道路车道标线用作定义所 述线以确定线性变换的标线。道路车道标线在车辆驾驶操作期间可用 作标线，而无需在相对于车辆的预定位置处定位专用标线。

可基于确定的线性变换来建立外部参数，使得建立的外部参数定 义摄像机在车辆坐标系中的至少一个朝向，即，在安装车辆视觉系统 的车辆的坐标系中。

第一参数集分别包括可组织为n元组（n>1）的多个参数。第二 参数集分别包括也可组织为n元组的多个参数。

在分别定义影像平面和道路平面中的线的第一参数集和第二参 数集之间确定线性映射的情况下，外部参数确定对车辆沿车辆行进所 沿着的道路的纵向方向的位置不敏感。不需要标线在相对于道路纵向 方向上的起始点和结束点的特定位置处定位车辆，这是因为用在校准 中的是线，而不是单独点。

针对道路车道标线，关于道路车道标线在道路横向方向上的位置 的信息可使用地图数据库来确定，所述地图数据库通常在车辆中可用 作例如车辆导航系统的一部分。所述地图数据库可包括关于车道宽度 的明确信息。所述地图数据库还可包括关于可与道路车道宽度相关联 的功能道路等级的信息。所述信息可被用于确定车辆视觉系统外部参 数，而无需进行专门测量以在校准时确定道路车道标线的位置。

第一参数集可包括影像平面坐标中双线性方程的系数，所述双线 性方程定义对应道路车道标线在影像平面中延伸所沿着的线。第二参 数集可包括道路平面坐标中双线性方程的系数，所述双线性方程定义 对应道路车道标线在道路平面中延伸所沿着的线。

可通过确定单应矩阵的矩阵元素来确定线性变换。描述定义对应 道路车道标线在影像平面中延伸所沿着的线的双线性方程系数与定 义对应道路车道标线在道路平面中延伸所沿着的线的另一个双线性 方程系数之间线性映射的矩阵的矩阵元素为单应矩阵的矩阵元素，所 述单应矩阵定义车辆和影像平面世界坐标系中的点之间的映射。 单应矩阵的矩阵元素可被确定成使得

针对每个i=1、…、M，近似其中，i表示道路车道标线整数 标识符，M表示所述多个道路车道标线总计数，H表示具有三行和三 列的单应矩阵，上标T表示矩阵转置，向量表示针对第i条道路车 道标线确定的所述第一参数集的3元组，以及向量表示针对第i条 道路车道标线确定的所述第二参数集的3元组。这使得单应矩阵被确 定。各种标准和技术可用于确保根据单应矩阵H所依据的未知外部 参数数目以及道路车道标线计数M，针对各i=1、…、M，近似 为了说明，如果H所依据的未知外部参数数目等于2·M，那么可 执行如果H所依据的未知外部参数数目小于2·M，则得到 过度确定的方程集。诸如最小二乘近似的多种传统技术可用于确定在 该情况下H的矩阵元素。

确定第一参数集可分别包括：确定参数值a’_i、b’_i和c’_i，使得道 路车道标线在影像平面中延伸所沿着的线由以下定义：

a'_i·x'+b'_i·y'+c'_i＝0，（2）

其中，i表示整数道路车道标线标识符，而x’和y’表示影像平面 中的坐标。双线性方程（2）定义影像平面中的线。

确定第二参数集可分别包括：确定参数值a_i、b_i和c_i，使得道路 车道标线在道路平面中延伸所沿着的线由以下定义：

a_i·x+b_i·y+c_i＝0，（3）

其中，x和y表示道路平面中的坐标。双线性方程（3）定义影 像平面中的线。

单应矩阵的矩阵元素可基于以下值来确定：针对所有i=1、…、 M，

$N[H^T\left(\begin{array}{c}{a^{\prime }}_i\\ {b^{\prime }}_i\\ {c^{\prime }}_i\end{array}\right)-\left(\begin{array}{c}{a}_i\\ b_i\\ c_i\end{array}\right)]---\left(4\right)$

其中，N[·]表示向量范数，而M表示用在校准中多条道路车道标 线总计数。向量范数N[·]可为任何范数，诸如L₂或者另一个L_p范数。 基于方程（4）针对各种道路车道标线的表达式，单应矩阵的矩阵元 素可以数值稳健方式确定。单应矩阵的矩阵元素可被确定成使得方程 （4）表达式的i总和

${\Sigma }_{i=1}^{M}N[H^T\left(\begin{array}{c}{a^{\prime }}_i\\ {b^{\prime }}_i\\ {c^{\prime }}_i\end{array}\right)-\left(\begin{array}{c}{a}_i\\ b_i\\ c_i\end{array}\right)]---\left(5\right)$

最小化。或者，单应矩阵的矩阵元素可被确定成使得方程（5） 总和为小于阈值。为了增加稳健性，用在本方法中的道路车道标线计 数M可选择成大于单应矩阵中未知外部参数数目除以二。虽然具有 三行和三列的单应矩阵H具有九个矩阵元素，但是未知外部参数数 目小于或者等于六。如果只有摄像机朝向未知，那么足以确定定义摄 像机轴相对于车辆的朝向的三个坐标。

单应矩阵的矩阵元素可被确定成使得

${\Sigma }_{i=1}^M{\left|\right|H^T\left(\begin{array}{c}{a^{\prime }}_i\\ {b^{\prime }}_i\\ {c^{\prime }}_i\end{array}\right)-\left(\begin{array}{c}{a}_i\\ b_i\\ c_i\end{array}\right)\left|\right|}^2---\left(6\right)$

最小化。使方程（6）总和最小化的单应矩阵H可以数值高效方 式找到。为了增加稳健性，计数M可选择成大于单应矩阵中未知外 部参数数目除以二。

单应矩阵的矩阵元素可被确定成使得，针对各i=1、…、M，

$H^T\left(\begin{array}{c}{a^{\prime }}_i\\ {b^{\prime }}_i\\ {c^{\prime }}_i\end{array}\right)=\left(\begin{array}{c}{a}_i\\ b_i\\ c_i\end{array}\right).---\left(7\right)$

如果H所依据的未知外部参数数目等于M/2，那么方程（7）条 件允许高效确定外部参数。

当根据方程（3）确定第二参数集时，参数值a_i或者b_i中的一个 可相应地被设定为等于零，而c_i与参数值a_i或者b_i中的另一个的商 可被设定为具有一个值，所述值基于关于道路车道标线的间距的信息 来确定。道路车道标线在车辆世界坐标系中的偏移通过道路车道标线 来确定。这允许使用关于间距的信息来确定第二参数集。

针对所述道路车道标线中的每一条，c_i与参数值a_i或者b_i其中另 一个的商可被设定为等于

(2·k(i)+1)·l/2+s。(8)

这里，k(i)表示依据道路车道标线标识符的整数，l表示道路车道 宽度，而s表示独立于道路车道标线标识符的值。所述值s为车辆与 道路车道中心的偏移。值s可从捕捉的至少一幅影像中估计。值s还 可被设定为等于零以考虑车辆通常在道路车道中心行驶的事实。基于 方程（8），道路车道标线在道路平面中延伸所沿着的线可被参数化。 为了说明，标定车辆行驶车道的道路车道标线可通过分别设定k(i)等 于0和-1来参数化。如果车辆纵向方向定义为x轴，那么参数值a_i等于0，而c_i／b_i由方程（8）给出。如果车辆纵向方向定义为y轴， 那么参数值b_i等于0，而c_i／a_i由方程（8）给出。

多条道路车道标线可包括在道路平面中彼此平行地延伸的至少 两条道路车道标线。这允许确定定义摄像机朝向的至少三个坐标。

多条道路车道标线可包括在道路平面中彼此平行地延伸的至少 三条道路车道标线。这允许较高稳健性地确定定义摄像机朝向的三个 坐标。如果摄像机在车辆参考系中的位置坐标未知，那么还可确定位 置坐标。

用在本方法中的多条道路车道标线的计数M和待确定的外部参 数的计数M_e可满足

M_c≤2·M。（9）

藉此，在本方法中识别和使用的道路车道标线可选择成使得可确 定所有未知外部参数。多条道路车道标线计数的M以及待确定的外 部参数计数的M_e可被设定成使得M_c＝2·M。

识别的多条道路车道标线不需要在影像中同时可见。为了说明， 只有一条或者两条道路车道标线可在由摄像机捕捉的影像中可见，以 及至少一条其它道路车道标线可在由摄像机捕捉的另一幅影像中可 见。本文中所述的各种步骤在这种情况下仍然适用于确定车辆系统外 部参数。校准因此对定位在摄像机视场一部分中的障碍物稳健。

关于道路车道标线间距的信息可为存储在记忆体中的固定值。为 了说明，在不同国家，道路车道具有可由法律法规事先规定的特征宽 度。为了说明，德国的道路车道可具有3.6米的特征宽度。所述信息 可被用于确定第二参数集。

关于道路车道标线间距的信息还可基于地图数据库来确定。可确 定车辆位置。关于道路车道宽度的信息可使用确定的车辆位置从地图 数据库检索。

为了增强稳健性，当确定第一参数集时，可对多幅影像执行平均 化程序。对于至少一条道路车道标线，道路车道标线延伸所沿着的线 可分别针对由摄像机捕捉的道路多幅影像中的每一幅而确定。例如， 根据方程（2）描述线的参数可针对各影像而确定。针对单独影像确 定的双线性方程系数可被平均化以定义用在方程（4）至（7）中任一 个中的第一参数集。或者，单应矩阵的矩阵元素可针对影像中的每一 幅而单独确定，以及所产生外部参数或者单应矩阵的矩阵元素可被平 均化。

确定外部参数的方法可通过安装在车辆中的处理单元来执行。确 定外部参数的方法可在车辆沿着道路行驶时确定。

根据另一个方面，提供处理由车辆视觉系统摄像机捕捉的影像的 方法。使用任何一个方面或者实施方案的方法，在校准程序中确定车 辆视觉系统外部参数。在随后操作中，由摄像机捕捉的影像可基于确 定的外部参数来处理。基于确定的外部参数处理影像可包括以下任何 一个或者任何组合：确定用于通过显示器视觉输出捕捉影像的参数； 当捕捉影像通过显示器输出时，确定图形标线在捕捉影像上叠加的位 置；针对驾驶员辅助功能处理影像。

可基于用户命令初始校准程序。例如，在预定时间间隔之后，或 者当自动检测车辆视觉系统外部参数改变时，校准程序可自动起始。

根据另一个方面，提供车辆视觉系统。所述车辆视觉系统包括： 摄像机，其具有电光组件以捕捉影像；和处理单元。所述处理单元被 构造来处理从摄像机接收的影像数据。所述处理单元被构造来处理由 摄像机捕捉的道路的至少一幅影像以识别至少一幅影像中的多条道 路车道标线，所述多条道路车道标线在道路平面中相互平行地延伸。 所述处理单元被构造来针对识别的多条道路车道标线中各道路车道 标线，分别确定第一参数集和第二参数集。第一参数集定义道路车道 标线在至少一幅影像的影像平面中延伸所沿着的线的朝向和位置。第 二参数集定义道路车道标线在道路平面中延伸所沿着的线的朝向和 位置。所述处理单元被构造来基于关于道路车道标线在道路平面中的 间距的信息来确定第二参数集。所述处理单元被构造来确定线性变 换，针对多条道路车道标线中各道路车道标线，所述线性变换定义第 一参数集与第二参数集之间的映射。所述处理单元被构造来基于确定 的线性变换来建立外部参数，建立的外部参数定义摄像机的至少一个 朝向。

车辆视觉系统被构造来使得可基于定义线的参数来确定外部参 数。藉此实现外部参数的稳健性确定，而不需知道专用标线相对于车 辆在车辆纵向方向上的位置。外部参数可在车辆沿着道路行驶时确 定。

处理单元可被构造来基于确定的线性变换来建立外部参数，使得 建立的外部参数定义摄像机在车辆坐标系中（即，在安装车辆视觉系 统的车辆的坐标系中）的至少一个朝向。

处理单元可被构造来执行根据任何一个方面或者实施方案的确 定车辆视觉系统外部参数的方法。

车辆视觉系统可包括输出器件。影像处理单元可被构造来在基于 由摄像机捕捉的影像来输出信息时使用在校准程序期间确定的车辆 视觉系统外部参数。

根据另一个方面，提供具有根据任何一个方面或者实施方案所述 的车辆视觉系统的车辆。

实施方案可针对驾驶员辅助功能被用在车辆视觉系统中，诸如后 视系统或者环视系统，而不限于此。

附图说明

参考附图更详细地描述实施方案。

图1是配备有车辆视觉系统并且定位于具有道路车道标线的道 路上的车辆的示意图。

图2是包括车辆视觉系统的驾驶员辅助系统的示意方块图。

图3至5是使用车辆视觉系统的摄像机捕捉的影像的示意图。

图6是其上定位有车辆的道路的鸟瞰图。

图7是确定车辆视觉系统的外部参数的方法的流程图。

图8是其上定位有车辆的另一条道路的鸟瞰图。

图9是可用在图7的方法中的程序的流程图。

图10是通过车辆视觉系统的处理单元执行的方法的流程图。

具体实施方式

在整个描述中，相同或者相似参考数字是指相同或者相似组件。 虽然一些实施方案将在特定背景下描述，但是实施方案并不限于这些 特定背景。在车辆视觉系统背景下使用的诸如“向前”、“前”、“向后”、 “后”或者“侧”的术语是指车辆参照系。即，“向前”方向是驾驶 员透过挡风玻璃可见的方向等。

图1是示出定位在道路20上的车辆1的示意图。车辆1包括车 辆视觉系统。

车辆视觉系统包括摄像机2。车辆视觉系统可包括另一个摄像机 3或者多个另外摄像机。车辆视觉系统的摄像机2、3中的至少一个 被构造来使得捕捉的影像示出车辆1在捕捉影像的至少一部分中所 处的道路20。车辆视觉系统包括处理器件4。处理器件4耦合至车辆 视觉系统的摄像机2、3的电光组件，并且被构造来处理从电光传感 器接收的影像数据。为了说明，各摄像机2、3可包括CCD传感器或 者另一个电光传感器以将光影像转换为影像数据。处理器件4可包括 一个或者多个处理器，所述处理器被构造来执行程序码以根据本文中 所述方法中的任何一个来确定车辆视觉系统外部参数。

车辆视觉系统外部参数包括摄像机2在车辆坐标系5中的位置和 朝向。车辆视觉系统外部参数还可包括一个或者多个其它摄像机3在 车辆坐标系5中的位置和朝向。摄像机在车辆世界坐标系5中的位置 可通过摄像机特征点相对于车辆世界坐标系原点6的三个坐标来定 义。原点6可在与车辆地平面平行的方向上位于车辆1中心处以及在 与地平面相对应的高度处。定义摄像机位置的特征点可为电光传感器 中心或者光轴与摄像机光学组件相交点处。摄像机朝向可通过摄像机 特征轴相对于车辆坐标系5的朝向来定义。所述轴可为对应摄像机光 轴。朝向可通过空间中朝向的三个角度或者空间中的朝向的任何其它 等效描述来定义。摄像机2的轴7以及摄像机3的轴8在图1中图示。

车辆视觉系统被构造来使得至少摄像机（诸如摄像机2）的朝向 可在校准程序中自动确定。处理单元4被构造来使用在道路20上平 行延伸的道路车道标线21至23作为标线。沿道路纵向方向的平移不 变性容许在不必将车辆定位在相对于道路车道标线的起点或者终点 的特定已知位置处的情况下确定外部参数。可能存在确定外部参数时 无需考虑的其它道路车道标线24。

为了确定摄像机2的外部参数，处理单元4被构造来在摄像机影 像平面中识别道路车道标线在影像平面中延伸所沿着的线。处理单元 4被构造来针对多条道路车道标线中的每一条，分别确定与对应线相 关联的第一参数集。第一参数集可为在影像平面坐标中双线性方程的 3元组系数，所述方程定义影像平面中的对应线。

处理单元4可被构造来针对多条道路车道标线中的每一条，分别 确定第二参数集，其定义道路车道标线在道路平面中延伸所沿着的 线。第二参数集可为在道路平面坐标中双线性方程的3元组系数，所 述方程定义道路平面中的对应线。

处理单元4可被构造来确定具有三行和三列的单应矩阵的元素， 所述矩阵定义第一参数集与第二参数集之间的映射，以确定对应摄像 机2的至少一个朝向。

在一些实施中，处理单元4可被构造来另外确定对应摄像机2的 位置。

处理单元4可被构造来针对车辆视觉系统多个摄像机执行以上 处理。

当基于定义线在影像平面中的朝向和位置偏移和相对应的线在 道路平面中的朝向和位置偏移的参数来确定车辆视觉系统外部参数 时，可以进行稳健的外部参数确定。在摄像机视场的至少一个大部分 上笔直的道路段上的道路车道标线在车辆行驶操作期间普遍且广泛 可用。当处理单元4确定车辆正行驶在具有已知道路车道宽度的道路 上时，可选择性地执行校准。可基于车辆当前位置以及基于道路车道 宽度是否存储在地图数据库中或者道路车道宽度是否可从道路可用 的其它信息（诸如道路的功能道路等级（FRC））确定来作出这样一 种确定。

车辆1的车辆视觉系统可包括驾驶员辅助系统或者可与驾驶员 辅助系统互动。针对车辆视觉系统建立的外部参数可在处理由车辆视 觉系统的摄像机捕捉的影像时使用。

图2为驾驶员辅助系统11的示意方块图。驾驶员辅助系统11可 安装在车辆中。驾驶员辅助系统11包括车辆视觉系统，所述车辆视 觉系统包括摄像机2和处理单元4。

驾驶员辅助系统11可包括另外组件，诸如存储在存储器件中的 地图数据库12、位置确定单元13和光学输出接口14。处理单元4可 从位置确定单元13中检索关于当前车辆位置的信息。位置确定单元 13可为GPS、NAVSTAT-GPS、Galileo或者其它定位单元。基于所述 信息，处理单元14可访问地图数据库12以确定关于车辆所处道路段 的道路车道宽度的信息。处理单元4可使用所述信息来确定车辆视觉 系统外部参数。

处理单元4可耦合至光学输出接口14。在已经确定车辆视觉系 统外部参数之后，处理单元4可基于确定的外部参数通过光学输出接 口14来控制光信息的输出。

下文将更详细描述确定外部参数的方法。所述方法可通过车辆视 觉系统处理单元4来执行。虽然将在一个摄像机的背景下描述确定外 部参数，但是所述方法可并行或者依次应用于车辆视觉系统的多个摄 像机。

当摄像机包括引起非线性影像失真的光学组件时，诸如鱼眼失真 或者其它非线性径向或者柱形失真，可使用摄像机已知内在参数来校 正失真。针对以下描述，假设捕捉的影像不包括非线性失真。本文中 对“捕捉的影像”作出的参考因此不排除影像已经经历一些预处理以 校正非线性失真。

车辆世界坐标系的空间坐标与车辆视觉系统摄像机影像平面中 的影像点之间的光学映射可通过摄像机矩阵来描述。当使用单应坐标 时，摄像机矩阵可被表示为具有三行和四列的矩阵。空间坐标（诸如 车辆参照系中的空间坐标）与影像平面中影像点之间的映射可表示为

$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ w^{\prime }\end{array}\right)=H_{3\times 4}\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right),---\left(10\right)$

方程（10）中，H3×4为摄像机矩阵

$H_{3\times 4}=\left(\begin{array}{cccc}{h}_{11}& h_{12}& h_{13}& h_{14}\\ h_{21}& h_{22}& h_{23}& h_{24}\\ h_{31}& h_{32}& h_{33}& h_{34}\end{array}\right).---\left(11\right)$

在方程（10）右手边上的坐标x，y，z表示车辆世界参照系中的 坐标。世界参照系原点可位于道路平面中，使得道路平面上的点具有 为0的z坐标。

在方程（10）左手边上的向量包括x’和y’，x’和y’代表当通 过w’以常规方式归一化时影像平面坐标。

针对道路平面中的点，z=0。所述点根据以下被映射到影像平面 上

$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ w^{\prime }\end{array}\right)=H_{3\times 4}\left(\begin{array}{c}x\\ y\\ 0\\ 1\end{array}\right)=H\left(\begin{array}{c}x\\ y\\ 1\end{array}\right),---\left(12\right)$

方程（12）中，H表示单应矩阵，其定义道路平面与影像平面之 间的映射。

比较方程（12）与方程（11），

$H=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{14}\\ h_{21}& h_{22}& h_{24}\\ h_{31}& h_{32}& h_{34}\end{array}\right),---\left(13\right)$

单应矩阵的矩阵元素依据内在参数（诸如焦距）和外部参数。例 如，内在参数从车辆视觉系统的初始校准得知。

道路平面中的线通过以下定义

a·x+b·y+c＝0。(14)

方程（14）为在道路平面中坐标x和y中的双线性方程。三个系 数a、b和c定义线在道路平面中的朝向和位置。线位置可理解为线 与沿x轴或者y轴测量的坐标系原点的位置偏移，即，线与坐标轴中 的一个的相交点。由于方程（14）乘以任何非零数值仍定义道路平面 中同一线的事实，系数a、b和c中的一个可被设定为任意值。

当摄像机不具有非线性失真时，或者在已经校正影像中非线性失 真之后，位于道路平面中的线被映射到影像平面中另一条线上。影像 平面中所述线可通过以下双线性方程来描述

a'·x+b'·y+c'＝0。(15)

方程（15）为在影像平面中坐标x’和y’中的双线性方程。三个系 数a’、b’和c’定义线在影像平面中的朝向和位置。由于方程（15）乘 以任何非零数值仍定义影像平面中同一条线的事实，所述系数中的一 个可被设定为任意值。

当方程（15）为当记录影像时通过方程（14）定义的线所映射的 线时，定义道路平面中的线的系数a、b和c以及系数a’、b’和c’ 为相关：

$H^T\left(\begin{array}{c}{a}^{\prime }\\ b^{\prime }\\ c^{\prime }\end{array}\right)=\left(\begin{array}{c}a\\ b\\ c\end{array}\right).---\left(16\right)$

方程（16）中，H表示方程（12）和（13）中定义的单应矩阵。 上标T表示矩阵转置。根据方程（12）定义道路平面与影像平面中的 点坐标之间映射的单应矩阵H定义转置之后，3元组系数(a’,b’,c’) 与3元组系数(a,b,c)之间的线性变换。3元组系数(a’,b’,c’)为第一参 数集，其定义线在影像平面中的朝向和位置。3元组系数(a,b,c)为 第二参数集，其定义道路平面中相对应线的朝向和位置。

虽然双线性方程（14）和（15）3元组系数之间的映射通过方程 （16）来说明，但是有各种等效公式。为了说明，道路平面和影像平 面中的线还可分别通过角度和偏移值来定义。

根据实施方案，道路车道标线被用于确定外部参数。针对笔直道 路段，道路车道标线定义道路平面和影像平面中的线。针对在道路平 面中平行延伸的多条道路车道标线中的每一条，确定定义影像平面中 的线的参数以及定义道路平面中的线的参数。基于方程（16），然后 可使用方程（16）右手边和左手边上的系数向量来确定车辆视觉系统 外部参数。

用于确定外部参数的道路车道标线数目可基于未知外部参数的 数目来选择。可需要确定最多六个外部参数，所述参数定义摄像机位 置和朝向。如果摄像机位置已知，那么可能只需要确定定义摄像机朝 向的三个外部参数。用在校准中的道路车道标线总计数M以及确定 的外部参数数目可选择成使得

M_e≤2·M，(9)

其中，M_e为待确定的对应摄像机外部参数数目。待确定外部参 数可选择成使得M_e为偶数。为了说明，可确定定义摄像机位置的一 个坐标以及定义摄像机朝向的三个角坐标。然后，M可选择成使得 M=M_e/2。

参考图3至6，将说明3元组系数(a,b,c)和(a’,b’,c’)的确定。

图3为由摄像机捕捉的影像30的示意图。如果摄像机具有引起 非线性失真的光学组件，那么影像30为通过预处理以校正非线性失 真而获得的影像。

所述影像中包括多条道路车道标线31至33。道路车道标线31 和33是连续的。道路车道标线32为虚线。道路车道标线31至33可 易通过执行目标识别而检测。为了说明，可使用边缘检测方案。

道路车道标线31沿影像平面中的线34延伸。线34可定义为道 路车道标线31的纵向中心线或者边缘。道路车道标线32沿线35延 伸。线35可定义为道路车道标线32的纵向中心线或者边缘。道路车 道标线33沿线36延伸。线36可定义为道路车道标线33的纵向中心 线或者边缘。

在影像识别之后，可确定定义线34的第一参数集、定义线35的 另一个第一参数集以及定义线36的另一个第一参数集。如参考方程 （15）解释，第一参数集可分别是影像空间坐标中双线性方程的系数。

图4示出道路的另一幅影像40，而图5示出道路的另一幅影像 41。针对道路车道标线31在影像30中延伸所沿着的线34；针对道 路车道标线31在影像40中延伸所沿着的线44；以及/或者针对道路 车道标线31在影像41中延伸所沿着的线47，可执行第一参数集确 定，所述第一参数集定义道路车道标线31延伸所沿着的线。针对道 路车道标线32在影像30中延伸所沿着的线35，针对道路车道标线 32在影像40中延伸所沿着的线45，以及/或者针对道路车道标线32 在影像41中延伸所沿着的线48，可执行第一参数集确定，所述第一 参数集定义道路车道标线32延伸所沿着的线。针对道路车道标线33 在影像30中延伸所沿着的线36以及/或者针对道路车道标线33在影 像40中延伸所沿着的线46，可执行第一参数集确定，所述第一参数 集定义道路车道标线33延伸所沿着的线。

如将参考图9描述，如果一幅以上影像中包括道路车道标线，那 么可针对更高的校准稳健性执行所确定系数的平均化。

第二参数集可基于由识别的道路车道标线标定的道路车道宽度 或者多个道路车道宽度来确定。所述宽度定义道路车道标线在道路横 向方向上的间距。

为了说明，将更详细描述一个情况，其中，由道路车道标线标定 的道路车道具有等同宽度。这是针对高速公路上行驶方向上相邻车道 的情况。这也是在只有两条车道的道路上针对一个交通方向提供一条 车道以及针对另一个交通方向提供另一条车道的情况。可考虑不同车 道宽度。

车辆行进所沿着的道路纵向方向可定义为与车辆世界坐标系坐 标轴中的一个对齐。在不失一般性情况下，道路车道标线延伸的方向 可被设定为x方向。然后，不同道路车道标线延伸所沿着的线分别通 过以下来定义：

y+(2·k(i)+1)·l／2+s＝0。(17)

方程（17）中，s表示车辆坐标系原点与车道中心的偏移。所述 值可从捕捉的影像中估计。或者，s还可被设定为等于零，因此假设 车辆大致沿着车道中心行进。方程（17）中，l为道路车道宽度。因 子k(i)是依据对应道路车道标线的整数。为了说明，针对标定车辆行 进所在车道一侧的道路车道标线，k(i)=-1。针对标定车辆行进所在车 道另一侧的道路车道标线，k(i)=0。标定与车辆行进所在车道相邻车 道的道路车道标线具有k(i)=1或者k(i)=-2。

方程（16）右手边上的参数3元组然后可写成

${\lambda }_{\begin{array}{}\end{array}\text{i}}\left(\begin{array}{c}0\\ 1\\ -(2·k\left(i\right)+1)·\frac{l}{2}-s\end{array}\right).---\left(18\right)$

这里，λi为任意非零因子，考虑在所有系数与同一非零因子相乘 情况下线保持不变的事实。因子λi可根据方程（16）左手边上的参 数3元组比例因子来选择。因子λi可被设定为等于1。

图6图示道路车道标线延伸所沿着的线的参数。车辆1正在沿着 由道路车道标线21和22标定的车道中心行驶。在不失一般性情况下， 假设x轴在道路纵向方向上延伸。第一道路车道标线21延伸所沿着 的线与x轴偏移值d₁（示出在51处），所述值由方程（17）给定，其 中k(1)=-1以及s=0。第二道路车道标线22延伸所沿着的线与x轴偏 移值d₂（示出在52处），所述值由方程（17）给定，其中k(2)=0以 及s=0。第三道路车道标线23延伸所沿着的线与x轴偏移值d₃（示 出在53处），所述值由方程（17）给定，其中k(3)=1且s=0。

针对道路车道标线延伸所沿着的三条线使用方程（16）

$\left(\begin{array}{ccc}{h}_{11}& h_{21}& h_{31}\\ h_{12}& h_{22}& h_{32}\\ h_{14}& h_{24}& h_{34}\end{array}\right)\left(\begin{array}{c}{a^{\prime }}_1\\ {b^{\prime }}_1\\ {c^{\prime }}_1\end{array}\right)=\left(\begin{array}{c}0\\ 1\\ \frac{1}{2}·l\end{array}\right),---\left(19\right)$

$\left(\begin{array}{ccc}{h}_{11}& h_{21}& h_{31}\\ h_{12}& h_{22}& h_{32}\\ h_{14}& h_{24}& h_{34}\end{array}\right)\left(\begin{array}{c}{a^{\prime }}_2\\ {b^{\prime }}_2\\ {c^{\prime }}_2\end{array}\right)=\left(\begin{array}{c}0\\ 1\\ -\frac{1}{2}·l\end{array}\right),$以及(20)

$\left(\begin{array}{ccc}{h}_{11}& h_{21}& h_{31}\\ h_{12}& h_{22}& h_{32}\\ h_{14}& h_{24}& h_{34}\end{array}\right)\left(\begin{array}{c}{a^{\prime }}_3\\ {b^{\prime }}_3\\ {c^{\prime }}_3\end{array}\right)=\left(\begin{array}{c}0\\ 1\\ -\frac{3}{2}·l\end{array}\right).---\left(21\right)$

通过展开方程（19）至（21），获得一组九个方程。因为包括针 对影像平面中的线的系数的列向量乘以非零因子保留所述线不变，以 及因为包括针对道路平面中的线的系数的列向量乘以非零因子保留 所述线不变，所以九个方程中只有六个是线性独立的。从方程（19） 至（21）可确定多达六个外部参数。为了说明，摄像机位置和朝向两 者都可通过针对单应矩阵的矩阵因素所依据的外部参数求解方程 （19）至（21）来获得。

如果不期望从针对至少两条道路车道标线获得的线性映射中来 确定所有六个外部参数，那么过确定组方程可以传统方式求解。为了 说明，

${\Sigma }_{i=1}^{M}N[H^T\left(\begin{array}{c}{a^{\prime }}_i\\ {b^{\prime }}_i\\ {c^{\prime }}_i\end{array}\right)-\left(\begin{array}{c}{a}_i\\ b_i\\ c_i\end{array}\right)]---\left(4\right)$

可最小化，其中，N[·]表示向量范数。当使用最小二乘法技术时，

${\Sigma }_{i=1}^M{\left|\right|H^T\left(\begin{array}{c}{a^{\prime }}_i\\ {b^{\prime }}_i\\ {c^{\prime }}_i\end{array}\right)-\left(\begin{array}{c}{a}_i\\ b_i\\ c_i\end{array}\right)\left|\right|}^2---\left(5\right)$

可最小化。为了说明，如果只有摄像机朝向待确定，那么当摄像 机位置已知时，使用两条道路车道标线（M=2）以及确定角度使得方 程（5）变为最小便足够。

单应矩阵的矩阵元素依据摄像机外部参数的方式为已知。针对外 部参数的单应矩阵以及相对应可行定义有各种表示。

为了说明，摄像机矩阵H可根据绕z轴、y轴和x轴连续旋转， 接着平移和投影来定义：

H_3×4＝P·T·R_x·R_y·R_z(22)

使用齐次坐标。T、R_x、R_y和R_z为具有四行和四列的矩阵。T 为齐次坐标中平移矩阵。R_x、R_y和R_z为齐次坐标中描述绕x轴、y 轴和z轴旋转的旋转矩阵。P为具有三行和四列的投影矩阵。

方程（22）中，使用Tait-Bryan符号。绕z轴旋转角（偏航角） 可由a表示，绕y轴旋转角（俯仰角）可由b表示，以及绕x轴旋转 角（侧倾角）可由g表示。然后，

h₁₁＝c_x·cosβ·cosα-f_x·sinγ·sinβ·cosα-f_x·cosγ·sinα，(23)

h₁₂＝-c_x·cosβ·sinα+f_x·sinγ·sinβ·sinα-f_x·cosγ·cosα，(24)

h₁₄＝c_x·d_x-f_x·d_y，(25)

h₂₁＝c_y·cosβ·cosα+f_y·cosγ·sinβ·cosα-f_y·sinγ·sinα，(26)

h₂₂＝-c_y·cosβ·sinα-f_y·cosγ·sinβ·sinα-f_y·sinγ·cosα，(27)

h₂₄＝c_y·d_x-f_y·d_z，(28)

h₃₁＝cosβ·cosα，(29)

h₃₂＝-cosβ·sinα，以及(30)

h₃₄＝d_x。(31)

方程（23）至（31）中，c_x和c_y表示相对于影像平面中心测量 的主点的坐标，而f_x和f_y表示焦距。这些是例如从初始校准得知的内 部参数。三个角度α、β和γ为世界坐标系与摄像机坐标系之间的旋 转角度。三个参数d_x、d_y和d_z为x、y和z方向上世界坐标系与摄像 机坐标系之间的平移。

在实施方案中，基于方程（16）的线性变换来确定至少一些外部 参数。在一些实施方案中，可确定所有六个外部参数α、β和γ以及 d_x、d_y和d_z。在其它实施方案中，d_x、d_y和d_z为已知，并且只确定角 度α、β和γ。使用确定的外部参数，还可确定全摄像机矩阵（即具 有三行和四列的全单应矩阵）的剩余矩阵元素h₁₃、h₂₃和h₃₃。

根据方程（22）的单应矩阵表示仅为各种表示中一种。为了说明， 可使用欧拉角以及相对应旋转，而不是绕z轴、y轴和x轴旋转，来 定义摄像机坐标系与世界坐标系之间的相对朝向。

图6为通过车辆视觉系统处理单元执行的方法61的流程图。在 方法61中，确定车辆视觉系统外部参数。外部参数包括摄像机相对 于世界坐标的至少一个朝向。外部参数通过安装在车辆中的处理单元 来确定，以及可在车辆行驶时确定。

在62，如果摄像机具有引起非线性失真的光学组件，那么校正 非线性失真。可基于在初始校准中确定的摄像机内部参数来校正非线 性失真。

在63，检索表示由摄像机捕捉的一幅影像或者若干幅影像的影 像数据。

在64，执行影像识别以识别影像中的多条道路车道标线。为了 进一步处理，使用在道路平面中平行延伸的道路车道标线。例如，所 述道路车道标线可基于它们是否朝着共同交汇点收敛来识别。用在本 方法中的多条道路车道标线数目可基于待确定的外部参数数目来限 制。或可或另可根据可用于校准的道路车道标线数目来修改确定的许 多外部参数。为了说明，如果识别两条道路车道标线，那么可能只确 定摄像机朝向。如果识别至少三条道路车道标线，那么可能确定摄像 机朝向和位置。

在65，针对多条道路车道标线中的每一条确定第一参数集。第 一参数集定义对应道路车道标线在影像平面中延伸所沿着的线。第一 参数集可为在影像平面坐标中双线性的方程的3元组系数。第一参数 集可分别包括方程（2）系数。

在66，针对多条道路车道标线中的每一条确定第二参数集。第 二参数集定义对应道路车道标线在道路平面中延伸所沿着的线。第二 参数集可为在世界坐标中双线性的方程的3元组系数。第二参数集可 分别包括方程（3）系数。

第二参数集可基于关于道路车道宽度或者多个道路车道宽度的 信息来确定。关于道路车道宽度的信息可从驾驶员辅助系统的地图数 据库中检索。车辆所处道路段可使用车辆的位置确定系统来确定，以 确定道路车道宽度。

道路车道宽度可以各种方式中的任何一个来确定。为了说明，如 果关于道路车道宽度的明确信息存储于地图数据库中（即以宽度值形 式），那么所述信息可检索并且使用。如果没有关于道路车道宽度的 明确信息存储于地图数据库中，那么可从地图数据库中检索关于道路 的功能道路等级的信息。规定各种功能道路等级的道路车道宽度的查 找表可被用于确定对应道路段的道路车道宽度。取代使用查找表，可 使用将功能道路等级与道路车道宽度相关联的其它手段。

在67，基于线性变换来确定摄像机外部参数，针对已经确定第 一参数集和第二参数集的所有道路车道标线，所述线性变换定义第一 参数集与第二参数集之间的映射。线性变换可通过包括单应矩阵的矩 阵元素的矩阵来定义。所述矩阵的矩阵元素可依据外部参数。矩阵元 素可进一步依据已知的摄像机内部参数。

可使用参考图1至6所述技术中的任何一个来确定外部参数。

在校准方法中可考虑不同道路宽度以及/或者车辆与道路车道横 向中心的偏移。为此，可确定第二参数集以使道路车道宽度从道路车 道改变为另一条道路车道。或可或另可确定第二参数集使得可考虑车 辆与道路车道横向中心的偏移。

图8为位于道路上的车辆的示意鸟瞰图。道路车道标线21和22 标定具有宽度l1的道路车道（示出在58处）。道路车道标线22和23 标定具有另一宽度l2的另一道路车道（示出在59处）。定义车辆世 界坐标系原点的车辆中心与道路车道中心偏移s（示出在54处）。

当假设x轴为道路车道标线延伸所沿着的轴时，在针对道路车道 标线21、道路车道标线22和道路车道标线23确定的第二参数集中， a_i=0。

针对第一道路车道标线21在道路平面中延伸所沿着线的其它参 数可被设定为任何值b₁和c₁，使得

c₁／b₁＝l₁／2-s，(32)

考虑车辆中心向道路车道标线21偏移s的事实。方程（32）右 手边代表距离d₁（示出在55处）。

针对第一道路车道标线22在道路平面中延伸所沿着线的其它参 数可被设定为任何值b₂和c₂，使得

c₂／b₂＝-l₁/2-s，(33)

考虑车辆中心偏离道路车道标线22达s的事实。方程（33）右 手边代表距离d₂的负值（示出在56处）。

针对第一道路车道标线23在道路平面中延伸所沿着线的其它参 数可被设定为任何值b₃和c₃，使得

c₃／b₃＝-l₂-l₁／2-s，(34)

考虑车辆中心偏离道路车道标线23达s以及在道路车道标线23 与22之间延伸的道路车道具有宽度l2的事实，所述宽度可不同于在 道路车道标线22与21之间延伸的车道宽度l1。方程（34）右手边代 表距离d₃负值（示出在57处）。

可评估由摄像机捕捉的一幅以上影像以在重新校准程序中确定 外部参数。

在一些实现中，可执行跟踪以监视道路车道标线在由摄像机依时 序捕捉的各种影像中延伸所沿着的线的位置和朝向。

当车辆沿道路行进时在依时序捕捉的多幅影像中识别道路车道 标线时，可执行参数平均化，所述参数定义道路车道标线在各种影像 中延伸所沿着的线。校准稳健性可得以提高。

图9是针对存在于多幅影像中的道路车道标线确定第一参数集 的程序71的流程图。影像计数由R表示。所述程序可通过车辆视觉 系统的处理单元来执行。所述程序可被执行以实施方法61的步骤63 至65。

在72，检索多幅影像的影像数据。影像数目由R表示。

在73，通过将影像标识符j设定为等于1来起始影像迭代。

在74，确定双线性方程的系数a’_i,j、b’_i,j和c’_i,j，使得第i条道 路车道标线在第j幅影像中延伸所沿着的线由以下来定义

a'_i,j·x'+b'_i,j·y'+c'_i,j＝0，(35)

其中，x’和y’表示影像平面坐标。

在75，验证是否已经针对所有影像确定双线性方程（35）系数。 如果j<R，那么在76处j递增，并且方法返回至74。

如果已经针对所有影像确定系数，那么方法在77处继续。在77 处，针对R幅影像中第i条道路车道标线获得的不同系数可被组合以 确定针对第i条道路车道标线的第一参数集。为了说明，可执行平均 化使得

${a^{\prime }}_i={\Sigma }_{j=1}^R{a^{\prime }}_{i,j}/R,---\left(36\right)$

${b^{\prime }}_i={\Sigma }_{j=1}^R{b^{\prime }}_{i,j}/R,$以及(37)

${c^{\prime }}_i={\Sigma }_{j=1}^R{c^{\prime }}_{i,j}/R.---\left(38\right)$

可使用加权平均或者其它组合技术。

如参考图7方法61的步骤67解释，如此确定的第一参数集可被 用于基于线性变换来确定车辆视觉系统外部参数。

针对道路车道标线中的至少一条，可执行跟踪多幅影像中道路车 道标线以及/或者对针对不同影像中的线确定的系数取平均值。可针 对多条道路车道标线中的每一条执行跟踪以及/或者平均化。当捕捉 多幅影像时，安装车辆视觉系统的车辆位置相对于道路偏移。

如针对本文中各种实施方案所述的确定车辆视觉系统外部参数 可被用于在驾驶操作期间重新校准车辆视觉系统。这允许确定和考虑 随时间推移出现的外部参数改变（例如在驾驶员辅助功能中）。使用 本文中所述任何一个实施方案的方法来确定的外部参数可被用于各 种目的，诸如控制经由光学输出器件的捕捉影像输出；确定当经由光 学输出器件输出捕捉影像时信息在捕捉影像上重叠处的位置；或者其 它驾驶员辅助功能。

图10为根据一个实施方案的方法81的流程图。方法81可通过 车辆视觉系统的处理单元来执行。

在82，执行车辆视觉系统初始校准。在82处的校准可使用定位 在车辆世界坐标系中的预定义位置处的专用标线。在82处的校准不 需要但是可能使用道路车道标线作为路标。在82处的校准中，可确 定内部参数和外部参数。内部参数实施例包括焦距。内部参数还可包 括多个焦距。内部参数还可包括主点坐标，定义主点与摄像机电光传 感器中心之间的偏移。

在83，在车辆视觉系统使用期间处理捕捉的影像。

在84，确定是否执行重新校准。可回应于用户命令执行重新校 准。当自上次校准起预定时间间隔已过去时，或可或另可自动执行重 新校准。当确定基于旧外部参数的影像处理不再满足预定质量标准 时，或可或另可自动执行重新校准。在这些情况的任何一个中，只有 当确定车辆正在可获得或者可得出关于道路车道宽度的信息的道路 段上行进时，可起始重新校准，例如，这是因为所述信息明确包括在 地图数据库中，或者因为它可以其它方式得出。

如果确定不需要重新校准，那么继续使用先前外部参数，并且方 法返回到83。

如果确定需要重新校准，那么方法进行至85。在85，使用道路 车道标线作为路标来确定外部参数。基于线性变换来确定外部参数， 针对用在重新校准中的多条道路车道标线中的所有，所述线性变换定 义定义道路车道标线在影像平面中延伸所沿着线的第一参数集与定 义道路车道标线在道路平面中延伸所沿着线的第二参数集之间的映 射。

已经参考附图描述根据实施方案的方法和车辆视觉系统。在其它 实施方案中可实施修改和变更。

为了说明，虽然已经描述道路平面中或者影像平面中的线由双线 性方程的3元组系数定义的实施方案，但是针对所述线可使用其它参 数化。为了说明，影像平面中以及/或者道路平面中的线可通过定义 朝向的角度以及定义其与坐标轴中的一个的相交点的偏移来参数化。

为了进一步说明，虽然已经描述只基于影像参数结合关于道路车 道宽度的信息的自主确定，但是另外传感器可用于提供外部参数的估 计。然后可使用实施方案的确定外部参数的方法来完善估计。

虽然道路车道标线已经示例性地示为连续线或者虚线，但是可使 用沿道路延伸的任何类型的道路车道标线。为了说明，在由摄像机捕 捉影像的道路位置终止的道路车道标线也定义线，以及因此可用于确 定外部参数的方法中。道路车道标线还可为定位为道路车道标线的墙 壁或者一系列柱子的基线末端。

本发明实施方案可用在驾驶员辅助系统中而不限于此。