车载多目摄像机环视系统的虚拟视点图像生成方法

摘要

本发明提供了一种车载多目摄像机环视系统的虚拟视点图像生成方法，能更准确的完成环视系统为驾驶员提供的虚拟视点图像。本发明解决了场景中存在立体障碍物时对环视图的影响，可以高速准确的检测到立体障碍物的接地轮廓线，确定障碍物与自车距离，及时发出接近报警。同时本发明区分路面区域和非路面的立体障碍物区域，分别进行视点变换，避免现有技术中虚拟视点图像上的所有点都要推算三维空间位置以及实际摄像机坐标，节省了计算时间并避免每个摄像机的外部标定精度对于合成图像精度的影响。

说明书

技术领域

本发明涉及车载多目摄像机环视系统，尤其是一种车载多目摄像机环视系统中虚拟视点图像方法。

背景技术

当今社会，汽车已成为一种必不可少的交通工具。人们在享受汽车带来的方便和快捷的同时，汽车交通事故，汽车尾气排放带来的环境污染以及交通阻塞带来的问题，已成为日益严峻的全球性社会问题。因此，利用各种先进的汽车安全技术、设备和理念减少交通事故和提高汽车安全有很大的市场潜能。

上一世纪90年代以后，随着电子技术、控制技术、传感器技术和新材料在汽车产品中的广泛应用，汽车安全技术得到了更加迅猛的发展。现如今，汽车安全技术的研究已由单一安全技术的研发，向各种安全技术相融合协同的集成化、系统化和智能化方向发展。智能化的汽车安全系统以现代探测技术、光电传感技术、计算机技术和自动控制技术为核心，具有特定的识别判断能力，能在各种复杂情况下自动协助驾驶员或自行控制汽车，确保行车安全。

车载环境感知系统利用各种传感器对车辆自身、周围环境及驾驶员状态等信息进行探测，通过与预先设定的标准进行比较，判别车辆是否处于危险状态及危险程度，必要时能够通过声、光等方式向驾驶员进行预警。

目前车载环境感知系统使用的传感器主要有：1)单目或多目摄像机系统，通过对实时采集来的环境图像进行处理得到相关距离，位置等信息；2)激光雷达或毫米波雷达，通过发出并接收红外激光或者电波，根据多普勒效应，计算周边障碍物的距离和位置等信息；3)声纳，通过定向发出并接收超声波，计算周边障碍物的距离和位置等信息。

比较起来，激光或毫米波雷达可测范围广，抗外界恶劣环境的能力强，但通常只有一层或数层扫描面，无法获得整个场景的三维立体信息，而且价格昂贵。声纳只适用于近距测量(比如倒车用)，而且只有照射方向上的一点信息。车载摄像机系统通过视觉得到信息，是目前应用最广泛也是最有前景的传感器之一。比如倒车摄像机是应用最普遍的一种车载视觉系统。它一般安装在车辆后部，方向朝侧下方。在驾驶员倒车时，系统自动接通车载显示屏，为驾驶员提供后方广域景象。

为了让驾驶员更准确的了解车辆周边的障碍物等危险信息，系统通过视角的变换处理将原有的具有一定俯角的图像变换为垂直朝下的虚拟摄像机图像。

倒车摄像机多用于比较复杂的倒车环境，但一台摄像机的视野有限，在车辆前方侧方障碍物较多的情况下，通常采用多台摄像机构成车辆环视系统，为驾驶员提供车辆360度完整的环境感知信息。

车辆环视系统主要是通过安装在车辆前后左右的多台摄像机拍摄的图像，经过前述的视角变换处理得到多张虚拟以车辆为中心垂直向下的俯视图，并通过合成算法拼接为一张完整俯视图。

本专利所述车载多目摄像机环视系统是指车载环境感知的多目立体摄像机系统。

(1)与本发明相关的现有技术一：视点变换

现有技术一(国际公开专利W000-07373，日本专利JP3625059，JPT2002-067158，日本专利申请JPA特開P2002-166802A，P2008-48317A等)。

车辆环视系统的基础技术在于摄像机的视角变换技术。如图1所示，车载摄像机位置处在以地面为中心的三维坐标系X-Y-γ的(0，0，H)点，光轴方向同Y轴夹角为τ(摄像机的俯角)，摄像机三维坐标系为X”-Y”-γ”。摄像机内的二维投影坐标系为α-β，焦距为f。

根据投影变换的法则，所有位于地面(Z轴坐标为0)的点(x，y)投影到摄像机平面的位置(α，β)可以通过以下公式推定。

$>\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{c}H\times \alpha /(-\beta \cos \tau +f\sin \tau )\\ H\times (\beta \sin \tau +f\cos \tau )/(-\beta \cos \tau +f\sin \tau )\end{array}\right)...\left(1\right)$>

一般的视点变换通常把处于摄像机的中心位置的地面参照点作为中心，高度为H’焦距为f’的光轴垂直向下的虚拟摄像机(参照图2)。由于光轴垂直向下，可以通过平行投影的法则，推导出地面点(x，y)投影到摄像机平面的位置(α’，β’)。

$>\left(\begin{array}{c}x\\ y\end{array}\right)=\frac{H^{\prime }}{f^{\prime }}\left(\begin{array}{c}{\alpha }^{\prime }\\ {\beta }^{\prime }\end{array}\right)...\left(2\right)$>

所以综合(1)(2)之后，我们就可以得到视点变换的公式为：

$>\left(\begin{array}{c}{\alpha }^{\prime }\\ {\beta }^{\prime }\end{array}\right)=\frac{f^{\prime }}{H^{\prime }}\left(\begin{array}{c}H\times \alpha /(-\beta \cos \tau +f\sin \tau )\\ H\times (\beta \sin \tau +f\cos \tau )/(-\beta \cos \tau +f\sin \tau )\end{array}\right)...\left(3\right)$>

视点变换后的示意图如图2所示。

专利文献1：日本专利JP3625059；专利文献2：日本专利JPT2002-067158。

(2)与本发明相关的现有技术二：环视图像合成

同上所述，安装在车辆前后左右的摄像机经过视点变换之后，分别形成多张虚拟垂直拍摄的俯视图像。在初始标定处理过程中，各台摄像机相对于车辆坐标系的位置可以求出。根据摄像机的相对位置数据，可以将这些俯视图像进行合成处理，拼接成一幅车辆环视的全景图。在各台虚拟摄像机的高度及焦距相同的情况下，这些俯视图像的尺寸比例相同，可以直接进行拼接处理。在拼接后的环绕俯视图上加入自车的俯视示意图，即可得到最后的结果图。专利文献3：日本专利JPA2002-067158；专利文献4：日本专利JPA2008-34966。

(3)与本发明相关的现有技术三：虚拟视点合成图像的解决办法

现有技术二中虽然可以生成多视点的车辆环绕俯视图，但比如在慢速倒车状态或者正常行驶状态时，除了要确认自车在场景中的实际位置以外，还需要确认周边车辆和其他障碍物。如果只通过垂直拍摄的虚拟视点的环视图，无法达到所需效果。

现有技术三(日本专利JP P3300334)提出通过采用不同视点，高度，焦距的虚拟视点以及包括平面模型，圆筒模型或模拟圆筒模型等场景模型，根据车辆状态，车速，方向转角来生成不同虚拟环视图像。这样可以达到同时满足确认自车状态以及周边环境的需求。同时现有技术三中还提出了对应不同虚拟视点图像所对应的查表方法。专利文献5：日本专利JP P3300334。

(4)现有技术的缺点

通过现有技术一以及现有技术二可以对多视点的视点变换图像进行拼接，得到环绕俯视图，但由于只能生成垂直向下的虚拟视点图，当除了要确认自车在场景中的实际位置以外，还需要确认周边车辆和其他障碍物时，无法满足所需效果。同时车辆周边存在其他车辆和立体障碍物经过虚拟视点变换会产生变形(沿摄像机的射线方向倾倒)，对于驾驶员正确判断周边环境会产生错误的影响。

现有技术三虽然可以通过圆筒模型或模拟圆筒模型等场景模型来模拟除了平整路面以外的立体场景，但这种模型完全通过统一的公式计算场景的景深距离，无法正确判断实际场景中每一个点的三维空间位置，所以现有技术三所生成的任意虚拟视点图像无法描述实际场景的位置关系，只能作为一种简单的虚拟全景图提供驾驶员做参考。同时现有技术三中采用的通过虚拟图的像素点反推世界坐标系的三维空间坐标，然后再导出每个实际摄像机坐标系坐标及图像坐标的技术，使得虚拟视点图像的合成精度完全取决于每个摄像机的标定精度。而多目摄像机环视系统通常使用水平视野超过180度的广角镜头，光学畸变量非常大，摄像机的外部参数标定一般无法达到非常高的精度。所以使用现有技术三对于使用超广角镜头环视系统无法实现高精度的虚拟视点图像合成。

发明内容

本发明是为了解决车载环视系统中存在的虚拟视点图像合成精度问题，提供一种车载多目摄像机环视系统的虚拟视点图像生成方法。本发明针对场景中存在的立体障碍物以及使用超广角镜头环视系统而提出的一种车载多目摄像机环视系统的虚拟视点图像合成精度方法，能更准确的完成环视系统为驾驶员提供的虚拟视点图像。

按照本发明提供的技术方案，所述车载多目摄像机环视系统的虚拟视点图像生成方法，包括以下步骤：

(1)离线标定：对环视系统的每一个摄像机进行离线的色彩标定，得到色彩不变量空间转化查找表；同时对环视系统的每一个摄像机进行离线的位置标定，确定地面区域模版和俯视环视图查找表；所述色彩不变量空间转化查找表的内容包括每一台摄像机采集到图像的色彩空间对应的颜色不变量的数值；

所述地面区域模版是指摄像机在初期标定处理中确定的在理想条件下的地面区域部分；

所述俯视环视图查找表记录着拼接后的俯视环视图的每一个像素对应的摄像机编号，每台摄像机的原始图上的位置坐标，以及对应的加权参数；

(2)色彩变换及路面采样：通过所述各个摄像机的色彩不变量空间转化查找表和地面区域模版，对地面区域内的像素进行色彩不变量变换；并对每个摄像机指定地面采样区域的色彩不变量进行统计分类并更新包括路面、标识线在内的地面区域的色彩不变量；

(3)立体障碍物区域抽出：在所述地面区域内通过色彩不变量的差异，进行非路面区域划分，并标记每个非路面区域的下部轮廓线像素，将所述下部轮廓线像素作为立体障碍物的与地面的交界点，通过俯视环视图查找表得到该点的地面坐标以及与自车的最近距离；非路面区域的所有像素的地面投影坐标通过对应下部轮廓点的地面坐标获得，距地高度通过地面坐标及图像坐标推算得到；

(4)俯视虚拟视点环视图生成：通过查所述俯视环视图查找表和地面区域模版对所有路面区域进行视点变换及图像拼接，得到俯视虚拟视点环视图；根据所述立体障碍物区域抽出结果，将区域内各个点通过虚拟视点投影到路面区域俯视虚拟视点环视图上；同时立体障碍物的下部轮廓线也在俯视虚拟视点环视图上着重标识；

(5)其他任意虚拟视点环视图生成：确定虚拟视点位置，视线方向以及三维角度和焦距之后，首先对路面区域俯视虚拟视点环视图进行整体透视变形，其次对立体障碍物区域点进行三维透视投影，取得该虚拟视点环视图。

环视系统的摄像机采集的每一组新图像到来之后都要进行步骤2-5。

所述对立体障碍物的下部轮廓线进行着重标识的方法为使用警示颜色，或颜色反转。

步骤4所述车辆环视路面图中对立体障碍物的下部轮廓线进行着重标识，并在立体障碍物距离本车过近时发出接近报警。

步骤5所述虚拟视点环视图中对立体障碍物的下部轮廓线进行着重标识，并在立体障碍物距离本车过近时发出接近报警。

所述立体障碍物距离本车过近是指立体障碍物距离本车设定距离以内，根据自车行进速度所述设定距离为0.4m～0.8m。

通过所述色彩不变量对地面区域的特征进行更新并用来判定每一组新图像中的像素点是否属于地面区域。

本发明的优点是：本发明解决了场景中存在立体障碍物时对环视图的影响，可以高速准确的检测到立体障碍物的接地轮廓线，确定障碍物与自车距离，及时发出接近报警。同时本发明区分路面区域和非路面的立体障碍物区域，分别进行视点变换，避免现有技术中虚拟视点图像上的所有点都要推算三维空间位置以及实际摄像机坐标，节省了计算时间并避免每个摄像机的外部标定精度对于合成图像精度的影响。

附图说明

图1是摄像机色彩不变量的离线标定说明图。

图2是地面区域模版标定示意图。

图3是摄像机色彩不变量的离线标定说明图。

图4是地面区域模版标定示意图。

图5是路面采样示意图。

图6(a)(b)(c)(d)是路面及非路面区域的抽出示意图。

图7(a)(b)是俯视虚拟视点环视图生成示意图。

图8(a)(b)是任意虚拟视点的环视图生成示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。车载环视处理系统是由多台广角摄像机构成，每台摄像机覆盖一定区间，图像经过视点变换生成俯视图，并进行拼接得到车辆环视图。但由于只能生成垂直向下的虚拟视点图，当除了要确认自车在场景中的实际位置以外，还需要确认周边车辆和其他障碍物时，无法满足所需效果。同时车辆周边存在其他车辆和立体障碍物经过虚拟视点变换会产生变形(沿摄像机的射线方向倾倒)，对于驾驶员正确判断周边环境会产生错误的影响。现有技术三提出了任意虚拟视点的环视图像生成手段，但由于使用统一的平面模型或者圆筒模型来表示周边环境，没有区别立体障碍物区域和路面区域，所以同样无法描述场景信息，无法为驾驶员提供安全正确的虚拟视点图像。

本发明提出车载环视处理用虚拟视点图像生成的方法。如图3所示，该系统由离线处理部分和在线处理部分构成。离线处理部分包含色彩标定和位置标定两个部分。在线处理部分包括前处理的色彩转换部分，立体障碍物区域抽出部分，垂直俯视虚拟视点图像生成和任意虚拟视点图像生成部分这四个部分。每一组新图像到来之后经过在线处理之后得到虚拟视点图像。一组图像是指多目摄像机同时采集到的多幅图像，如同一时间，每个摄像机得到的一帧图像。

所述车载多目摄像机环视系统的虚拟视点图像合成方法如下。

(1)离线标定：对环视系统的每一个摄像机进行离线的色彩标定，得到色彩不变量空间转化查找表(Color Look-up table：CLUT)；同时对环视系统的每一个摄像机进行离线的位置标定，确定地面区域模版(Ground Mask：GM)，俯视环视图查找表(Perpendicular Look-up table：PLUT)。

(2)色彩变换及路面采样：通过所述各个摄像机的色彩不变量空间转化查找表和地面区域查找表，对地面区域内的像素进行色彩不变量变换；并对每个摄像机指定地面采样区域的色彩不变量进行统计分类并更新包括路面、标识线在内的地面区域的色彩不变量。

(3)立体障碍物区域抽出：在上述地面区域内通过色彩不变量的差异，进行非路面区域划分，并标记每个非路面区域的下部轮廓线像素。这些像素将作为立体障碍物的与地面的交界点，通过GM得到地面坐标以及与自车的最近距离。非路面区域的所有像素的地面投影坐标可以通过对应下部轮廓线的地面坐标获得，而距地高度可以通过地面坐标及图像坐标推算得到。

(4)俯视虚拟视点环视图生成：通过PLUT查表和GM对所有路面区域进行视点变换及图像拼接，得到车辆环视路面图；上述立体障碍物的下部轮廓线进行着重标识(使用警示颜色，颜色反转等)，并在距离本车过近时发出接近报警，提高驾驶员对立体障碍物的注意力。

(5)其他任意虚拟视点环视图生成：确定虚拟视点位置，视线方向以及三维角度和焦距之后，首先对路面区域俯视虚拟视点环视图进行整体透视变形，其次对立体障碍物区域点进行三维透视投影，取得任意虚拟视点图像。这样可以避免每个摄像机的外部标定精度对于合成图像精度的影响。另外，上述立体障碍物的下部轮廓线进行着重标识(使用警示颜色，颜色反转等)，并在接近本车一定距离以内时发出接近报警，提高驾驶员对立体障碍物的注意力。

每一组摄像机采集的新图像到来之后都要进行步骤2-5，所述一组图像是指多目摄像机同时采集到的多幅图像。

具体实施例如下。

一、离线色彩标定部分

本发明为区分障碍物区域和路面区域，事先对摄像机的色彩特性进行标定并生成色彩空间转化查找表(Color Look-up table：CLUT)，为在线处理提供高速处理手段。

正常道路以及停车场中存在很多干扰分割路面区域和非路面区域的因素，包括阴影，不同颜色质地的路面，道路标识线等。为此本发明引入了非专利文献一中阐述的色彩不变量的概念。包括太阳光在内的大部分自然光和人工光线都满足Lambertian光线模型，这种光线照到路面和物体表面后反射进入车载摄像机，经过CCD或CMOS传感器后转变为电信号，由摄像机作为图像数据输出。每个像素RGB通过下面的颜色不变量转换公式转化为χ₁，χ₂的二维色彩空间。

$>\log \left({\chi }_1\right)=\log \frac{R}{G},$>$>\log \left({\chi }_2\right)=\log \frac{B}{G}$>

非专利文献一记述了通过离线色彩标定来确定每一台摄像机的光线方向的抽出方法，以及通过旋转特征空间χ₁，χ₂进行色彩不变量的计算方法。

利用以上参数对每一台摄像机制作色彩空间转化查找表(Color Look-uptable：CLUT)，以24比特RGB为例在下表所示。

表1.色彩空间转化查找表CLUT

非专利文献一(Finlayson GD，Hordley SD，Lu C，Drew MS，On the removal ofshadows from images，IEEE Transaction on Pattern Analysis and MachineIntelligence.28(1)：59-68，2006)

二、离线位置标定部分

各台摄像机在初期标定处理中需要确定在理想条件下的地面区域部分，用来制作地面区域模版GM，以及俯视环视图查找表(Perpendicular Look-up table：PLUT)。通过画有平行线的标定板在校正过镜头畸变后的图像中表现的一组相交线进行交差点连线，得到地平消失线后，推算出地面区域。

如图4所示，在摄像机前方路面上放置画有平行线的标定板。标定板变换若干次位置及方向，并分别采集图像。标定板中的平行线在校正过镜头畸变后的图像中表现为向消失线集中的一组相交线。通过将这几组相交线交差点连线后就可以推算出地面区域。把这个区域还原到原始图像(未经过畸变校正的图像)，就可以得到每个摄像机的地面区域模版GM(图4中的灰色部分)，通过地面区域模版减少计算量。

各台摄像机在初期标定处理中已经确定了相对车辆坐标系的位置关系，并生成图像视点变化用查找表(Perpendicular Look-up table：PLUT)如下表所示，记录着拼接后的俯视环视图的每一个像素对应的摄像机编号，每台摄像机的原始图上的位置，以及对应的加权参数。

表2.俯视环视拼接用查找表PLUT

三、在线前处理：色彩不变量转换及路面采样部分

每一组新图像采集进来之后，各台摄像机根据色彩不变量空间转换查找表CLUT对图像进行色彩不变量变换处理。根据车辆正常行驶在路面上这个假定，从色彩不变量处理后的结果图中分别进行路面采样。如图5所示，在地面区域模版的靠近底部选择N个小区域作为采样区域，区域大小为M×M像素。采样区域内的色彩不变量的值通过简单的统计分类方法(比如混合高斯法)确认其属于包括柏油路面，水泥路面，白色标识或黄色标识等路面的特征后，与前一帧保存的特征量进行加权叠加，作为这一帧的特征量。所有摄像机重复同样处理。

四、立体障碍物抽出部分

经过上述实时路面采样处理之后，我们可以得到在当前时刻路面区域(包括路面和标识等)的以色彩不变量来表示的特征量Λi(i＝0，...，n)，这里的n代表系统通过混合高斯法等在线学习方法所得到的路面区域种类(比如柏油路面，水泥路面，白色标识或黄色标识等)。

在地面区域模版GM内的所有像素通过对色彩不变量的比较，来寻找与路面采样点的特征相似的像素。判定基准的例子如下：

$>P\left(p\right)=\left|\frac{\mathrm{\Lambda i}-p}{\mathrm{\Lambda i}}\right|<\mathrm{\lambda i}(i=0,...,n)$>

λi是根据路面条件事先确定好的阈值。所有路面区域像素划分好之后，进行包括膨胀收缩这样的形状处理，去掉面积小的区域。然后再次与地面区域模版GM相比较，得到非路面区域。图6a是原始图像，图6b是我们能够得到路面区域，图6c为非路面区域。

标记每个区域的下部轮廓线像素。这些像素将作为立体障碍物的与地面的交界点，通过PLUT得到地面坐标，从而可以计算出与自车最近距离。图6d标记出这些区域的下部轮廓线。非路面区域的所有像素的地面投影坐标可以通过对应下部轮廓线的地面坐标获得，而距地高度可以通过地面坐标及图像坐标推算得到。

五、俯视虚拟视点环视图生成部分

得到上述路面区域以后，根据俯视环视拼接用查找表PLUT生成环视图。图7a为环视系统中的一个摄像机进行视点变换的例子。上述立体障碍物的下部轮廓线进行着重标识(使用警示颜色，颜色反转等)，并在距离本车过近时发出接近报警，提高驾驶员对立体障碍物的注意力。图7b为标识出警示线并把原图中非路面区域图像加入俯视的环视图的例子。

六、其他任意虚拟视点环视图生成部分

确定虚拟视点位置，视线方向以及三维角度和焦距之后，首先对路面区域的俯视虚拟视点环视图(图8a)进行整体透视变形，其次对立体障碍物区域点进行三维透视投影，取得任意虚拟视点图像。这样处理可以避免每个摄像机的外部标定精度对于合成图像精度的影响。另外，上述立体障碍物的下部轮廓线进行着重标识(使用警示颜色，颜色反转等)，并在接近本车一定距离以内时发出接近报警，提高驾驶员对立体障碍物的注意力。图86a为从车辆左前方的高处斜向下观测使得视点示意图。自车用线框作为例子表示，实际系统根据界面用半透明的车辆图片等作为显示。图8b中加入了立体障碍物区域的三维透视投影图及立体障碍物的下部轮廓警示线。

综上，本发明在车载环视系统中采用分割路面和非路面区域的方法，准确地抽出立体障碍物的接地轮廓线，达到为驾驶员提供正确描述场景信息的任意虚拟视点图像生成的目的。本发明通过色彩不变量空间变换路面采样来达到实时描述路面特征，用来对应路面阴影，不同颜色质地的路面，道路标识线等正常道路以及停车场中存在的这些干扰分割路面区域和非路面区域的因素。同时本发明在正确分割立体障碍物区域，通过对下部轮廓线的抽出以及作为立体障碍物的与地面的交界点，通过PLUT得到地面坐标，从而能够识别障碍物同自车的距离，用警示色或声音震动等方式提醒驾驶员注意接近障碍物。最后，本发明区分路面区域和非路面的立体障碍物区域，分别进行视点变换，避免现有技术中虚拟视点图像上的所有点都要推算三维空间位置以及实际摄像机坐标，节省了计算时间并避免每个摄像机的外部标定精度对于合成图像精度的影响。