具备影像自动校正功能的鸟瞰影像生成装置及方法

摘要

本发明公开了一种具备影像自动校正功能的鸟瞰影像形成装置，具体地，在生成鸟瞰影像时，该装置无需驾驶员进行其它校正，便可自动校正由于乘客乘坐车辆引起的摄像头的位置变化。

说明书

技术领域

本发明涉及一种鸟瞰影像生成装置及方法，更具体地说，涉及能 够自动校正由于乘坐的乘客人数与位置正而发生的摄像头位差的具 备影像自动校正功能的鸟瞰影像生成装置及方法。

背景技术

鸟瞰（bird view）影像来源于尼桑的国际公开专利 WO2009151053（PCT申请）中公开的泊车辅助装置及泊车辅助方法， 用于在白天或晚上能够安全的泊车。鸟瞰影像可生成类似于从车辆上 方观察车辆的俯视影像，并将此俯视影像通过导航或其他装置显示， 从而可让尚未娴熟掌握驾驶技能的驾驶员也能安全地泊车。

国际公开专利WO2009151053中，公开了泊车辅助系统及方法， 可将在车辆的前、后、左、右拍摄的广角影像整合成一个与全景影像 类似的影像，并通过影像处理将整合的影像变换成从车辆上方观察车 辆的俯视影像。但是，乘客乘坐时，配置于车辆的前、后、左、右方 向的摄像头的拍摄位置会产生改变，而由于摄像头拍摄位置的变化会 降低整体俯视影像的完成度。

例如，仅有驾驶员乘坐时，车辆的前方左侧朝路面下降，因此与 驾驶座相邻的侧面摄像头的拍摄位置也朝路面下降。由此，将在车辆 的前、后、左、右方向拍摄的影像合成一个时，由驾驶座方向拍摄的 影像会打破整体俯视影像的平衡，其可导致俯视影像质量的降低。

发明内容

本发明要解决的技术问题

本发明的目的在于，提供一种具备影像自动校正功能的鸟瞰影像 生成装置及其使用方法，其是能够在驾驶员车辆启动时，自动补正由 于乘客的乘坐状态而发生的摄像头的位置移动。

技术方案

为实现上述目的，本发明的鸟瞰影像生成装置，包括：第一摄像 头和第二摄像头，其用于对车辆的周边进行摄像并形成第一影像和第 二影像；乘坐倾斜校正部，其用于在车辆启动时，通过所述第一摄像 头获得影像，并将该影像与乘客乘坐前拍摄的对于所述第一摄像头的 基准影像比较后，校正由所述乘客的乘坐引起的第一摄像头的倾斜； 以及鸟瞰影像生成部，其用于将所述乘坐倾斜被校正的第一影像与所 述第二影像整合，并以在所述车辆的上侧观察所述车辆周边的视角， 生成鸟瞰影像。

另外，为实现上述目的，本发明的鸟瞰影像生成装置，由车辆周 边进行摄像的第一摄像头以及第二摄像头分别获得第一影像和第二 影像，并以此为基础生成鸟瞰影像。这一过程包括以下步骤的方法实 现：所述车辆启动时，所述第一摄像头获得对比影像的步骤；将所述 车辆没有乘客乘坐时，所述第一摄像头拍摄的基准影像与所述对比影 像进行比较的步骤；校正所述基准影像和对比影像的偏差，并校正所 述第一摄像头拍摄的第一影像的步骤；以及将所述经过校正的第一影 像与第二影像整合，并生成鸟瞰影像的步骤。

有益效果

根据本发明，在生成鸟瞰影像时，无需驾驶员进行其它的校正， 鸟瞰影像生成装置可自动校正由于乘坐乘客导致的摄像头的位置变 化。

附图说明

图1是为说明车辆发生倾斜的参考图。

图2是对于根据本发明的具备影像自动校正功能的鸟瞰影像生 成装置校正乘坐倾斜的方法的概念图。

图3是为说明由车辆偏向引起的，乘坐倾斜引发影像失真的参考 图。

图4是根据鸟瞰校正装置的一个实施例的方块概念图。

图5是乘坐倾斜校正部校正影像倾斜的方法的参考图。

图6是根据本发明的一实施例的对于鸟瞰影像进行自动校正的 方法的流程图。

图7是根据本发明的一实施例的校正乘坐倾斜的方法的概念图。

具体实施方式

本说明书中言及的鸟瞰影像是指将车辆周边配置的摄像头拍摄 的影像整合成一个，并对整合的影像作图像处理，形成类似于在车辆 上侧俯视车辆的影像。

本说明书中言及的摄像头是广角摄像头，其中广角摄像头是指视 角在80度以上。为生成鸟瞰影像，本说明书中言及的摄像头为广角 摄像头，视角为120度至190度，其视角也可与所述角度相比更大或 更小。

本发明中言及的乘坐倾斜是指由乘坐车辆的乘客人数和车辆内 坐席位置的不同，在车辆的前面或者侧面观察时的倾斜。

例如，乘客仅坐在车辆的前面坐席时，车辆向前方偏向，引起前 方倾斜、后方升高的状态，可将其称为前方倾斜。

如乘客坐在驾驶座及驾驶座的后座时，车辆向驾驶座方向偏向。 当驾驶座位于以乘客为基准的左侧时，可将其称为左侧倾斜。

本说明书中言及的水平校正是指对各个广角摄像头拍摄的影像 基准线的水平进行的校正。基准线可以是对于各个广角摄像头拍摄的 影像的方向性的线。此时，水平校正可以对前方或者后方摄像头拍摄 的影像进行。

以下，将通过附图详细说明本发明。

图1是为说明车辆发生的倾斜的参考图。

参考图1，在前面观察车辆时，如果没有乘客乘坐时，以重心线 为基准，可使左右维持水平均衡。此时，R1和R2可形成对于重心线 垂直的水平线。在车辆的前方、后方、侧方，例如可在车辆的一对外 后视镜上分别配置一个广角摄像头，以生成鸟瞰影像。通常，车辆上 可配置4个广角摄像头，假设所述广角摄像头可在车辆的前后及左右 能维持水平的条件下，在工厂完成初始设定后出库。

并且，在实际车辆中配置的所有座位（前方2席，后方2席）上 均有乘客乘坐时（4名乘客中有1名是驾驶员），由于车辆整体倾向 于路面，因此广角摄像头拍摄的鸟瞰影像的覆盖范围，随着广角摄像 头位置的降低而变窄，但其鸟瞰影像不会产生失真。相反，仅在驾驶 座和驾驶座的后座上有乘客乘坐时，车辆以重心线为基准向驾驶座方 向倾斜，用于形成鸟瞰影像而设置的4个广角摄像头中的2个向驾驶 座方向倾斜，即4个广角摄像头拍摄的影像中有2个存在问题。因此， 依据出现问题的2个广角摄像头拍摄的影像生成整体鸟瞰影像时，整 体鸟瞰影像有可能会产生失真。

根据乘坐车辆的乘客的不同分布，车辆可向驾驶座方向、副驾驶 座方向、车辆的前方、车辆的后方发生倾斜。以下，将由乘坐车辆的 乘客人数及分布而发生的此类倾斜称为乘坐倾斜。本发明可以使车辆 随着启动，自动校正乘坐倾斜，而不用由驾驶员手动校正。之后，将 参考附图2至附图6进行详述。

图2是说明本发明的具备影像自动校正功能的鸟瞰影像生成装 置(以下将记载为鸟瞰校正装置)校正乘坐倾斜的方法的概念图。

参考图2，根据乘坐车辆50的乘客位置，车辆可在D1、D2、D3 以及D4方向中的任意方向，朝路面下降。图2的a表示在没有乘客 乘坐在车辆50时，安装于车辆50的外后视镜的广角摄像头51拍摄 的指向方向A，图2c表示在车辆50的副驾驶座和副驾驶座的后座有 乘客乘坐，使车辆向副驾驶座方向发生乘坐倾斜时，广角摄像头51 拍摄的指向方向B。乘客乘坐于副驾驶座及副驾驶座的后座时，车辆 可以以驾驶座为基准向右侧偏向，此时，广角摄像头51的拍摄指向 方向B相比于图2a的方向，更偏向于路面。此时，驾驶座方向的广 角摄像头向路面反方向上升、其与副驾驶座方向朝路面降低的程度相 一致。从而，以配置于车辆50的广角摄像头拍摄的影像生成鸟瞰影 像，其鸟瞰影像有可能会产生失真。

图3是为说明由车辆偏向引起的，乘坐倾斜引发影像失真的参考 图。

参考图3，图3a是对车辆的发动机盖进行拍摄的图片，其表示 由广角摄像头拍摄的影像呈水平的实施例。

图3a中对车辆的前方进行拍摄的摄像头可位于发动机盖或者驾 驶座内部，此时，拍摄的广角影像可对发动机盖的末端进行拍摄。所 拍摄的影像以中心部为基准，左右形拍摄面弯曲，形成的影像整体上 形成类似用鱼眼镜头进行拍摄的影像。

图3a中由广角摄像头拍摄的影像是广角影像，因此其中心部向 内侧凹陷，影像的左右方向构成向上面突出的像面弯曲，而连接基准 点P1和基准点P2的线段沿着影像图的横向维持水平。

图3b表示乘坐倾斜向着驾驶座方向发生，因此驾驶座朝路面下 降时的影像。参考图3b，基准点P3相比于基准点P4指向更低，其 说明在车辆前方拍摄的广角摄像头向着基准点P3方向发生了倾斜。

图3c表示乘坐倾斜向着副驾驶座方向发生，因此副驾驶座朝路 面下降时的影像。参考图3c，可以看到基准点P5相比于基准点P6 指向更高，基准点P6向着路面方向下降。其说明副驾驶座乘坐着体 重较重的乘客或者在副驾驶座及副驾驶座的后座上乘坐着乘客，导致 车辆整体重心向副驾驶座倾斜。将图3b及图3c中图示的前方影像与 车辆左右侧面影像和车辆的后方影像整合时，整体影像将产生失真， 所以处理整合后的影像，制作成俯视形态的鸟瞰影像也将产生失真。

图4是表示根据鸟瞰校正装置的实施例的方块概念图。

参考图4，鸟瞰校正装置包括：广角摄像头51-54，其用于在车 辆的前、后、左、右进行拍摄；鸟瞰影像生成部105；乘坐倾斜校正 部110；导航部120；触摸屏130。

广角摄像头51-54是视角可达120度至190度的广角摄像头，各 个广角摄像头51-54在车辆的前方、后方以及两侧分别配置一个。配 置于车辆前方的广角摄像头51可配置于车辆的发动机盖，或者使其 能够对车辆外部进行观察的方式配置于车辆的内部，且可以对车辆发 动机盖的外界线（out line）进行拍摄。其中发动机盖的外界线是指在 发动机盖最外部边缘中，对于正面方向的外界线。

将车辆的侧面广角摄像头（车辆的左侧及右侧的广角摄像头）52、 53和车辆后方的广角摄像头54拍摄的广角影像与车辆前方广角摄像 头51拍摄的影像整合，各个广角摄像头51-54拍摄的影像可形成相 互重叠区域。在各个广角摄像头51-54以车辆为中心，生成360度方 向的鸟瞰影像时，所述重叠区域可被拥有将各个广角摄像头51-54拍 摄的影像整合成一个。

并且，重叠区域还可在对相邻广角摄像头的影像进行边缘区域的 校正时使用。例如，整合前方广角摄像头51和左侧面广角摄像头52 拍摄的影像时，鸟瞰影像生成部105能将重叠影像的形状和色彩相整 合，从而使鸟瞰影像成为完整的影像。

各个广角摄像头51-54拍摄的影像可供给至鸟瞰影像生成部 105，而鸟瞰影像生成部105将各个广角摄像头51-54的影像根据框 架进行整合，从而生成以假想的车辆影像为中心覆盖360度的鸟瞰影 像。鸟瞰影像整合各个广角摄像头51-54拍摄的影像后，将影像的各 个区域以格子形态的坐标系进行分割，并将分割的各个坐标系的起点 设定为车辆的上侧，同时使整合的影像产生与此相对应的变化，从而 获得所述鸟瞰影像。

乘坐倾斜校正部110可在车辆启动时重新设定，向鸟瞰影像生成 部105申请对比影像并获得对比影像。

车辆最初出库时，或者根据车辆驾驶员，所述乘坐倾斜校正部 110可获得初始状态的基准影像。优选地，基准影像可在车辆没有负 重的状态下获得，可以是通过广角摄像头获得的对于车辆前方、左侧、 右侧以及后方某一方向的静止影像。

乘坐倾斜校正部110具备车辆出库时获得的基准影像或者根据 驾驶员设定的基准影像，在车辆启动时，向鸟瞰影像生成部105申请 对比影像，通过鸟瞰影像生成部105获得对比影像后，与基准影像进 行比较，从而校正乘坐倾斜。

本说明书中的对比影像是以车辆的前方配置的广角摄像头51的 影像作为基准进行说明，但也可以是以车辆的侧面及后方的影像作为 基准。

根据乘坐于车辆的乘客人数和位置，使各个广角摄像头51-54拍 摄的影像产生失真。特别是整合4个广角摄像头51-54拍摄的影像生 成鸟瞰影像时，如车辆向前方、左右侧、以及后方中的任意一个方向 发生倾斜，广角摄像头51-54拍摄的影像中的一个与其他广角摄像头 51-54拍摄的影像整合生成鸟瞰影像时，就有可能会产生失真。

如果乘客乘坐于车辆的驾驶座和副驾驶座，使车辆向前方发生倾 斜时，配置于车辆前方的广角摄像头51会朝道路的路面下降，因此， 与其它广角摄像头52-54拍摄的影像相比，以与倾向于路面相同的程 度，对车辆更下方的影像进行拍摄。在这种状态下生成鸟瞰影像时， 在车辆前方拍摄的影像，以发动机盖的外界线为基准，相比于其它广 角摄像头52-54可拍摄到更狭小的区域。利用所述影像生成鸟瞰影像 时，需要将其它广角摄像头52-54拍摄的影像，根据拍摄更小区域影 像的前方广角摄像头51的影像进行校正。本申请对前方广角摄像头 51的影像进行校正，以使与基准影像相适应，以此来替代以往的校 正方式。为实现所述校正，在每次车辆启动时都要获得对比影像，并 与基准影像进行比较，以判断发生了多少偏差，并将判断出的偏差信 息供给至鸟瞰影像生成部105，再由鸟瞰影像生成部105对广角摄像 头51的倾斜进行校正。因此，车辆驾驶员无需进行其它的校正，就 可根据乘坐于车辆的乘客人数和位置自动校正各广角摄像头51-54的 倾斜，从而使鸟瞰影像正确的显示于触摸屏130上。

导航部120包括：GPS处理部121，其用于获得GPS位置信息； 地图生成部122，其用于在电子地图上绘制所在位置，生成至车辆目 的地的路径，并供给至触摸屏130；以及输出部122，其用于车辆向 目的地移动时输出必要的声音信息。

图5是乘坐倾斜校正部用于校正影像倾斜的方法的参考图。

图5是申请人为校正摄像头而制作的程序界面的实施例，图示的 界面表示由开发者进行校正的样品程序。图5中图示的程序是内置于 鸟瞰校正装置中，可在车辆启动的同时校正配置车辆前方、侧方以及 后方的广角摄像头的乘坐倾斜。此时，仅用于开发者的用户界面可能 不会内置于鸟瞰校正装置。

观察图5，车辆的各个广角摄像头51-54具有对于前方、右侧、 后方、以及左侧的位置校正值。

图示的界面中，对于各广角摄像头51-54具有倾向于路面的角度 （inclaination）、配备高度（height）、镜头摄影角度（Lenz Fov）、左 右偏向角度（Azimuth）、以及水平角度（horizontal）等的选项。其中， 左右偏向角度增加“+5”度时，可认为前方广角摄像头51向右侧方 向偏向5度。在图中，左右广角摄像头52、53和后方广角摄像头54 拍摄的影像，沿着B、C及D的基准线整齐排列形成鸟瞰影像，但左 右偏向角度设置为5度的前方广角摄像头51的基准线沿着A形成， 因此，该基准线无法与前方、侧方以及后方的广角摄像头52-54的基 准线（B、C及D）构成长方形。基准线（A、B、C、D）用于显示 各广角摄像头51-54拍摄的影像的方向性，以影像的中心部（此位置 为车辆的位置）为基准构成长方形时，可形成最为完整的鸟瞰影像。

换句话说，根据乘坐于车辆的乘客人数和位置，在车辆向某一侧 发生倾斜时，鸟瞰校正装置可校正车辆的倾斜，以形成完整的长方形 形态的基准线。由广角摄像头51-54的倾斜，导致基准线发生偏差时， 本发明可将广角摄像头51-54发生的倾斜值朝相反方向进行校正，从 而针对应广角摄像头51-54的倾斜，能够生成正确的鸟瞰影像。

图6是根据本发明一实施例的对于鸟瞰影像进行自动校正的方 法的流程图。

参考图6，首先，车辆从工厂出库时，工厂的工作人员对鸟瞰校 正装置设置基准影像，或者由车辆驾驶员自行设定对于车辆的基准框 架S201。本实施例中，将对以车辆前方摄像头51作为基准的情况进 行说明。以下，将利用位于车辆前方的发动机盖的影像作为基准进行 说明。

之后，鸟瞰校正装置判断车辆能否启动S202，如车辆启动，即 从车辆供给直流电源时，该装置会被重置，并向鸟瞰影像生成部发出 获得对比影像的申请S203。此时的对比影像可以是对于车辆发动机 盖终端外界线的影像。之后，鸟瞰校正装置将对于发动机盖的基准影 像和车辆启动时获得的对比影像进行比较，以计算出偏差S204。如 是前方广角摄像头51时，所述偏差可对应左右偏差及上下偏差，且 可以以长度或者角度中的一种形式进行计算。

之后，鸟瞰校正装置校正基准影像和对比影像的偏差，从而校正 图5中所说明的基准线S205。基准线的校正在鸟瞰生成部105进行， 乘坐倾斜校正部110可将基准影像对于对比影像的偏差，即将关于角 度或者长度的信息供给至鸟瞰生成部105，从而使鸟瞰影像生成部 105可对其进行处理。

之后，前方摄像头51的乘坐倾斜被校正后，鸟瞰影像生成部51 整合各广角摄像头51-54拍摄的影像，其被变换成类似于从上侧观察 车辆的视角的影像，从而生成鸟瞰影像S206，并将其表示在触摸屏 130上。

图7是表示根据本发明的一实施例的校正乘坐倾斜的方法的概 念图。

参考图7，利用车辆右侧摄像头53拍摄的影像，获得乘客乘坐 前和乘客后对于轮胎的影像，并对两者进行比较，校正倾斜。

乘客乘坐车辆之前，轮胎由于负重均匀，因此呈接近于对称的圆 形的形态。图7a例示了乘客乘坐车辆之前车辆前方右侧的轮胎，其 S12区域的线段接近于垂直。

图7b图示了乘客乘坐车辆后，因乘客的乘坐引起向右侧摄像头 53方向发生倾斜时，通过右侧摄像头53拍摄的轮胎影像的实施例。 参考图7b，乘客乘坐车辆后，轮胎的影像如S22区域所示，产生了 角度为θ的倾斜，因此需将产生倾斜的角度θ向D1方向进行校正。 乘坐倾斜校正部110在车辆启动后，拍摄如图7b的轮胎影像后，将 乘客乘坐车辆之前拍摄的基准影像和右侧摄像头53拍摄的轮胎影像 （图7b）进行比较，向D1方向校正θ角度。这样的校正发生在车辆 启动的同时，因此驾驶员无需作其它倾斜校正，且即使驾驶员不做倾 斜校正，其也可自动进行倾斜校正，并供给品质优异的鸟瞰影像。