使用结构光的增强对象检测

摘要

提供了用于对感兴趣的区域成像的系统和方法。结构光源被配置成在摄像机的视场内提供由摄像机可检测的波长处的至少一个投射激光束形成的基本上二维的光幕。图像分析部件被配置成至少根据该至少一个投射激光束在图像内的位置来检测感兴趣的区域内的对象。

说明书

相关申请

本申请要求于2014年11月5日提交的美国临时专利申请序列号62/075,350的优先权，其通过引用并入本文。

技术领域

本发明涉及车辆安全系统，并且更具体地涉及使用结构光来增强对象检测系统。

背景技术

单目摄像机系统在摄像机的二维焦平面阵列中表现三维数据的能力有限。该摄像机对世界的图像呈现为平的而没有任何景深(depth-of-field)。用于恢复丢失的景深的算法技术依赖于应用，并且仅在极窄的范围内有效——它们不是全局鲁棒的。例如，从运动中恢复结构(structure from motion)以及时间立体匹配(temporal stereo matching)可以用于从具有差异化位置的单目摄像机重建深度图像。摄像机必须在具有帧间相关性的情况下移动，并且该移动必须在实物坐标中被跟踪，该跟踪通常使用惯性测量单元进行。诸如双色反射率、高洛德着色(Gouraud shading)以及平地模型(flat earth model)之类的其它示例需要受控的场景照明和静止的摄像机位置。

发明内容

根据本发明的一个方面，提供了用于检测感兴趣的区域内的对象的对象检测系统。摄像机被配置成对感兴趣的区域进行成像。结构光源被配置成在摄像机的视场内提供由摄像机可检测的波长处的至少一个投射激光束形成的基本上二维的光幕。图像分析部件被配置成至少根据该至少一个投射激光束在该图像内的位置来检测感兴趣的区域内的对象。

根据本发明的另一方面，提供了用于检测感兴趣的区域内的对象的方法。将基本上二维的光幕投射到感兴趣的区域中。感兴趣的区域在摄像机处被成像以提供图像，使得基本上二维的光幕与地面的相交处可见。如果基本上二维的光幕与地面的相交处偏离预期基线，则确定存在对象。

根据本发明的又一方面，提供了用于检测车辆的后方区域与盲点中的一个内的对象的对象检测系统。摄像机被配置成对车辆的后方区域与盲点中的这一个进行成像。结构光源包括激光二极管和光束整形光学部件，该结构光源被配置成在摄像机的视场内提供由摄像机可检测的波长处的至少一个投射激光束形成的基本上二维的光幕。图像分析部件被配置成至少根据该至少一个投射激光束在图像内的位置来检测车辆的后方区域与盲点中的这一个内的对象。

附图说明

图1示出了用于检测感兴趣的区域内的对象的对象检测系统的一个示例；

图2示出了用于检测车辆的后方区域或盲点中的一个内的对象的系统的示例；

图3示出了用于检测感兴趣的区域内的对象的方法；以及

图4是示出了能够实现本文公开的系统和方法的示例的硬件部件的示例性系统的示意性框图。

具体实施方式

发明人已经确定可以用结构光来增强单目摄像机，以增强摄像机检测和定位视场内的对象的能力。具体地，可以将一个或多个光幕投射到摄像机的视场中，该一个或多个光幕即由一个或多个投射激光束形成的连续或间歇的二维形状。这些光幕的偏转或变形可以被检测和量化以确定对象在视场内的存在以及位置。在一个实现中，可以使用多个形状来限定对象可以通过其延伸的不同范围。在另一实现中，使用两个或更多个非平行光束来在视场内提供三维形状以允许更准确地确定对象的位置。

图1示出了用于检测感兴趣的区域内的对象的对象检测系统10的一个示例。系统10包括摄像机12和结构光源14，该摄像机12被配置成对感兴趣的区域成像，并且该结构光源14被配置成在摄像机的视场18内提供由摄像机可检测的波长处的至少一个投射激光束形成的二维形状16。在一个实现中，摄像机被选择为在可见光带内成像，并且激光器在532nm左右运行。

图像分析部件20被配置成至少根据该至少一个投射激光束在图像内的位置(或者更具体地，光束和地面的相交处的位置)来检测感兴趣的区域内的对象。在一个实现中，该检测可以通过将摄像机图像转换成世界坐标域并且检查激光与反射对象的相交线以确定是否存在任何对象来实现。在一个实现中，两个非平行线的相交点可以被用作变换中的已知参考点。替代地，可以使用表示距离车辆的不同距离的多个平行光束，其中特定光束显示出指示对象距离车辆的距离的偏转。

图2示出了用于检测车辆的后方区域或盲点中的一个(这里被称为感兴趣的区域)内的对象的系统50的示例。系统50包括被配置成对感兴趣的区域成像的摄像机52。在所示的实现中，摄像机52被配置成检测可见域和近红外域中的入射光。摄像机52被定位在车辆上有效地对感兴趣的区域进行成像的位置。应当认识到，摄像机52可以经由车辆总线53连接到系统的其它部件54和60。

结构光源54被配置成提供进入到感兴趣的区域中的基本上二维的光幕。在所示的实现中，结构光源54包括激光二极管56以及光束整形光学部件58，激光二极管56被配置成提供摄像机52可检测的波长处的至少一个激光束，光束整形光学部件58被配置成从该至少一个激光束产生基本上二维的光幕。应当认识到，激光二极管56可以提供在可见范围、红外范围和紫外范围的任何一个范围中的光。光束整形器光学部件58可以包括衍射扩散器、衍射光束整形器或其它合适的光学部件中的任何一个。在所示的实现中，光束整形光学部件58可以包括可靠的(solid)衍射光束成形光学器件，其产生跨四十六度的角度的光幕。因此，应当认识到，所示出的实现在光学器件中没有移动部件的情况下起作用。

结构光源54可以被安装在车辆上的适当位置以将光幕投射到感兴趣的区域中。发明人已经发现并置(collocating)结构光源54和摄像机52可能导致次优结果，而结构光源54和摄像机52的位置可以以其它方式被选择为在给定车辆的几何形状的情况下使得成像的感兴趣的区域的效用最大化。在一个实现中，结构光源54和摄像机52中的每一个可以被安装到车辆的顶部并且被水平基线分开。在另一实现中，结构光源54和摄像机52可以被小的垂直基线分开。

将进一步认识到，结构光源54可以被配置成提供到感兴趣的区域中的附加光幕。为此，光束整形光学部件58可以被配置成提供多个平行光幕。例如，合理地假定在相交点处为水平地面，每个光幕可以被投射成在与车辆的在其上安装了结构光源的一侧基本上平行的线处与地面相交，其中每个光幕在离车辆的指定距离处与地面相交。替代地或附加地，结构光源54可以被配置成提供与一个或多个其它光幕基本上垂直的光幕，使得该光幕在与其它光幕的一条或多条线基本上垂直的线中与地面相交。应当认识到，附加光幕可以由附加结构光源(未示出)提供，而不是如图2中所示的那样从单个部件提供多个光幕。

在摄像机52处拍摄的图像被提供给图像分析部件60，图像分析部件60被配置成确定在感兴趣的区域中是否存在对象。应当认识到，图像分析部件60可以被实现为在车辆内的微处理器上操作的软件、被实现为专用硬件、或者被实现为软件和专用硬件的组合。具体地，图像分析部件60根据捕获的图像来确定在光幕的路径中是否存在一个或多个对象。如果在摄像机52或相关部件(未示出)处未对图像执行校正，则图像分析部件60可以被配置成在分析之前校正图像，并且可以在分析之前执行其它图像调节。

应当认识到，在没有对象的情况下，在光幕与地面相交时光幕将形成相对直的线。然而，在光幕的范围内存在对象的情况下，光幕与对象的相交处将相对于原始基线具有高程(elevation)。在一个实现中，可以使用多个平行光幕来限定车辆附近的各个区域。在该实现中，可以根据哪个或者哪些光幕呈现出与基线的偏差来确定对象与车辆的距离。

在所示的实现中，可以使用两个垂直的光幕，使得它们的相交点表示图像内的已知参考点。使用该参考点，可以根据从基线高程的偏离的位置、大小和宽度来确定对象的位置和高度。为此，图像分析系统60包括坐标变换部件62，其被配置成将图像内的每个像素的位置变换为车辆周围的实物坐标系。具体地，对于图像内的像素(x，y)，其中x表示像素所处于的列，而y是像素所处于的行，位置(X，Z)被确定为以下，其中X表示离摄像机的横向距离(cross range)而Z表示离摄像机的顺向距离(downrange)：

其中f_x是摄像机的水平焦距，f_y是摄像机的垂直焦距，φ是摄像机俯仰角，H是摄像机高度。

当检测到对象时，高程计算部件64可以根据图像和所确定的位置来确定对象的高程。具体地说，在给定位置处的高程Y可以根据其离摄像机的顺向距离Z和表示该位置的像素所处于的行y被确定为：

其中f_y是摄像机的垂直焦距，φ是摄像机俯仰角，而H是摄像机高度。

一旦确定了对象的位置和高程，就可以经由适当的可听、可视或触觉反馈来向用户提供该信息。在一个实现中，可以在车辆内的显示器上呈现给操作者的、车辆的后视图或侧视图的显示中突出该对象。

鉴于以上描述的前述结构和功能特征，参考图3将更好地理解根据本发明的各个方面的方法。尽管为了简化说明的目的，图3的方法被示出和描述为串行执行，但是应当理解和认识到，本发明不限于所示顺序，因为根据本发明，一些方面可以以与本文所示和描述的顺序不同的顺序发生和/或与其它方面同时发生。此外，可能不是所有示出的特征都被需要以实现根据本发明的一个方面的方法。

图3示出了用于检测感兴趣的区域内的对象的方法100。在102处，将基本上二维的光幕投射到感兴趣的区域中。可以选择感兴趣的区域，例如，车辆的后方区域或盲点。应当认识到，光幕可以由可见光、红外光或紫外光形成。在一个实现中，可以将多个光幕投射到感兴趣的区域中。例如，依赖于应用，附加光幕可以平行或垂直于第一光幕。

在104处，感兴趣的区域在摄像机处被成像以提供图像，使得基本上二维的光幕与地面的相交处可见。应当认识到，摄像机可以适配有适当的过滤器以用于检测与光幕相关联的光。在106处，确定基本上二维的光幕与地面的相交处是否偏离预期基线。如果是(Y)，则在108处报告检测到对象，并且方法返回到102以继续评估感兴趣的区域。如果否(N)，则方法返回到102以继续评估感兴趣的区域。

在一个实现中，图像可以用于确定关于在感兴趣的区域中检测到的对象的附加信息。在一个实现中，可以使用多个平行光幕，如果由第一基本上二维的光幕与地面的相交处形成的线偏离第一预期基线，则对象可以被确定在第一距离处，或者如果由第二基本上二维的光幕与地面的相交处形成的线偏离第二预期基线，则对象可以被确定为在第二距离处。应当认识到，可以以这种方式使用多于两个的平行幕来增加距离确定的分辨率。替代地，可以投射垂直光幕，并且图像例如如以上所述的等式1和2中那样经过坐标变换来确定任何检测到的对象的位置和高度。

图4是示出了能够实现本文公开的系统和方法(诸如先前描述的对象检测系统)的示例的硬件部件的示例性控制系统200的示意性框图。系统200可以包括各种系统和子系统。系统200可以使用经由车辆总线连接的基于车辆的控制器或通过使用图像分析控制器来实现。计算机可以包括微计算机，或者可以使用相应布置的专用集成电路(ASIC)来实现期望的控制功能。

控制系统200可以包括系统总线202、处理单元204、系统存储器206、存储器设备208和210、通信接口212(例如，网络接口)、通信链路214、显示器216和输入设备218(例如，加速度传感器、摄像机输入等)。系统总线202可以与处理单元204和系统存储器206通信。附加存储器设备208和210也可以与系统总线202通信。系统总线202将处理单元204、存储器设备206-210、通信接口212、显示器216和输入设备218互连。在一些示例中，系统总线202还互连附加端口(未示出)。

处理单元204可以是微计算机和/或可以包括被布置成执行期望的处理和控制功能的专用集成电路(ASIC)。处理单元204执行一组指令以实现本文公开的示例的操作。

附加存储器设备206、208和210可以存储数据、程序、指令、以文本或编译形式的数据库查询以及操作计算机可能需要的任何其它信息。存储器206、208和210可以被实现为计算机可读介质。

附加地或替代地，系统200可以通过通信接口212访问外部数据源或查询源，通信接口212可以与系统总线202和通信链路214进行通信。

在操作中，处理单元204执行源自系统存储器206和存储器设备208和210的一个或多个计算机可执行指令。本文所用的术语“计算机可读介质”是指参与向处理单元204提供指令以用于执行的介质。

以上描述的是本发明的示例。当然，不可能为了描述本发明的目的而描述部件或方法的每种可想到的组合，但是本领域普通技术人员将认识到，本发明的许多进一步的组合和排列是可能的。因此，本发明旨在包括落在所附权利要求的范围内的所有这样的改变、修改和变化。