基于视觉的导航和制导系统

摘要

本发明涉及基于视觉的导航和制导系统。一种利用基于视觉的导航和制导系统来控制自动车辆的方法。该方法包括以预定的帧速率捕获图像帧。检测在每个图像帧中限定边缘的像点。在每一图像帧中使用像点来定位确定的边缘。动态地预测在随后图像帧中限定边缘的像点的位置。使用限定边缘的像点的位置的预测在随后图像帧中缩小边缘的搜索区域。确定在随后图像帧中的确定的边缘之间的偏移距离，以及至少部分地基于在随后的图像帧中的确定的边缘之间的确定的偏移距离来控制车辆。

说明书

技术领域

本发明涉及基于视觉的导航和制导系统。

背景技术

自动车辆是有好处的，因为它们不需要操作者来手动操作车辆。自动车辆有利的一个领域是在那些日常工作需要车辆的领域。例如日常工作中的割草。拥有能自动割草的自动车辆是人们所期望的。对于具有大量需要维护的草的场地如高尔夫球场来说尤其如此。但是，建造按照预定方式驾驶的自动车辆是一个挑战。例如，使用高尔夫球场这个例子，在球场中有球道和障碍区，它们在所要维护的草的高度上不同。在球道中草需要剪得比较低，以至于可以很容易地打大多数的高尔夫球，但是在障碍区草需要保持很长或者甚至不需要修剪。自动草坪修剪车辆必须设计成能够检测和保持不同类型的区域。能够成功检测球道和障碍区之间的边缘是建造成功的自动草坪割草机所需的一个要求。目前，使用人工操作的草坪割草机来维护球道。

由于上述原因和下述的其它原因，在阅读和理解本说明书的基础上所述原因对本领域技术人员来说是很明显的，在本领域中需要具有有效视觉边缘检测系统的自动车辆。

发明内容

上述提到的当前系统的问题可以通过本发明的实施例解决，并且通过阅读和研究下面的说明书来理解。下面的概述是借助实例而不是借助限制来进行的。其是一种仅仅提供用来帮助读者理解本发明的一些方面的方法权利要求。

在一个实施例中提供了控制自动车辆的方法。该方法包括以预定的帧速率(frame rate)捕获图像帧。检测在每个图像帧中限定边缘的像点。使用在每个图像帧中的像点来定位确定的边缘。动态预测在随后的图像帧中限定边缘的像点的位置。使用限定边缘的像点的位置预测来缩窄在随后的图像帧中边缘的搜索区域。确定在随后的图像帧中确定的边缘之间的偏移距离并且至少部分地基于在随后的图像帧中确定的边缘之间的确定的偏移距离来控制车辆。

附图说明

当考虑本发明的详细描述并结合附图，本发明可更加容易的理解并且其优点和用处更加显而易见，其中

图1是本发明的一个实施例的自动车辆系统100的框图；

图2是本发明的一个实施例的边缘确定电路的框图；

图3是本发明的另一个实施例的边缘确定电路的框图；

图4A示出了在本发明的一个实施例的连续帧中的两个确定的边缘的融合图；

图4B示出了在本发明的一个实施例的连续帧中的两个确定的边缘的另一融合图；以及

图5是本发明的一个实施例的自动控制流程图。

与常规惯例一致，各种描述的特征没有按比例绘制，而是被绘制成用来强调与本发明相关的特定特征。附图和文本中的参考标记表示相似的元件。

具体实施方式

在下面详细的描述中，参考附图，这些附图构成了说明书的一部分，在这些图中借助图示示出了可以实施本发明的特定实施例。这些实施例描述的足够详细以使本领域的技术人员能实践本发明，并且应当理解，在不脱离本发明的精神和范围的情况下，可以使用其它实施例以及可以进行逻辑的、机械的和电气的改变。因此下面的详细描述不应当看成对本发明的限制，并且本发明的范围仅由权利要求及其等同物所限定。

本发明的实施例提供了部分地使用边缘检测系统来导航的自动车辆。在本发明的实施例中，捕获图像并将图像处理成关于接下来的边缘的信息。本发明的实施例使用空间和时间信息来确定边缘。

参考图1，提供了本发明的一个实施例的自动车辆系统100的框图。如图所示，自动车辆系统100包括照相机102，边缘确定电路104，控制器106，导航电路108和车辆110。照相机102用来捕获图像。将图像传输到边缘检测电路104。边缘检测电路104使用空间和时间技术来确定距离ΔX。ΔX是到由边缘确定电路104确定的边缘的距离(或偏移距离)。将ΔX信号提供到控制器106。控制器106使用该ΔX信号以及由导航电路108提供的其它导航信号来生成用于车辆110的控制信号。传送到车辆110的控制信号的实例是速度控制(Vc)和转向控制(δc)。车辆110执行接收到的控制信号。从导航电路108提供到控制器106的导航信息的实例包括但不限于惯性运动单元信息，多普勒雷达信息，全球定位系统信息，立体视觉信息，雷达信息，测绘信息等等。

图2提供了在边缘确定电路104中进行的步骤的例子。如图所示，边缘确定电路104包括图像处理202和信号处理204。在图像处理202处，来自照相机的每个输入图像经过空间处理来确定边缘。然后将确定的边缘传送到信号处理204。在信号处理204处，为随后的图像来预测关于确定的边缘的方位信息的估计。然后将该信息用于缩窄在下一图像帧中的边缘的搜索范围。

图3提供了边缘确定电路104的框图。在这个例子中，图像处理202包括边缘检测电路302。边缘检测电路302在每个图像上执行多个步骤。这些步骤可包括但不限于图5所示的系统流程图500中的步骤502，504，506和508。这些步骤将在下面提供的关于图5的介绍中进一步描述。在图3的实施例中，边缘检测电路302从照相机接收图像并且首先将该图像分段以缩窄将要进行分析的图像的区域。然后边缘确定电路104将定向预滤波步骤施加到分段的图像上。该定向预滤波步骤使分段后的图像中的边缘模糊，所述边缘在与目标边缘行进的方向不同的方向上。例如，如果在分段后的图像上目标边缘从南到北行进，那么就将从东到西行进的边缘模糊。换句话说，当车辆沿通常平行于目标边缘的方向行进时，将通常不与目标边缘平行的边缘模糊。在分段后的图像模糊掉不想要的边缘之后，开始执行边缘检测。可以使用的边缘检测程序(或模块)的例子是Canny边缘检测。尽管提到了Canny边缘检测，但是在本发明中可以使用任何类型的边缘检测程序。边缘检测模块识别限定边缘的图像像素(或像点)。一旦检测到了边缘，边缘检测电路302就识别并去除阴影。

图3中的边缘确定电路104也包括信号处理电路204。该实施例的信号处理电路204包括动态预测窗304和测量融合306。在一个实施例中，动态预测窗304解决约束最小二乘问题。动态预测窗304估计下一图像帧中边缘将要出现的位置。使用这一预测方式，只需要分析下一帧中的狭窄区域。因此每个分段后的图像进一步缩小到将要进行分析的已预测的窗口图像。该预测窗口图像是动态的，因为边缘可以从图像帧到图像帧移动，并且因此预测窗口将相应移动。图3也示出了，信号处理电路也包括测量融合函数306。该测量融合函数306融合边缘点以获得确定的边缘位置。边缘点是图像中具有边缘特性的像素。边缘特性包括从亮到暗或从暗到亮急剧转变的相邻像素。在一个实施例中，使用卡尔曼(Kalman)滤波器来融合边缘点。然后测量融合函数306确定从确定的边缘的偏移距离ΔX。然后将ΔX以ΔX信号的方式输出到控制器106。

图4A的融合图400中示出了在两个连续帧中的确定的边缘的例子。融合图400示出了用于标注为帧K的第一帧的确定的第一边缘404，和用于标注为帧K+1的第二帧的确定的第二边缘402。如上所述，图像帧中的确定的边缘通过使用滤波器如卡尔曼滤波器由限定边缘的多个图像像素(或边缘点)确定。确定的边缘的图示是使用卡尔曼滤波器从图像点408-1、408-2和408-3确定的第一确定的边缘404。类似地，由图像点406-1、406-2和406-3确定第二确定的边缘402。应当理解每帧图像像素(或点)的数量将根据预期分辨率而变化，图4A中示出的点的数量仅仅为了说明该过程而提供。图4A中也示出了ΔEP1、ΔEP2、ΔEP3，其示出了当穿过卡尔曼滤波器以确定第二边缘402时相应边缘点406-1、406-2和406-3移动的距离。

沿图4A的X轴的距离XC表示刀具位置420。刀具位置在X轴的距离是ΔX。在这个例子中，确定的边缘404和402之间的距离在XC处为0。因此ΔX等于0。所以，此时车辆沿边缘的导航被正确的定位。但是，如果第一确定的边缘402和第二确定的边缘404之间在XC处存在距离，那么将存在距离XC420的标记为ΔX的距离。将ΔX输出到控制器106，在此例中ΔX为0。然后控制器106使用ΔX来调整位置。因为在此例中ΔX为0，因此此时无需在方向上进行调节。参考图4B，示出了另一融合图430的实例。在此融合图430中，ΔX不等于0。特别地，融合图430示出了与第一帧中的边缘点相关联的第一确定的边缘432和与第二帧中的边缘点相关联的第二确定的边缘434。沿X轴的XC表示为436。如图所示，第二确定的边缘434在离XC436距离ΔX(或偏移距离)处与X轴相交。其是被输出到控制器106的ΔX。在本发明的实施例中，本发明中的采样(或获得图像帧的速率)与车辆的运动速度相比相对比较快。在时间上这允许处理每一帧来确定所述确定的边缘和输出的ΔX。在一个实施例中，采样频率大于10赫兹。

图5示出了本发明的一个实施例的自动控制流程图500。如图所示，该过程始于捕获初始图像(501)。然后将初始图像分段(502)。该分段在检测的边缘周围限定了相对较小区域的视野，例如方形(box)。在一个实施例中分段的确定是先验固定的，其中用户确保在初始化期间检测的边缘在方形之内。在另一个实施例中，使用自动化处理来用初始帧产生关于明显的边缘为中心的固定大小的方形的位置。步骤(502)减少在确定边缘的过程中需要估计的点(或像素)的数量。接下来将定向预滤波运用到图像帧(504)。如上所述，定向预滤波在不与车辆的行进方向相对平行的方向上使边缘模糊。然后运用边缘检测算法(506)。在一个实施例中，该边缘检测算法是Canny边缘检测算法。边缘检测算法实时地提供边缘。然后应用阴影边缘去除算法(508)。该阴影边缘去除算法除去图像帧中的阴影，所述阴影不是检测的边缘。在一个实施例中，这通过观察黑像素和周围像素来完成。如果在亮像素附近有太多的像素(用户限定的)为黑色的，那么就存在阴影并将其除去。确定黑像素所用的一个技术是基于阈值化的直方图。

除去阴影边缘(508)之后，开始使用动态预测窗(510)。这是约束最小二乘问题。动态预测窗用来预测在下一图像帧中边缘将出现在哪。如上所述，其是动态的因为边缘可关于图像帧弯曲，并且因此确定的ΔX值将改变。然后这用于缩窄随后的图像帧中边缘的搜索范围。将动态预测窗(510)的结果运用在边缘检测步骤(506)中。此外，除去阴影边缘(508)之后，应用测量融合(512)。测量融合包括滤波器，如本领域公知的卡尔曼滤波器但不限于此。使用卡尔曼滤波器在图像帧中基于检测点(或像素)来发现确定的边缘，并且如图4B中所示那样确定ΔX。然后将ΔX输出到控制器(514)。然后控制器至少部分地基于ΔX来调整车辆的路线(516)。也可以确定车辆是否仍在移动(518)。如果车辆没有移动(518)，那么该过程结束。如果车辆仍然在移动(518)，那么该过程在图像分段步骤(502)继续。图5的流程图，仅仅描述了执行本发明的功能的一个可能的方法。其它可能的执行方法是可以的并且是预期的。因此，本发明不限于图5的控制流程图中列举的方法。

这里描述的方法和技术可在数字电子电路中，或者用可编程处理器(例如，专用处理器或通用处理器，如计算机)固件，软件，或通常限定为模块的它们的组合来执行。具体实施这些技术的装置可包括合适的输入和输出设备，可编程处理器，以及明确实施由可编程处理器执行的程序指令的存储介质。具体实施这些技术的过程可通过可编程处理器来执行，该可编程处理器执行程序指令以通过对输入数据进行操作并产生恰当的输出来实现预期的功能。这些技术可以一个或多个程序有利地实施，所述程序可在包括至少一个可编程处理器，至少一个输入设备以及至少一个输出设备的可编程系统上执行，该至少一个可编程处理器被耦合用于从数据存储系统接收数据和指令以及将数据和指令传送到数据存储系统。通常，处理器将从只读存储器和/或随机存取存储器接收指令和数据。适于确实实施计算机程序指令和数据的存储装置包括所有形式的非易失性存储器，包括作为例子的半导体存储器设备，如EPROM，EEPROM，和闪存设备；磁盘，如内部硬盘和可移动硬盘；磁光盘；和DVD盘。前述的任何一种可由专门设计的专用集成电路(ASIC)补充，或并入专门设计的专用集成电路中。

尽管在此已经示出和描述了特定实施例，但是本领域的普通技术人员将意识到用于达到相同目的的任何布置可替代示出的特定实施例。本申请意图覆盖本发明的任何修改或变型。因此，很显然地本发明只由权利要求及其等同物来限制。