全挡风玻璃平视显示器上的驾驶员瞌睡警报

摘要

本发明涉及全挡风玻璃平视显示器上的驾驶员瞌睡警报。一种车辆的实质上透明的挡风玻璃平视显示器包括一显示器，该显示器具有在挡风玻璃预定区域上的发光粒子或微结构中的一种，该挡风玻璃预定区域允许发光显示同时允许通过挡风玻璃的视野。一种在实质上透明的挡风玻璃平视显示器上警报瞌睡驾驶员情况的方法包括监测构造成观测车辆操作者的传感器，根据监测传感器来确定瞌睡驾驶员情况，和根据确定瞌睡驾驶员情况在实质上透明的挡风玻璃平视显示器上警报瞌睡驾驶员情况。警报瞌睡驾驶员情况包括显示被选择为吸引驾驶员注意力的图形和实质上透明的挡风玻璃平视显示器。

说明书

相关申请的交叉引用

本申请是2009年4月2日提交的美国申请号12/417.077的部分继续申请，其通过引用被并入本文。

技术领域

本发明公开的内容涉及机动车辆中的挡风玻璃上的图形成像。

背景技术

该部分中的叙述仅仅提供与本发明公开的内容有关的背景信息，并且不构成现有技术。

以有效的方式向车辆的操作者提供信息是令人期望的，并且减轻了操作者的疲劳。显示技术是已知的，其中，光被投射到屏幕上，并且光被转变为屏幕上的可视的显示。用于运输用途的这样的显示器被公知为平视显示器，其中，信息被投射到遮阳板、操作者和挡风玻璃之间的屏幕上、或直接被投射到挡风玻璃上。但是，将光直接投射到挡风玻璃上的已知的系统通常需要大大降低挡风玻璃的透明度的涂层或材料。结果，平视显示器通常被限制于挡风玻璃上的有限的区域。

车辆系统监测大量的信息。特别地，使用驾驶辅助(例如自适应巡航控制(ACC)、自动侧向控制、防撞系统或碰撞准备系统)和车道保持辅助的车辆系统监测和处理与车辆周围运行环境相关的信息。此外，可利用来自多种信息源的信息相对于3D地图数据库来定位车辆，计划至目的地的车辆行驶路线，并将该行驶路线与关于路线的可利用信息进行关联。此外，车载车辆系统提供可用于改善车辆控制的多种信息。此外，公知的车辆与车辆之间的通讯是使用在一个车辆上收集的数据与道路上其它位置的车辆进行通讯。

当瞌睡时驾驶车辆的操作者可能是不希望的情形。瞌睡的驾驶员被认为会表现出某些行为，包括比警惕的驾驶员更频繁地闭眼和头部下垂。

发明内容

一种车辆的实质上透明的挡风玻璃平视显示器包括显示器，该显示器具有在允许发光显示同时允许通过挡风玻璃的视野的挡风玻璃的预定区域上的发光粒子或微结构中的一种。一种在实质上透明的挡风玻璃平视显示器上警报瞌睡驾驶员情况的方法包括：监测构造成观测车辆操作者的传感器，基于监测传感器来确定瞌睡驾驶员情况，并基于确定瞌睡驾驶员情况而在实质上透明的挡风玻璃平视显示器上警报瞌睡驾驶员情况。警报瞌睡驾驶员情况包括显示被选择为吸引操作者注意力的图形和实质上透明的挡风玻璃平视显示器。

本发明还提供下面的方案。

方案1：一种在车辆的实质上透明的挡风玻璃平视显示器上警报瞌睡驾驶员情况的方法，该方法包括：监测构造成观测车辆操作者的传感器；基于监测传感器来确定瞌睡驾驶员情况；以及，基于确定瞌睡驾驶员情况在实质上透明的挡风玻璃平视显示器上警报瞌睡驾驶员情况；其中基于确定瞌睡驾驶员情况在透明的挡风玻璃平视显示器上警报瞌睡驾驶员情况包括显示被选择为吸引操作者注意力的图形；其中实质上透明的挡风玻璃平视显示器包括显示器，该显示器包括在允许发光显示同时允许通过挡风玻璃的视野的挡风玻璃的预定区域上的发光粒子或微结构中的一种。

方案2：如方案1的方法，其中构造成观测车辆操作者的传感器包括用于操作者眼睛的眼睛位置感测系统。

方案3：如方案2的方法，其中基于监测传感器来确定瞌睡驾驶员情况包括监测操作者闭眼时间比阈值时间长的情况的发生。

方案4：如方案2的方法，其中基于监测传感器来确定瞌睡驾驶员情况包括监测在一定时间段内操作者闭眼累计大于操作者闭眼累计阈值的情况的发生。

方案5：如方案2的方法，其中基于监测传感器来确定瞌睡驾驶员情况包括监测表示睡意的操作者凝视行为的发生。

方案6：如方案2的方法，其中基于监测传感器来确定瞌睡驾驶员情况包括监测表示操作者头部明显下垂的操作者凝视位置。

方案7：如方案2的方法，其中基于监测传感器来确定瞌睡驾驶员情况包括监测与阈值时间相比在眨眼后减慢的操作者睁眼模式。

方案8：如方案1的方法，其中构造成观测车辆操作者的传感器包括监测方向盘转动的传感器；其中基于监测传感器来确定瞌睡驾驶员情况包括监测大于阈值频率的频率的转向调节模式。

方案9：如方案1的方法，其中构造成观测车辆操作者的传感器包括用于操作者头部的头部方位感测系统。

方案10：如方案9的方法，其中基于监测传感器来确定瞌睡驾驶员情况包括监测表示操作者头部显著下垂的操作者头部方位。

方案11：如方案1的方法，还包括监测车辆操作者凝视位置；其中在实质上透明的挡风玻璃平视显示器上警报瞌睡驾驶员情况包括基于操作者凝视位置将瞌睡驾驶员情况警报至配准位置。

方案12：如方案11的方法，还包括利用声音警报器警报瞌睡驾驶员情况。

方案13：如方案11的方法，还包括利用振动警报器警报瞌睡驾驶员情况。

方案14：如方案11的方法，还包括：监测描述车辆操作环境的信息输入；处理所述信息输入以合成操作环境模型，该处理包括：确定所述信息输入以指示关键信息；确定关键信息与车辆的空间关系；根据空间关系合成关键信息以形成操作环境模型和瞌睡驾驶员情况；监测关于操作者眼睛位置的数据；根据关于操作者眼睛位置的监测数据在实质上透明的挡风玻璃平视显示器上将环境模型转换成配准符合该环境模型的关键信息的图形图像；以及，在实质上透明的挡风玻璃平视显示器上显示图形图像；其中根据空间关系合成关键信息以形成操作环境模型和瞌睡驾驶员情况选择地识别安全关键信息。

方案15：如方案1的方法，其中根据确定瞌睡驾驶员情况在实质上透明的挡风玻璃平视显示器上警报瞌睡驾驶员情况包括在实质上透明的挡风玻璃平视显示器上显示文本消息。

方案16：如方案1的方法，其中根据确定瞌睡驾驶员情况在实质上透明的挡风玻璃平视显示器上警报瞌睡驾驶员情况包括在实质上透明的挡风玻璃平视显示器上向车辆乘客警报瞌睡驾驶员情况。

方案17：如方案1的方法，还包括通过通信网络警报瞌睡驾驶员情况。

方案18：一种根据对瞌睡操作者的识别在车辆的实质上透明的挡风玻璃平视显示器上显示配准图形的方法，该方法包括：监测操作者凝视位置；根据所监测的操作者凝视位置识别瞌睡操作者；根据操作者凝视位置在车辆的实质上透明的挡风玻璃平视显示器上显示被选择为警报该瞌睡操作者的配准图形；其中该实质上透明的挡风玻璃平视显示器包括显示器，该显示器包括在允许发光显示同时允许通过挡风玻璃的视野的实质上全挡风玻璃区域上的发光粒子或微结构中的一种。

方案19：一种在车辆的实质上透明的挡风玻璃平视显示器上警报瞌睡驾驶员情况的系统，该系统包括：构造成观测车辆操作者的传感器；实质上透明的挡风玻璃平视显示器，其包括在允许发光显示同时允许通过挡风玻璃的视野的挡风玻璃的预定区域上的发光粒子或微结构中的一种；根据来自传感器的数据确定瞌睡驾驶员情况的控制模块；以及，根据确定瞌睡驾驶员情况在实质上透明的挡风玻璃平视显示器上警报瞌睡驾驶员情况的图形投射系统。

方案20：如方案19的系统，其中该实质上透明的挡风玻璃平视显示器包括结合发光粒子的基板，其中粒子的尺寸在50nm和500nm之间。

方案21：如方案19的系统，其中该图形投射系统使用紫外激励光。

附图说明

下面将结合附图以示例的方式描述一个或多个实施方式，其中：

图1显示了根据本发明装配有EVS系统的示例性车辆；

图2显示了根据本发明实质上透明的显示器的示例性示意图；

图3显示了根据本发明在表面上的示例性图形投射；

图4显示了根据本发明使用激励光以从HUD发出可见光的示意图；

图5显示了根据本发明发光粒子在基板上的示例性布置；

图6显示了根据本发明层叠在基板上的不同类型的发光材料；

图7显示了根据本发明不同发光材料的激励与发射关系的示例图；

图8显示了根据本发明分散在实质上透明或半透明基板内的微结构的模式的示例图；

图9显示了根据本发明类似于图8的，布置在实质上透明或半透明基板的表面上的微结构的模式的示例图；

图10显示了根据本发明类似于图8的，分散在实质上透明或半透明基板中的微结构的成角度模式的示例图；

图11显示了根据本发明基于FC显示子系统的二维光束的示例性实施方式；

图12显示了根据本发明车辆系统10的示意图，该车辆系统已构造有目标跟踪系统；

图13显示了根据本发明在创建轨迹列表中使用的信息流；

图14显示了根据本发明示例性的数据融合方法；

图15显示了根据本发明使得能够联合跟踪和传感器记录的示例性数据流；

图16示意性地显示了根据本发明传感器输入被融合成适用于碰撞准备系统的对象轨迹的示例性系统；

图17示意性地显示了根据本发明的示例性图像融合模块；

图18示意性地描述了根据本发明的示例性Kalman滤波器组，所述滤波器操作以估计群组对象的位置和速度；

图19显示了根据本发明适用于各种目标对象的系统内部分析的覆盖在相应图像平面上的示例性范围数据；

图20显示了根据本发明使用传感器来获取车辆前方道路几何数据的示例性车辆；

图21显示了根据本发明示例性的前进车道估计处理；

图22显示了根据本发明的示例性处理，其中来自地图数据库的信息可被用于构造车辆区域内的道路几何模型；

图23图示了根据本发明的示例性迭代方法，其相对于估计的道路几何来寻找车辆的近似位置；

图24显示了根据本发明的示例性车辆姿态定位处理；

图25显示了根据本发明在车辆的侧向模型内作出的示例性确定；

图26显示了根据本发明示例性使用沿车辆前方投射车道的航路点来估计车道几何；

图27-29显示了根据本发明将前后信息示例性地应用于被感测的对象数据，以便确定感测的数据是否为关键信息；

图27显示了包括描述车辆前方目标对象的三个相继数据点的车辆；

图28显示了示例性状态，其中相应的数据点会正确地指示对操作者而言关键的信息；以及

图29显示了示例性的状态，其中，相应的数据点会不正确地指示对操作者而言关键的信息；

图30和31示意性地显示了根据本发明有限像素化视场结构的示例性应用；

图30显示了示例性的发射器，其能向有限视场发出光；

图31描述了创建与聚合物基板对齐的发射器的必要结构以便能够对有限视场观察的过程；

图32-37显示了根据本发明可以投射在HUD上的关键信息的选择示例性显示；

图32描述了示例性的包括对车辆操作者而言期望易视觉获取的特征的未增强的外部视图；

图33显示了由浓雾阻碍的示例性视图和可用于补偿雾的影响的示例性增强视觉显示；

图34显示了通过变道提高安全性的示例性图形显示；

图35显示了示例性的状态，其中外围突出特征加强特征与估计的操作者注视部位一起使用，以警告操作者注意关键信息；

图36显示了在HUD上描述导航方向的显示的示例性视图；

图37描述了附加的示例性视图，其描述可以在HUD上显示的关键信息；以及

图38示意性地描述了根据本发明实现上述方法的示例性信息流。

具体实施方式

现在参见附图，其中所述附图只是为了说明某些示例性实施方式的目的，并不是用于限制该实施方式，公开了一种使用增强视觉系统(EVS，enhancedvision system)在车辆的挡风玻璃上显示图形图像的方法，所述图形图像描述了车辆的运行环境。所述图形图像来自描述运行环境的传感器和/或数据输入，并包括对这些输入的处理以便将关键的信息传递给车辆的操作者或乘员。将要显示在挡风玻璃上的图形图像被附加地记录到通过挡风玻璃可观察的可视相关特征，从而想看的乘员可以按单独的可识别输入的方式观看相关特征和记录的图形图像。

图1显示了根据本发明装配有EVS系统的示例性车辆。车辆100包括EVS系统管理器110；车辆传感器系统，包括照相机系统120和雷达系统125；车辆操作传感器，包括车速传感器130；信息系统，包括GPS装置140和无线通讯系统145；平视显示器(HUD，head-up display)150；EVS图形系统155；图形投射系统158；以及乘员眼睛位置感测系统160。所述EVS系统管理器110包括可编程处理器，可编程处理器包括程序来监测各种输入并确定什么信息适合于显示在所述HUD上。EVS系统管理器可以与各个系统和部件直接通讯，或所述EVS系统管理器可以替代地或另外地通过LAN/CAN系统115通讯。EVS系统管理器使用与车辆运行环境相关的信息，这些信息从多个输入获得。照相机系统120包括照相机或图像获取装置，它们获取表示车辆的视图的周期的或序列的图像。雷达系统125包括本领域公知的用电磁辐射来检测车辆附近的其它车辆或对象的装置。多种公知的车载传感器被广泛地用在车辆中以监测车速、发动机转速、车轮滑移、和其它描述车辆运行的参数。示例性的车速传感器130被描述为代表这样一种描述车辆操作的车载传感器，但本发明旨在包括EVS系统使用的任何这种传感器。GPS装置140和无线通讯系统145是本领域公知的与车外信息源如卫星系统180和蜂窝式通讯塔190进行通讯的装置。GPS装置140可以与3D地图数据库一起使用，3D地图数据库包括由关于车辆当前位置的GPS装置140接收的涉及总体坐标的详细信息。HUD 150包括挡风玻璃，挡风玻璃装配有可以显示投射到其上的图像的特征部，同时保持透明或实质上透明以便车辆的乘员通过挡风玻璃可以清楚地观察车外。应当理解，虽然HUD 150包括车辆前方的挡风玻璃，但是车辆内的其它表面也可用于投射，包括侧窗和后窗。此外，前挡风玻璃上的视图可以作为连续的图像在前部车辆“A-柱”上且至所述侧窗上连续。EVS图形引擎(graphics engine)155包括显示软件或程序，所述显示软件或程序翻译请求从而以描述信息的图形表示的方式显示来自EVS系统管理器110的信息。EVS图形引擎155包括补偿挡风玻璃的弯曲和倾斜表面以及图形投射到的任何其它表面的程序。EVS图形引擎155控制图形投射系统158，图形投射系统158包括产生激励光(激发光)从而投射图形表示的激光器或投射装置。乘员眼睛位置感测系统160包括本领域公知的传感器以近似乘员头部的位置并进一步近似乘员眼睛的方位或注视部位。基于乘员眼睛位置感测系统160的输出以及与车辆周围环境相关的跟踪位置信息的输入数据，EVS系统管理器110可以准确地将图形图像记录至HUD，从而乘员可以通过挡风玻璃看见覆盖有视觉图像的图像。

上述EVS包括眼睛感测和头部感测装置，所述装置允许估计眼睛位置、允许在HUD上记录图像从而所述图像与操作者的视野相对应。然而，应当理解，头部和眼睛位置的估计可以通过多种方法获得。例如，在类似于调节后视镜的过程中，操作者可以在进入车辆时使用校准程序来将图形和检测到的对象对准。在另一实施方式中，在车辆中的纵向座椅位置可以用来估计驾驶员头部的位置。在另一实施方式中，后视镜的手动调节可以用来估计操作者眼睛的位置。应当理解，方法的组合也可以用来更加精确地估计操作者的头部位置，这些方法例如座椅位置和镜子调节角。在HUD上完成图形的精确记录的多种方法是可以预期的，且本发明不限于这里描述的具体实施方式。

示例性EVS包括：宽视场；全挡风玻璃(HUD)；实质上透明的屏幕，包括在其上显示投射的图形图像的功能；HUD图像引擎，包括在挡风玻璃上能投射图像的一个或多个激光器；输入源，其获得与车辆运行环境相关的数据；以及，包括程序的EVS系统管理器，所述程序监测来自输入装置的输入、处理所述输入并确定与运行环境相关的关键信息、并建立需要由HUD图像引擎建立图形图像的请求。然而，应当理解，该示例性EVS只是EVS能采取的多种构造方式中的一种。例如，视觉或照相机系统对接下来将描述的各种EVS应用都是有用的。然而，应当理解，示例性EVS系统可以不使用视觉系统来运行，例如，从仅仅GPS装置、3D地图数据库和车载传感器提供有用的信息。在替代选择中，应当理解示例性EVS系统可以不访问GPS装置或无线网络而运行，取而代之的是只使用来自视觉系统和雷达系统的输入。这里公开的系统和方法的多种不同的结构是可能的，本发明并不限于这里描述的示例性实施例。

包括HUD的挡风玻璃对EVS的运行是重要的。为了实现作为在其上可显示图形图像的显示装置的同时还能起到通过其可看到相关特征的媒介的作用，车辆的挡风玻璃必须是透明的且能显示激励光源所投射的图像。图2是根据本发明的实质上透明的显示器的示例图。观察者10通过基板14能看到任意对象(例如立方体12)。基板14可以是透明的或实质上透明的。在观察者10通过基板14看到任意对象12的同时，观察者10还可以看到基板14上产生的图像(例如圆15和三角形16)。基板14可以是车辆挡风玻璃、建筑窗户、玻璃基板、塑料基板、聚合物基板或其它本领域技术人员可以想到的透明(或实质上透明)的介质的一部分。其它基板可以补充基板14以提供色彩、基板保护、滤光(例如过滤外部紫外光)、以及其它功能。

图2显示了根据实施方式的透明显示装置的照射，通过来自光源(例如投射器或激光器，装置20所示)的激励光(例如紫外光或红外光)照射。基板14可以接收来自光源(例如投射器或激光器20)的激励光。接收到的激励光可以被基板14上的发光材料吸收。当发光材料接收所述激励光时，发光材料可以发出可见光。相应地，通过选择性地用激励光照射所述基板14，可以在基板14上产生图像(例如圆15和三角形16)。

根据本发明的实施方式，所述激励光可以是紫外光。如果所述激励光是紫外光，那么，当发光材料响应于紫外光发出可见光时，发生下变换(down-conversion)物理现象。具体地，紫外光比可见光具有短的波长和高的能量。相应地，当发光材料吸收紫外光并发出较低能量的可见光时，紫外光被下变换为可见光，因为紫外光在被转换成可见光时其能级下降。在实施方式中，所述发光材料是荧光材料。

根据本发明的实施方式，激励光可以是红外光。如果激励光是红外光，那么，当发光材料响应于所述红外光发出可见光时，发生上变换(up-conversion)物理现象。具体地，红外光比可见光具有长的波长和低的能量。相应地，当发光材料吸收红外光并发出较高能量的可见光时，红外光被上变换为可见光，因为红外光在被转换成可见光时其能级上升。在实施方式中，所述发光材料是荧光材料。在上变换物理现象中，多于一个红外光子的吸收对每个可见光子的发射是必要的。本领域技术人员应当理解这种需求，需要多光子的吸收会使得红外光与紫外光相比作为激励光是一种不太不理想的选择。

在图1所示的实施方式中，激励光由包括投射器的装置20输出。投射器可以是数字投射器。在实施方式中，投射器是微镜阵列(MMA)投射器(例如数字光处理(DLP，digital light processing)投射器)。输出紫外光的MMA投射器除了具有适应紫外光光谱的滤光器的色轮外，可以类似于输出可见光的MMA投射器。在其它实施方式中，投射器是液晶显示器(LCD，liquid crystal display)投射器。在实施方式中，投射器可以是硅基液晶(LCOS，liquid crystal on silicon)投射器。在实施方式中，投射器可以是模拟投射器(例如滑动胶片投射器或电影胶片投射器)。本领域技术人员应当会想到其它类型的可以用来在基板14上投射紫外光的投射器。

图3显示了根据本发明在表面上的示例性图形投射。辐射源310送出强烈的，不可见(或低于可见)辐射的准直(平行)光束。辐射光束穿过光学图像处理器330，且改变后的辐射光束350被投射到荧光变换(FC，fluorescenceconversion)显示屏380上。公开了多种图像显示的方法。在第一示例性方法中，扩大的静态辐射光束通过包括产生暗图像的通断式开关矩阵(例如，微小反射镜矩阵)的图像处理器330被应用，并且荧光可见图像通过暗图像的荧光变换而在显示屏380上产生。静态图像通常从查询表中产生。在第二示例性方法中，辐射光束与图像处理器330相联，图像处理器330包括二维光束扫描仪(例如检流计，声光光偏转器(AOLD，acousto-optic light deflector)，和电光光偏转器(EOLD，eletro-optic light deflector))。电信号被用于控制所述辐射光束以在给定的时间照射屏幕的具体点。一个示例性FC屏幕通常具有下列结构：层384，包含被附连或分散在均匀介质中的荧光毫微粒子或分子；涂层388，其传递不可见辐射的同时反射可见的发射光；以及基板层390，其吸收余下的不可见辐射。替代地，所述屏幕包括：层384，包含被附连或分散在均匀介质中的荧光毫微粒子或分子；涂层388，其吸收不可见辐射；和可见的透明基板层390。自粘接层和保护层例如防划层也可以添加到所述屏幕结构。

公开了FC的两种替代方案。图4显示了根据本发明利用激励光从HUD发出可见光的方案。如图4所示，所述第一方案被称为下变换，其中激励光的波长小于荧光波长。能级图显示了下变换分子或毫微粒子。短波长激励光的光子具有较多的能量，并导致从较低能级410到较高能级420的跃迁415。所述发射包括与具有较小能隙的两种能级相关的跃迁425。第二方案(未示出)被称作上变换，其中激励光的波长大于荧光波长。在所述第二方案中，需要来自激光器的两个或更多个光子来激励荧光粒子，以便产生可见荧光光子。较长波长的激励激光器导致从较低能态经过中间态到达较高能态的两个跃迁。所述发射包括与两个能级相关的跃迁，所述两个能级的能隙小于与两个激光光子相关的能量。针对第一种方案的通常方法是应用具有小于500nm波长的UV(或蓝)光源来激励图像屏幕上的荧光分子或毫微粒子。所述UV源包括固体激光器、半导体激光二极管、气体激光器、染料激光器、准分子激光器、和本领域熟悉的其它UV光源。针对第二种方案的通常方法是应用具有大于700nm波长的红外线激光器来激励所述屏幕上的荧光分子或粒子。所述IR激光器包括固体激光器、半导体激光二极管和本领域熟悉的其它IR源。在上述两种方式中，激励光束强度被调节以产生不同强度或灰度级的可见荧光。

还公开了多种荧光材料。这些材料的共同特性是荧光粒子的尺寸非常小。通常，具有0.5nm至500nm之间尺寸的毫微粒子或分子被优选为具有最小的散射效应，散射效应减少屏幕的可见透明度。这些材料分为四类：无机毫微米尺寸磷光体；有机分子和染料；基于半导体的毫微粒子；和有机金属分子。

对于下变换，下列材料可以用来形成FC显示屏：1.无机或陶瓷磷光体或毫微粒子，包括但不限于金属氧化物、金属卤化物、金属硫族化物(例如金属硫化物)、或它们的混合物，例如金属氧-卤化物、金属氧-硫族化物。这些无机磷光体在荧光灯和电子监视器中有广泛的应用。这些材料可以将较短波长光子(例如UV和蓝光)转换成较长波长的可见光，并能容易地沉积在显示屏上或分散在屏幕中。2.激光染料/吡咯甲川(pyrromethene)和小的有机分子，以及荧光有机聚合物。这些也可将较短波长激光光子(例如UV和蓝光)转换成较长波长的可见光，并能容易地沉积在显示屏上。因为它们在固体中处于分子状态，所以屏幕透明度由于没有粒子散射而得到保持。3.半导体毫微粒子，例如II-VI或III-V化合物半导体，例如，荧光量子点。此外，它们添加到屏幕中不会影响光学透明度。4.有机金属分子。所述分子至少包括金属中心，例如稀土元素(例如Eu，Tb，Ce，Er，Tm，Pr，Ho)和过渡金属元素例如Cr，Mn，Zn，Ir，Ru，V，以及主族元素例如B，Al，Ga等。金属元素被化学键合成有机基团以防止荧光从主体(基质，host)或溶剂中猝灭(quenching)。填充这种有机金属化合物的屏幕不会散射光或影响屏幕的透明度，这不像微尺寸粒子那样。

在上述的下变换FC材料或分子中，可以由长波UV(例如＞300nm)到蓝光(＜500nm)的激光器激励并产生可见光发射的那些材料或分子可以用在本申请的实施例中。例如，磷光体可以是掺有Ce的磷光体的石榴石系列：(YmAl-m)3(AlnB1-n)5O12，其中0＜＝m，n＜＝1；A包括其它稀土元素，B包括B、Ga。此外，包含金属硅酸盐、金属硼酸盐、金属磷酸盐和金属铝酸盐主体的磷光体被优选应用到FC显示器中；此外，毫微颗粒磷光体也被优选应用在FC显示器中，这些毫微颗粒包括：通常的稀土元素(例如Eu，Tb，Ce，Dy，Er，Pr，Tm)以及过渡或主族元素(例如Mn，Cr，Ti，Ag，Cu，Zn，Bi，Pb，Sn，Tl)作为荧光活化体。最后，一些无掺杂的材料(例如金属(如Ca，Zn，Cd)钨酸盐，金属钒酸盐，ZnO等)也是优选的FC显示材料。

商业激光染料是另一种示例性FC显示材料。多种商业激光染料可以从多个激光染料供应商那里获得，包括Lambda Physik，和Exciton等。部分优选的激光染料类包括：吡咯甲川，香豆素，若丹明，荧光素，其它芳(族)烃和它们的衍生物等。此外，有多种包含不饱和碳-碳键的聚合物，其也可以用做荧光材料，并具有多种光学和荧光应用。例如，MEH-PPV、PPV等已经被用在光电装置中，例如聚合物发光二极管(PLED)。这种荧光聚合物可以直接用作透明2-D显示屏的荧光层。此外，最近开发的半导体毫微粒子(例如量子点)也是优选的LIF显示材料。术语“半导体毫微粒子”，指的是直径为1nm至1000nm之间，优选为2nm至50nm之间的无机微晶。半导体毫微粒子能在激励(即，半导体毫微粒子是发光的)时发射电磁辐射。所述毫微粒子可以是均匀毫微晶体，或包括多种壳体。例如，其包括一个或多个第一半导体材料的“核心”，并可被第二半导体材料的“壳体”围绕。所述核和/或壳体可以是半导体材料，这些材料包括但不限于II-VI族(ZnS，ZnSe，ZnTe，CdS，CdSe，CdTe，HgS，HgSe，HgTe，MgS，MgSe，MgTe，CaS，CaSe，CaTe，SrS，SrSe，SrTe，BaS，BaSe，BaTe等)和III-V族(GaN，GaP，GaAs，GaSb，InN，InP，InAs，InSb等)以及IV(Ge，Si等)材料，以及它们的合金或混合物。

最后，包含稀土或过渡元素阳离子的荧光有机金属分子也被用在下变换荧光屏中。这种分子包括稀土元素的金属中心，所述稀土元素包括Eu，Tb，Er，Tm，Ce，其外保护有有机螯合基团。金属中心也可以包括过渡元素例如Zn，Mn，Cr，Ir等和主族元素例如B，Al，Ga。这种有机金属分子可以容易地溶解在液体或透明固态主介质(host media)中并形成用于具有最小光散射的所述2-D透明显示器的透明荧光屏。这种荧光有机金属分子的一些例子包括：1.三(二苯甲酰甲烷)单(邻二氮杂菲)铕(III)(Tris(dibenzoylmethane)mono(phenanthroline)europium(III))；2.三(8-羟基喹啉)铒(Tris(8-hydroxyquinoline)erbium)；3.三(1-苯基-3-甲基-4-(2，2-二甲基丙烷-1-oyl)邻二氮杂环戊烯-5-一)铽(III)(Tris(1-phenyl-3-methyl-4-(2，2-dimethylpropan-1-oyl)pyrazolin-5-one)terbium(III))；4.二(2-甲基-8-羟基醌)锌(Bis(2-methyl-8-hydroxyquinolato)zinc)；5.联苯硼烷-8-羟基喹啉酸盐(Diphenylborane-8-hydroxyquinolate)。

上变换磷光体与所述的下变换荧光材料的化学成分相似。用于荧光变换显示器的下变换磷光体还包括下列材料或分子的选择：1.激光染料，即，通过吸收至少两个红外光子且发射可见光而可被激励的有机小分子。2.荧光聚合物，即，通过吸收至少两个红外光子且发射可见光而可被激励的聚合物种类。3.无机或陶瓷粒子或毫微粒子，包括传统的上变换磷光体(例如金属氟化物，金属氧化物)，其通过吸收至少两个红外光子且发射可见光而可被激励。4.半导体粒子，包括毫微粒子，例如II-VI或III-V化合物半导体，例如量子点，已在上述“下变换”半导体中详细描述。

荧光上变换无机磷光体包括但不限于金属氧化物，金属卤化物，金属硫族化物(例如硫化物)，或它们的混合物，例如金属氧-卤化物，金属氧-硫族化物。它们通常掺有稀土元素(例如Yb<3+>，Er<3+>，Tm<3+>；一些主体的例子包括但不限于：NaYF4，YF3，BaYF5，LaF3，La2MoO8，LaNbO4，LnO2S；其中Ln是稀土元素，例如Y，La，Gd)。这些FC显示材料可被用于形成多种FC显示对象。这些对象包括：屏幕，板，窗户，壁，告示板，和其它显示表面。有多种手段将这些荧光分子或材料结合到显示表面上：1.它们可以溶解(有机染料)或分散(无机粒子)在溶剂(水或有机溶剂)中。液体荧光配方(liquidfluorescent formula)可以涂覆在表面上并在干燥后形成固体膜或涂层，或者它们可以以液体形式夹在两个表面之间。2.它们可以溶解(有机染料)或分散(无机粒子)在固体主体中，例如玻璃、聚合物、凝胶体、无机-有机混合主体、布、纸张、膜、带等，并将固体转变成用于激光显示的荧光对象。3.一些对象(例如布，纸张，带，荧光聚合物)可以已经包含荧光分子或发光官能团。在那种情况下，它们可以直接用作激光显示对象。

回到图2所示的示例性实施例，激励光从装置20输出，在该示例中，装置20是激光器。从装置20输出的激光束的强度和/或运动可以被调节以在基板14中产生图像。在下变换实施方式中，来自激光器的输出可以是紫外光。在上变换实施方式中，来自激光器的输出可以是红外光。

图2是根据实施例的分散在实质上透明的基板中的发光材料(例如，发光粒子22)的示例图。当激励光被发光粒子22吸收时，所述发光粒子发出可见光。相应地，在下变换实施方式中，当紫外光被发光粒子22吸收时，从所述发光粒子发出可见光。类似的，在上变换实施方式中，当红外光被发光粒子22吸收时，从所述发光粒子发出可见光。

在一些示例性实施方式中，多于一个投射器或激光器可以用来照射。例如，第一投射器可以用于发出第一颜色的发光材料的激励，第二投射器可以用于发出第二颜色的发光材料的激励。多于一个的投射器的使用可以增加由发光材料吸收的激励光的量。通过增加被吸收的激励光的量，可以增加从发光材料发出的可见光的量。发出的可见光的量越大，显示器越亮。在实施方式中，第一投射器可以指定用来促使红光的发出，第二投射器可以指定用来促使绿光的发出，第三投射器可以指定用来促使蓝光的发出。然而，其它配置是可以想到的。例如，可以想到使用两个投射器、四个投射器、促使原色发出的投射器、促使非原色发出的投射器、以及激光器以类似的配置代替投射器。

图2显示了根据本发明实施例的发光材料，其包括分散在实质上透明的基板中的发光粒子22。这些发光粒子22可以是整个图2中或如图2所示的实质上类似的粒子，所述粒子可以在成分上不同。当激励光被发光粒子22吸收时，所述粒子发出可见光。相应地，在下变换实施方式中，当紫外光被发光材料吸收时，从所述发光材料发出可见光。类似地，在上变换实施方式中，当红外光被发光材料吸收时，从所述发光材料发出可见光。在实施方式中，每个发光材料可以是不同类型的发光材料，其响应于激励光(例如紫外或红外光)的波长的不同范围发出不同波长范围的可见光。

发光粒子22可以分散在整个基板14中。在替代方案中，如图2所示，所述粒子可以设置在基板14的表面上。发光粒子22可以通过涂覆在基板14上而与基板14形成一体。发光材料可以是荧光材料，其响应于电磁辐射(例如可见光，紫外光，或红外光)的吸收而发出可见光，所述电磁辐射与发出的可见光相比具有不同的波长。所述粒子的尺寸可以小于可见光的波长，这会减少或消除由粒子导致的可见光的散射。粒子小于可见光波长的例子是毫微粒子或分子。根据实施方式，每个发光粒子具有小于约400纳米的直径。根据实施方式，每个发光粒子具有小于约300纳米的直径。根据实施方式，每个发光粒子具有小于约200纳米的直径。根据实施方式，每个发光粒子具有小于约100纳米的直径。根据其它实施方式，每个发光粒子具有小于约50纳米的直径。所述发光粒子可以是单个分子。

可以想到其它方法将发光材料一体形成在基板14的表面上。类似于图2所示的实施方式，每个发光材料可以是不同类型的发光材料，它们响应于激励光(例如紫外或红外光)的波长的不同范围发出不同波长范围的可见光。发光材料可以是荧光材料，其响应于电磁辐射(例如可见光，紫外光，或红外光)的吸收而发出可见光，所述电磁辐射与发出的可见光相比具有不同的波长。发光材料可以包括发光粒子。

在DLP或MMA投射器实施方式中，从DLP投射器发出的紫外光的波长可以使用色轮来调节，所述色轮具有特殊的紫外光通过过滤器。类似的调节技术可以应用在其它投射器实施方式中或激光器实施方式中。在实施方式中，可以使用多个投射器和多个激光器，每个都与具体的紫外波长范围相关联以激励具体类型的发光粒子，从而输出光的具体颜色。

图5显示了根据本发明发光粒子在基板上的示例性布置。图5是不同类型的发光粒子的示例图，这些粒子与不同的可见颜色相关，其可被涂覆在实质上透明的基板中的基板14的区域(例如，条纹区域32、条纹区域34以及条纹区域36)上。在实施方式中，基板14可以包括不同的区域，不同类型的发光粒子分散在所述不同的区域中。例如，第一类型的发光粒子(例如与红光相关的发光粒子)可以分散在条纹区域32中，第二类型的发光粒子(例如与绿光相关的发光粒子)可以分散在条纹区域34中，第三类型的发光粒子(例如与蓝光相关的发光粒子)可以分散在条纹区域36中。条纹区域可以以条带的形式(例如行)形成。在替代方案中，条纹部段可以被再次分成块矩阵图案(block matrixpattern)，每个块中具有交替的颜色。在涂覆在基板14的表面上的条纹区域的替代方案中，条带区域可以分散通过基板。

投射器或激光器(例如投射器或激光器20)可以使用激励所有不同类型的发光粒子的激励光波长范围，并通过激励光的空间调制选择性地照射不同的颜色。例如，在图5的例子中，为了在基板14给定的区域中发射绿色可见光，投射器或激光器可以照射条纹区域34的部分(例如，其包括与绿光相关的发光粒子)。在空间隔开的不同类型的发光粒子的实施方式中，不需要激励光源调节激励光的波长以产生不同的颜色，因为颜色可以通过激励光的空间调制来选择。

在实施方式中，图5中投射在基板14上的激励光可以被波长调制以导致不同颜色的发射。相应地，其可以不必空间调节所述激励光。当投射在基板14上的激励光被波长调制时，只有对特殊波长敏感的区域(例如条纹或象素)才会被照亮。在实施方式中，激励光可以既被空间调制又被波长调制。

图6显示了根据本发明分层布置在基板上的不同类型的发光材料。在实施方式中，发光材料92，94，96对光实质上是透明(可透过)的，除了对每种不同的发光材料92，94和96来说具有被吸收且不同的特殊波长范围的光。相应地，在实施方式中，投射在基板14上的激励光不需要被空间调制。此外，所述层可以以不同的厚度涂覆在所述基板上。通过涂覆不同厚度的不同发光材料92，94和96，特定类型材料的激励光的响应性可以被控制。例如，可以理想的平衡不同原色的发射，因为不同的发光材料可以由相同的吸收光的量以不同的强度照射不同的颜色。

在实施方式中，屏幕使用RGB元素被象素化。每个象素分别包括RGB的三个部分。单一投射的UV光束可以照在所述象素化的屏幕上。为了得到不同颜色的RGB的各种混合，在象素上的相同的UV投射光束可以被转换成覆盖象素内的RGB元素的特定量的面积。相应地，只有一个投射光束需要来产生全部颜色的投射图像。用于象素的RGB的颜色平衡可以被计算并转换成屏幕上的RGB元素的正确面积，随后所述光束可以被转换成覆盖每个RGB元素的正确的相对面积百分比，从而在象素上显示正确的颜色。

图7是根据本发明的不同发光材料的激励和发射关系的示例图。示例性区域48显示了第一种发光材料的激励/发射截面。示例性区域46显示了第二种发光材料的激励/发射截面。示例性区域50显示了第三种发光材料的激励/发射截面。然而，应当理解，多种示例性激励/发射截面是可以预期的，包括：其中能产生多个发射范围的单激励频率范围的实施方式，或相反地，其中多种激励频率范围可以交替地产生相同或重叠发射范围的实施方式。

多个发光粒子的每个可以具有小于约500纳米的直径。多个发光粒子的每个可以具有小于约400纳米的直径。多个发光粒子的每个可以具有小于约300纳米的直径。多个发光粒子的每个可以具有小于约200纳米的直径。多个发光粒子的每个可以具有小于约100纳米的直径。多个发光粒子的每个可以具有小于约50纳米的直径。多个发光粒子的每个可以是单个分子。多个发光粒子中的每个可以是单个原子。

上述实施方式描述了荧光粒子作为在车辆的不同的实质上透明的挡风玻璃上显示图形图像的方法。然而，本领域技术人员应当理解，其它公知的在可以是不同的实质上透明的显示器上投射图形图像的方法也是可行的。图8是根据本发明分散在实质上透明或半透明基板中的微结构的模式(图案)的示例图。微结构26被选择性地分散在基板14的区域中。微结构26的区域的宽度可以是约1纳米至约10毫米的范围。微结构26的区域形成一种模式(例如遮蔽体或格栅)，从而在具有微结构26的情况下观察者10的光路30具有受限制的截面。在实施方式中，所述模式是重复的。模式的填充因数可以在约0.01％至约99％的范围。然而，来自装置20的光路28可以与微结构26的区域成一角度，从而最大化具有微结构26的截面，增加来自装置20的可见图像的散射以增加基板14上的可见图像的照明。微结构26的区域的间距可以在约1纳米至约10毫米的范围内。微结构26的区域的厚度可以在约1微米至约10毫米的范围。微结构26的区域的厚度可以小于微结构26的区域的宽度和/或间距。

图9是根据本发明，类似于图8的，布置在实质上透明或半透明基板上的表面上的微结构模式的示例图。微结构38可以涂覆在基板14上的区域中。微结构38的区域形成遮蔽体，从而在具有微结构38的情况下观察者10的光路30具有受限制的(例如最小化的)截面。然而，来自装置20的光路28可以与微结构38的区域成一角度，从而最大化具有微结构的截面，增加来自装置20的可见图像的散射以增加基板14上的可见图像的照明。在实施方式中，具有微结构38模式的每个元件的基板14表面的截面小于实质上垂直于基板14的模式的深度，如此可以增加基板14的透明度。

图10是根据本发明，类似于图8的，分散在实质上透明或半透明基板中的成角度的微结构模式的示例图。微结构39的倾斜区域形成在基板14内。微结构39的倾斜区域的角度影响观察者10的光路30和投射器18的光路28两者的截面面积。通过增加光路28的截面，可以实现增加的可视图像的散射，从而增加可视图像在基板14上的照明。在实施方式中，微结构的倾斜区域也可以通过在基板14上涂覆微结构区域来实现。

下述实施方式涉及具有部分或定向透明屏幕的透明投射显示器。在该显示器中，常规的全色光学投射器(或单色扫描仪)可以用于部分或定向透明屏幕以显示光学图像。部分或定向透明屏幕可具有双重特性。第一，部分或定向透明屏幕可以足够地透明以允许环境光的视觉穿透。第二，部分或定向透明屏幕可以被填充或涂覆有反射性小粒子或微结构，它们能作为显示屏偏转或散射被投射的光学图像。这种粒子和微结构不完全阻断经过窗户的可见景象。

根据本发明，有多种方法来准备部分或定向透明屏幕。可以在透明或半透明玻璃或塑料基板中填充从1纳米至10微米的细微颗粒。透明或半透明玻璃或塑料基板可以被涂覆有1纳米至10微米的细微颗粒。透明或半透明薄玻璃片或塑料膜可以被填充有1纳米至10微米的细微颗粒。透明或半透明薄玻璃片或塑料膜可以被涂覆有1纳米至10微米的细微颗粒。漫射网格可以嵌入或模制(图案成形)在透明或半透明玻璃或塑料片的表面上。

有机和无机粒子或颜料都可以被应用在部分或定向透明屏幕中或屏幕上。一些例子包括：钛氧化物，硅石，氧化铝，乳胶，聚苯乙烯粒子。在实施方式中，这些粒子的尺寸可以在约1纳米至约10微米的范围。在实施方式中，这些粒子的尺寸可以在约10纳米至约1微米的范围。这些光散射材料可以以合适的浓度均匀地分散在玻璃或塑料主体中，或它们以合适的厚度涂覆在玻璃或塑料表面上。可以在粒子涂层上应用保护覆盖层或另外的主体层以防止对表面产生物理接触的损害。

用于部分或定向透明屏幕的玻璃可以包括对可见光而言是透明或半透明的无机固体。这种无机固体的例子是氧化物和卤化物。所述玻璃可以包括硅酸盐，硼硅酸盐，铅晶体，氧化铝，硅石，熔凝硅石，石英，玻璃陶瓷，金属氟化物，以及其它类似材料。这些类型的玻璃可以用作房间、建筑物、和/或运动车辆中的窗户。用于部分或定向透明屏幕的塑料可以包括对可见光而言是透明或半透明的有机和聚合固体。用于荧光屏的热塑性塑料可包括特殊的热固性固体，例如透明的凝胶体。所述塑料的一些例子包括聚丙烯酸、聚碳酸酯、聚乙烯、聚丙烯、聚苯乙烯、PVC、硅酮和其它类似材料。微结构可以一体形成在屏幕板中或表面上，以从一角度偏转被投射的图像，同时允许在法线视角位置实质上可见的透明度。不透明的漫射网格可以被嵌在薄玻璃或塑料片中。来自站在屏幕前的观察者的光散射网格的面积实质上小于来自图像投射器的光散射网格的面积。

根据实施例的定向透明屏幕结构可以提供很多优点。定向透明屏幕结构可以对垂直于屏幕或与屏幕的法线角度稍偏离的观察者来说是实质上透明的。定向透明屏幕结构可以在与屏幕呈一定倾斜角度处具有对投射图像高的反射和偏转。柱形的透明区域可以是以所述斜角度对投射图像来说是固态不透明的。这种强的图像散射可以加强在显示窗上投射图像的对比，同时不阻碍垂直于屏幕的直接观察。定向透明屏幕结构在车辆中可以是有用的，其中驾驶员的视线通常与挡风玻璃正交。在实施方式中，不透明的柱形物侵入透明主体玻璃或塑料的深度。在实施方式中，屏幕上微结构的尺寸和密度可以被改变以适应于标准视图的透明度和反射图像对比。屏幕的深度和投射角度也可以被改变来调节对比度和透明度。

在实施方式中，屏幕的表面可以被模制(图案成形)成各种非各向同性的结构以实现“非各向同性”的屏幕。例如，具有一定厚度(例如10纳米至1毫米)的覆盖层的模式(图案)可以通过各种印刷、冲压、光刻方法、微接触印刷、以及其它类似方法应用到屏幕表面。这种印刷可以在屏幕的表面上形成非常精细的散射特征和结构的模式，其可允许对投射图像的角度散射和显示，同时允许以实质上正交于屏幕的角度通过屏幕的实质上直接观察。

图11显示了根据本发明的基于FC显示器子系统的二维光束的示例性实施方式。激励源610优选穿过一系列光束直径控制光学装置612和2-D声光扫描仪615。扫描控制接口单元620协调直接数字合成器622、RF放大器625和光束直径控制光学装置612的功能。处理的图像光束通过角度扩展器650投射到FC屏幕上。为了在FC屏幕上传递一致和稳定的图像，分束器将图像偏转到位置敏感探测器(PSD)635中并通过位置敏感探测器处理器630进行处理、反馈到扫描控制接口单元620。由632、635、630和620形成的闭环图像反馈被结合以保持激光束的位置精度和指向稳定性。

对于本领域技术人员来说显而易见的是，在不脱离本发明精神和范围的情况下可以对本文公开的基于FC的显示器的系统、方法、材料和装置进行多种修改和改进。因此，本发明包括本发明公开内容的改进和变型，这些改进和变型落入随附的权利要求及其等同物的范围内。

在实施方式中，UV灯或较短波长可见灯被用在投射器中，所述投射器可以是液晶显示器(LCD)或DLP。所述投射器可以与计算机、PDA、DVD、VCR、TV或其它信息输入装置对接。在实施方式中，荧光屏可以是透明或半透明玻璃或塑料板，其中填充有荧光有机染料或无机磷。

透明或实质上透明的显示器可以具有很多应用。例如，透明或实质上透明的显示器可以在运动运载工具的透明或半透明窗户上显示图像，所述运动运载工具例如为汽车、摩托车、飞行器和船；所述图像可以是关于运载工具状态的信息。当前显示在仪表板电子显示器上的方向(例如GPS地图)可以被投射到运载工具的窗户(例如前玻璃，挡风玻璃)上。驾驶员不需要将其眼睛转移离开路面来查看所述运载工具的状态和/或方向。

在实施方式中，荧光屏可以是透明或半透明的玻璃或塑料板，其中填充有荧光有机染料或无机磷。在实施方式中，荧光屏可以是涂覆有荧光有机染料或无机磷的透明或半透明玻璃或塑料板。在实施方式中，荧光屏可以是透明或半透明的薄玻璃片或塑料膜，其中填充有荧光有机染料或无机磷。在实施方式中，荧光屏可以是涂覆有荧光有机染料或无机磷的透明或半透明薄玻璃片或塑料膜。用于荧光屏的玻璃可以包括无机固体，其对可见光是透明或半透明的。这种无机固体的例子是氧化物和卤化物。所述玻璃可以包括硅酸盐，硼硅酸盐，铅晶体，氧化铝，硅石，熔凝硅石，石英，玻璃陶瓷，金属氟化物，以及其它类似材料。这些类型的玻璃可以用作房间，建筑物，和/或运动车辆中的窗户。用于荧光屏的塑料可以包括有机和聚合固体，它们对可见光是透明或半透明的。用于荧光屏的热塑性塑料可包括特殊的热固性固体，例如透明的凝胶体。所述塑料的一些例子包括聚丙烯酸、聚碳酸酯、聚乙烯、聚丙烯、聚苯乙烯、PVC、硅酮和其它类似材料。

通过将玻璃和塑料与荧光染料结合在一起，玻璃和塑料可以变成荧光投射显示器。荧光染料是有机分子或材料，它们能吸收较高能量光子并发出较低能量光子。为了发出可见光，这些分子可以吸收通常波长范围在190nm至590nm或波长范围在300nm至450nm的UV光或较短波长(例如紫或蓝)可见光。荧光染料的一些例子包括(但不限于)从各个染料供应商可以买到的商业染料分子，这些染料供应商包括Lambda，Physik和Exciton。可以应用在透明显示器中的荧光染料包括吡咯甲川(pyrromethene)，香豆素，若丹明，荧光素，以及其它芳(族)烃和它们的衍生物。此外，还有多种包含不饱和键的聚合物，其可以作为荧光材料使用在透明显示器中。例如，它们中的一些(MEH-PPV，PPV等)已经被用在光电装置例如聚合物发光二极管(PLED)中。

通过将玻璃或塑料与磷光体材料结合在一起，玻璃或塑料可以变成荧光投射显示器。下变换磷光体包括无机或陶瓷粒子或毫微粒子，包括但不限于金属氧化物，金属卤化物，金属硫族化物(例如金属硫化物)，或它们的混合体如金属氧-卤化物和金属氧-硫族化物。这些无机磷光体在荧光灯和电子监视器中有广泛的应用。它们可以应用在将较短波长投射光(例如UV和蓝)转换成较长波长可见光中。它们可以被分散或涂覆于透明屏幕或窗户并由相应的较短波长投射光激励从而显示可见图像。

通过从紫外光(例如波长大于240纳米)至蓝光(例如波长小于500纳米)范围内的投射光，荧光磷或染料分子可以被激励成可见光。用于投射器的灯可以发出该范围内波长的光。这种灯在商业上是方便得到的(例如那些用于皮肤晒黑目的的灯)。它们可以是卤素灯，特殊的白炽灯，以及弧光蒸汽灯(例如汞，氙，氘核等)。这些灯可以包括磷以将较短波长的UV转换成较长波长的UV。

磷光体包含金属氧化物主体(例如金属硅酸盐、金属硼酸盐，金属磷酸盐，金属铝酸盐)；金属氧卤化物，氧硫化物，金属卤化物，金属硫化物，以及硫族化物(chalcoginedes)，其可以应用于所述投射荧光显示器。可以应用在荧光显示器中的磷光体的一个例子包括磷光体的石榴石系列：掺有Ce的(YmAl-m)3(AlnB1-n)5O12；其中0＜＝m、n＜＝1；A包括其它稀土元素，B包括B和/或Ga。此外，包括通常的稀土元素(例如Eu，Tb，Ce，Dy，Er，Pr，和/或Tm)以及过渡或主族元素(例如Mn，Cr，Ti，Ag，Cu，Zn，Bi，Pb，Sn，和/或Tl)的磷光体作为荧光活化剂可以应用于投射荧光显示器。一些无掺杂的材料(例如金属，Ca，Zn，Cd，钨酸盐，金属钒酸盐和ZnO)也是发光材料且可以用在投射荧光显示器中。

有机染料和无机磷可以填充在玻璃或塑料的主体内或涂覆在玻璃或塑料的主体上以准备荧光透明屏幕。所述染料分子，如果溶解在主体中，将不会散射可见光，但是它会吸收一些可见光并向主体增加一些颜色色调。相反，较大的磷粒子会散射可见光，这会影响主体的光学透明度。实施方式涉及不同的方法以减少磷粒子对可见光的散射。在实施方式中，磷粒子的尺寸被减小。在实施方式中，磷粒子的浓度被减少并被均匀地分散在所述主体中。在实施方式中，选择折射率接近于磷的折射率的主体来减少散射，或选择折射率接近于主体的折射率的磷来减少散射。

公知的车辆系统使用传感器、来自各种装置的输入和车载或远程处理以建立与车辆周围环境相关的信息。例如，自适应巡航控制系统使用传感器如雷达装置来跟踪对象，例如主车前方的目标车辆，并根据相对于目标车辆感测到的范围和范围的改变来调节车速。防撞系统或碰撞准备系统分析车辆路径中感测到的对象，并基于感测到的对象和车辆之间碰撞的感知可能性来采取措施。车道保持系统使用可利用的传感器和数据以保持车辆在车道标志内。

图12显示了根据本发明的车辆710系统的示意图，所述车辆已经构造有目标跟踪系统。所述示例性车辆包括用在高速公路上的客车，但是应当理解，这里描述的本发明可以应用在任何车辆上，或应用在设法监测远程车辆和其它对象的位置和轨迹的其它系统上。所述车辆包括控制系统，控制系统包括在各个时间执行的各种算法和校准。所述控制系统优选为整车控制结构的子集，整车控制结构可操作以提供协调的车辆系统控制。所述控制系统可操作以监测来自各种传感器的输入，合成有关的信息和输入，并执行算法以控制各个致动器而实现控制目标，控制目标包括例如防撞和自适应巡航控制这样的参数。所述车辆控制结构包括多个分布式处理器和装置，这些处理器和装置包括提供如防抱死制动、牵引控制和车辆稳定性之类功能的系统控制器。

参见图12-14，示例性的车辆710包括控制系统，所述控制系统具有：观测模块722；数据关联和聚类(DAC)模块724，该模块进一步包括卡尔曼(Kalman)滤波器724A；以及轨迹生命管理(TLM，track life management)模块726，其记录轨迹列表726A，轨迹列表726A包括多个对象轨迹。更具体地，所述观测模块包括传感器714和716，它们的各自传感器处理器，以及传感器、传感器处理器和DAC模块之间的互联。

示例性感测系统优选包括对象定位传感器，对象定位传感器包括至少两个前视范围传感装置714和716和相应的子系统或处理器714A和716A。对象定位传感器可以包括短程雷达子系统，远程雷达子系统，以及前方视觉子系统。对象定位传感装置可以包括任何的范围传感器例如FM-CW雷达，(FrequencyModulated Continuous Wave)，脉冲和FSK(Frequency Shift Keying)雷达，和激光雷达(Light Detection and Ranging)装置，以及超声装置，其依靠例如多普勒效应测量这样的效应来定位前方对象。可能的对象定位装置包括电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)视频图像传感器，以及其它公知的照相机/视频图像处理器，它们使用数字照相方法来“观察”前方对象。这些感测系统在车辆应用中被用来检测和定位对象，可以与这些系统一起使用的所述应用包括，例如自适应巡航控制，防撞，碰撞准备，和侧方对象检测。所述示例性车辆系统还可以包括全球位置感测(GPS)系统。

这些传感器优选布置在车辆710内相对于车辆前方的景象处于相对没有障碍的位置。还应当明白，这些传感器中的每一个提供目标对象的实际位置或状态的估计，其中所述估计包括估计的位置和标准偏差。这样，对象位置和状态的传感检测和测量通常指的是“估计”。还应当理解，这些传感器的特性是互补的，其中一些传感器在估计某些参数方面比其它的传感器更可靠。传统的传感器具有不同的工作范围和角度覆盖面，且其可以在它们工作范围内估计不同的参数。例如，雷达传感器可通常用来估计对象的距离(范围)，距离变化率和方位角位置，但是通常在估计检测对象的范围时是不稳定的。具有视觉处理器的摄影机(照相机)在估计对象的形状和方位角位置时更稳定，但在估计对象的距离和距离变化率时则不够有效。扫描型激光雷达能有效且准确地估计距离和方位角位置，但通常不能估计距离变化率，因此相对于新对象的获取/识别来说是不准确的。超声传感器能估计距离但通常不能估计或计算距离变化率和方位角位置。此外，应当理解，每个传感器技术的性能受不同环境情况的影响。这样，传统的传感器提供参数的差异，但更重要的是，这些传感器的工作范围的重叠产生传感融合的可能。

每个对象定位传感器和子系统提供输出，所述输出包括：距离R、距离基于时间的改变R_dot、和优选相对于车辆纵轴线的角度Θ，其可记录为测量矢量(°)，即，传感器数据。示例性短程雷达子系统具有160度的视场(FOV)和30米的最大量程。示例性长程雷达子系统具有17度的视场和220米的最大量程。示例性前方视觉子系统具有45度的视场和50米的最大量程。对于每个子系统来说，视场优选围绕车辆710的纵轴线定向。车辆优选被定位到坐标系，称为XY坐标系720，其中车辆710的纵轴线建立X轴，具有在方便车辆和信号处理的点上的轨迹(locus)，Y轴由水平面内且垂直于车辆710纵轴线的轴线建立，因此所述水平面平行于地面。

图14显示了根据本发明的示例性数据融合处理。如图14所示，所示的观测模块包括位于和定位在车辆上的离散点A的第一传感器714，第一信号处理器714A，位于和定位在车辆上的离散点B的第二传感器716，和第二信号处理器716A。第一处理器714A将从第一传感器714接收到的信号(表示为测量值^OA)进行转换以确定距离(RA)、距离随时间的改变率(R_dotA)、和在每个目标对象730测量时估计的方位角(ΘA)。类似地，第二处理器716A将从第二传感器716接收到的信号(表示为^OB)进行转换以确定第二套距离(RB)、距离随时间的改变率(R_dotB)、和对对象730估计的方位角(ΘB)。

示例性DAC模块724包括控制器728，其中存储有算法和相关的校准(未显示)，并构造成接收来自每个传感器A，B的估计数据，以将数据聚类为类似的观测轨迹(observation track)(即，在一系列离散的时间事件内，由传感器714和716对对象730的时间一致性的观测)，并融合这些聚类的观测以确定真实的轨迹状态。应当理解，使用不同的感测系统和技术来融合数据将产生稳定的结果。再者，应当理解，在该技术中可以应用多个传感器。然而，还应当理解，传感器数量的增加导致算法的复杂性增加，且在相同的时间帧内需要更强大的计算能力来产生这些结果。控制器728可以装设于主车710内，但也可以位于偏远的位置。考虑到此方面，控制器728电联接至传感器处理器714A，716A，但也可以通过RF，LAN，红外或其它传统的无线技术进行无线联接。TLM模块726构造成接收被融合的观测和将所述观测存储在轨迹列表726A内。

在多目标跟踪“MTT”)融合中，传感器配准(sensor registration)，或传感器的“对准”，包括确定连同目标状态变量一起的传感器的位置、方位和系统偏差。在通用的具有传感器配准的MTT系统中，目标轨迹(跟踪)在车辆运行中产生。轨迹(track)表示物理对象并包括多个系统状态变量，这些状态变量包括例如位置和速度。来自各个独立传感器的测量通常与特定的目标轨迹相关联。多个传感器配准技术在本领域是公知的，在此不再赘述。

图12的示意性说明包括安装在示例性车辆中位置A和B处的前述对象定位传感器714和716，优选安装在车辆710的前部。所述目标对象730远离车辆运动，其中t1，t2，t3表示三个连续的时间帧(时间范围)。线ra1-ra2-ra3，rf1-rf2-rf3，和rb1-rb2-rb3分别表示由第一传感器714、融合处理器和第二传感器716在时间t1，t2和t3测量到的目标的位置，使用位于点A，B处的传感器714和716测量的结果以O_A＝(R_A，R_dot_A，Θ_A)和O_B＝(R_B，R_dot_B，Θ_B)的形式表示。

公知的示例性轨迹融合处理，例如在美国专利号为No.7,460,951，名称为“SYSTEM AND METHOD OF TARGET TRACKING USING SENSORFUSION”(使用传感器融合的目标跟踪的方法和系统)的专利中公开，该专利通过引用的方式包含于此，其允许确定装置相对于车辆在XY坐标系中的位置。所述融合处理包括使用位于点A，B处的传感器714和716以O_A＝(R_A，R_dot_A，Θ_A)和O_B＝(R_B，R_dot_B，Θ_B)的形式测量目标对象730。目标对象730的融合位置被确定，表示为x＝(RF，R_dotF，ΘF，Θ_dotf)，其中如上所述R表示距离，Θ表示角度。前方对象730的位置随后被转换成相对车辆的XY坐标系的参数化坐标。控制系统优选使用融合的轨迹轨线(线rf1，rf2，rf3)(包括多个融合的对象)作为基准(即地面实况)来估计传感器714和716的真实传感器位置。如图12所示，融合的轨迹轨线在时间序列t1，t2，t3由目标对象730给出。使用大量的关联对象的对应，例如{(ra1，rf1，rb1)，(ra2，rf2，rb2)，(ra3，rf3，rb3)}，分别在A和B点处的传感器714和716的真实位置可以被计算以最小化残数，优选使用公知的最小平方计算方法。在图12中，表示为ra1，ra2，ra3的项目表示第一传感器714测量到的对象映射(object map)。表示为rb1，rb2，rb3的项目表示第二传感器716观测的对象映射。

图13显示了根据本发明的用在创建轨迹列表中的信息流。在图13中，参考的轨迹优选在上述图14的传感器融合块728中计算和确定。传感器配准的处理包括确定传感器714和716的相对位置，以及由XY坐标系识别的车辆的范围与它们的坐标系之间的关系。现在描述单个对象传感器716的配准。所有的对象传感器优选做类似处理。对于对象映射补偿，优选使用传感器坐标系或范围，即UV坐标系和车辆坐标范围，即XY坐标系。传感器坐标系(u，v)被优选如此定义：(1)原点在传感器中心，(2)v-轴沿着纵向方向(视轴)；以及(3)u-轴垂直于v-轴并指向右边。车辆坐标系，如前述被表示为(x，y)，其中x轴表示车辆纵轴线，y轴表示车辆横轴线。

轨迹(x)的位置在XY坐标系中可以表示为(r)。传感器测量(o)在UV坐标系中可以表示为(q)。传感器配准参数(a)包括UV坐标系的转动(R)和平移(r0)。

图15显示了根据本发明使得能够联合跟踪和传感器配准的示例性数据流。所述方法开始于传感器数据的接收。数据关联模块将传感器数据与目标的预测位置相匹配。联合跟踪和配准模块组合先前的估计(即先验)和新的数据(即匹配的测量-轨迹对)，并且更新数据库中的目标轨迹估计和传感器配准数据。时间传播处理模块基于历史的传感器配准、轨迹和当前的车辆运动学通过动态模型预测下一时间循环内的目标轨迹或传感器配准参数。传感器配准参数通常假定为实质上不随时间变化。配准参数的置信度随着时间累积。然而，当检测到显著的传感器配准变化(例如车辆碰撞)时，关于配准的先验信息将被重设为0。

对象轨迹可以用于多种目的，包括自适应巡航控制，其中如上所述，车辆调节速度以保持距当前路径中的车辆的最小距离。可以应用对象轨迹的另一个类似的系统是碰撞准备系统(CPS)，其中识别的对象轨迹被分析以基于相对于车辆的轨迹运动来识别很可能即将来临的或即将发生的碰撞。CPS警告驾驶员即将来临的碰撞并在碰撞被认为不可避免的情况下通过自动制动来减少碰撞严重性。公开了一种利用具有CPS的多对象融合模块的方法，所述方法在碰撞被确定为即将发生时提供对策，例如安全带收紧，节气门怠速，自动制动，气囊准备，头部约束的调节，喇叭和前灯启用，踏板或转向柱的调节，基于估计到的碰撞的相对速度进行的调节，悬架控制调节，以及稳定性控制系统的调节。

图16示意性地显示了根据本发明传感器输入被融合成在碰撞准备系统中可用的对象轨迹的示例性系统。与车辆周围环境中的对象相关的输入被数据融合模块监测。数据融合模块分析、过滤、或相对于各种输入的可靠性按优先顺序区分所述输入，被区分优先顺序或加权的输入被加起来以产生针对车辆前方的对象的轨迹估计。这些对象轨迹随后被输入到碰撞威胁评估模块，其中每个轨迹都用来评估碰撞的可能性。这种对于碰撞的可能性可以被评价，例如，相对于碰撞可能性的阈值来评价，并且如果碰撞被确定为可能，则碰撞对策可被启动。

如图16所示，CPS使用其距离传感器(例如雷达和激光雷达)以及照相机连续监测周围的环境并采取合适的对策以避免发展成碰撞的事件或状态。碰撞威胁评估产生用于系统致动器的输出以进行响应。

如图16所示，融合模块适用于整合来自各个传感装置的输入并产生车辆前方对象的融合轨迹。在图16中产生的融合轨迹包括相对于车辆的对象的相对位置和轨线的数据估计。该基于雷达和其它测距传感器输入的数据估计是有用的，但包括使用来产生所述轨迹的传感器装置的不准确性和不精确性。如上所述，不同的传感器输入可以被综合利用以提高所产生轨迹中涉及的所述估计的准确性。特别的，具有侵入性后果的应用，例如自动制动和潜在的气囊展开，需要在即将来临的碰撞的预测中具有高的准确性，因为错误的确定会对车辆驾驶性能具有较高的影响，错误的指示会导致不起作用的安全系统。

视觉系统提供了用在车辆控制系统中的替代的传感器输入源。分析视觉信息的方法在本领域是公知的，包括模式识别，角点检测，竖直边缘检测，竖直对象识别，以及其它方法。然而，应当理解，需要来识别实时运动的高速刷新的车辆前方视场的高分辨率视觉图像包括很大量需要分析的信息。视觉信息的实时分析可能是昂贵的。公开了一种融合来自视觉系统的输入的方法(具有由例如上述示例性轨迹融合方法产生的融合轨迹)，以在最可能导致碰撞威胁的视觉信息的一部分上集中视觉分析并使用融合的分析来警告可能就要发生的碰撞事件。

图17示意性地显示了根据本发明的示例性图像融合模块。图17的融合模块监测距离传感器数据(包括对象轨迹)和照相机数据的输入。对象轨迹信息被用来提取与对象轨迹信息对应的视觉数据中感兴趣的图像块(image patch)或定义区域。随后，在图像块中的区域被分析，图像块中指示对象的数据中的特征或模式被提取。被提取的特征被随后根据任意数量的分类器分类。示例性分类可以包括如下分类：快速运动的对象如运动中的车辆；低速运动的对象如行人；和静止的对象如街道标志。包括分类的数据随后根据数据关联来分析，以形成基于视觉融合的轨迹。这些关于所述(图像)块的轨迹和关联数据随后被存储起来，用于与新数据的迭代比较和相对车辆运动的预测以给出可能的或即将发生的碰撞事件。此外，反映先前选择的图像块的感兴趣的区域可以向前送到执行图像块提取的模块，以提供迭代视觉数据分析的连续性。这样，距离数据(range data)或距离轨迹(range track)信息被叠加在图像平面上以改善碰撞事件的预测和可能性分析。

图19显示了根据本发明的在相应图像平面上的距离数据叠加，这在各种目标对象的系统内部分析中是有用的。阴影条是叠加在前视照相机的图像中的雷达轨迹。位置和图像提取模块提取围绕距离传感器轨迹的图像块。所述特征提取模块使用下述转换来计算图像块的特征：边，梯度定位柱状图(HOG)，尺度不变特征转换(SIFT)，Harris角点检测器，或投射到线性子空间上的图像块。分类模块将提取的特征作为输入并提供给分类器以确定图像块是否围绕对象。所述分类确定每个图像块的标签。例如在图19中，框A和B被识别为车辆，而未标记的框被识别为路旁对象。预测处理模块使用对象的历史信息(即前一个循环中的位置，图像块，和标签)并预测当前值。数据关联将当前的测量和预测的对象相链接，或确定测量源(即位置，图像块，和标签)来自于具体的对象。最后，对象跟踪器被启动以产生更新的位置并保存到对象轨迹文件中。

图18示意性地描述了根据本发明的示例性Kalman滤波器组，所述滤波器操作以估计群组对象的位置和速度。不同滤波器用于不同的常量滑行(constantcoasting)目标，高纵向机动目标，和静止目标。Markov决策过程(MDP)模型被用来基于观测和目标先前的速度轮廓(speed profile)来选择具有最可能测量的滤波器。该多模型滤波器方案减少了跟踪反应时间，这对CPS功能来说是重要的。

可能碰撞事件的反应可以基于增加的可能性来计量。例如，在确定可能性较低的情况下可以使用轻微的自动制动，响应于确定为高阈值可能性可以采取更强的措施。

此外，应当理解，改善的判断可能性的精度可以通过警告模型的重复训练来获得。例如，如果警告被发出，则回顾选择(review option)可以通过声音提示，屏幕询问(on-screen inquiry)，或任何其它输入方法提供给驾驶员，要求驾驶员确认将要发生的碰撞警告是否是合适的。在本领域已知多种方法来适应正确的警告，错误警告或遗漏的警告。例如，本领域公知的机器学习算法可以用来适应性地利用程序，根据反馈的特性将加权和重点分配给替代性的计算。此外，模糊逻辑可以用于基于反馈根据可缩放因子(scalable factor)调节系统的输入。这样，系统的准确性可以随着时间并根据操作者的具体驾驶习惯而得到改善。

应当理解，CPS应用的类似的方法可以用在防撞系统中。通常这样的系统包括对操作者的警告，自动制动启动，自动侧向车辆控制，改变悬架控制系统，或其它的帮助车辆避免预测到的潜在碰撞的动作。

此外，已知多种方法通过传感器输入来获得车道保持或将车辆置于车道内。例如，一种方法可以分析包括道路表面上的油漆线的视觉信息，并利用这些标记将车辆置于车道内。一些方法使用其它车辆的轨迹来合成或辅助建立与车辆相关的车道几何参数。GPS装置，与3D地图数据库一起使用，使得能够根据全球GPS坐标来估计车辆的位置并用已知的道路几何参数覆盖该位置。

公开了一种用于产生道路上车辆行驶车道的几何参数估计的示例性方法。所述方法包括：监测来自全球定位装置的数据；基于起点和目的地监测表述投射的行驶路线的地图航路点数据；监测来自视觉子系统的照相机数据；监测车辆的运动学数据包括：车速，车辆偏航率；基于地图航路点数据和地图数据库确定车辆区域内的车道几何参数；基于车道几何参数、来自全球定位装置的数据、和照相机数据来确定相对于车道几何参数的车辆位置；基于车辆位置、照相机数据、和车辆运动学数据确定车辆位置处的道路曲率；基于道路曲率、照相机数据和车辆运动学特性确定车辆的方位和车辆与行驶车道中心的横向偏移；以及，在车辆的控制方案中利用车辆位置、道路曲率、车辆方位和车辆横向偏移。

图20显示了根据本发明使用传感器来获取车辆前方道路几何数据的示例性车辆。所述示例性车辆包括用在高速公路上的客车，但应当理解，这里描述的本发明可以应用在任何车辆上，或设法监测远程车辆和其它对象的位置和轨迹的其它系统上。所述车辆包括控制系统，控制系统包括在各个时间执行的各种算法和校准。所述控制系统优选为整车控制结构的子集，其提供坐标化的车辆系统控制。控制系统监测来自各种传感器的输入、综合有关的信息和输入、并执行算法来控制各种致动器以实现控制目标，从而实现例如防撞和自适应巡航控制。所述车辆控制结构包括多个分布式处理器和装置，分布式处理器和装置包括系统控制器，其提供例如防抱死制动、牵引控制、和车辆稳定性之类的功能。

在图20的示例性实施方式中，车辆760包括视觉子系统766。视觉子系统766使用能产生表示车辆前方区域的数字图像的照相机或成像装置。来自视觉子系统766的数据被用来描述车辆前方的状态并参考车辆760的中心轴线被转换到XY坐标系770中。示例性的视觉子系统的视场由虚线表示。道路上的行驶车道根据车道标记775A和775B和可以被视觉发现的描述性常见特征来描述，并被用来描述相对于车辆760的车道几何参数。这样，使用本领域技术人员公知的方法，从对图像或照相机数据的分析得到的信息可以用作关于车辆760向前行驶的状态。

系统内的每个处理器优选为通用数字计算机，所述计算机通常包括：微处理器或中央处理单元，只读存储器(ROM)，随机存取存储器(RAM)，电可编程只读存储器(EPROM)，高速时钟，模数转换(A/D)和数模转换(D/A)电路，以及输入/输出电路和装置(I/O)和合适的信号调节及缓冲电路。每个处理器具有一系列控制算法，包括存储在ROM中并被执行来提供各自功能的驻留程序指令和校准。

这里描述的算法通常在预定的循环中被执行，从而每个算法在每个循环周期中被执行至少一次。存储在非易失存储装置中的算法被中央处理单元中的一个执行并可操作来监测来自传感装置的输入以及使用预设的校准执行控制和诊断程序，从而控制各个装置的运行。循环周期在正在进行的车辆操作中通常以规则间隔例如每3、6.25、15、25和100毫秒被执行。替代地，算法可以响应于事件的发生被执行。

车辆760使用的传感器，例如视觉子系统766和其它雷达或测距装置，优选定位在车辆760内相对车辆前方的景象不受阻碍的位置。还应当理解，每个传感器提供车辆前方的道路或道路上的对象的实际细节的估计。应当理解，这些估计不是精确位置，每个估计的偏离标准都是可能的。还应当理解，这些传感器的特性是互补的，其中一些传感器在某些参数估计方面比另一些更可靠。传统的传感器具有不同的工作范围和角度覆盖面，且其可以在它们工作范围内估计不同的参数。例如，雷达传感器可通常用来估计对象的距离、距离变化率和方位角位置，但是通常在估计所检测对象的范围时是不稳定的。具有图像处理器的摄影机在估计对象的形状和方位角位置时更稳定，但在估计对象的距离和距离变化率时则不够有效。扫描型激光雷达能有效且准确地估计距离和方位角位置，但通常不能估计距离变化率，因此相对于新对象的获取/识别来说是不准确的。超声传感器能估计距离但通常不能估计或计算距离变化率和方位角位置。描述车辆运动学特性如速度和偏航率的传感器是不够精确的，特别是在跟踪车辆运动的小变化时可能不可靠。此外，应当理解，每个传感器技术的性能受不同环境情况的影响。因此，传统的传感器提供参数的差异，传感器的工作范围的重叠产生传感融合的可能。

优选的控制模块包括控制器，其中存储有算法和相关的校准，并被构造成接收来自可利用的传感器的估计数据以将数据聚类为车辆前方状态的可使用的估计，并融合这些聚类的观测以确定需要的车道几何参数和相对的车辆位置估计。应当理解，使用不同感测系统和技术的融合数据产生功能稳定的结果。还应当理解，任何数量的传感器可以用在该技术中。

给出了一种在系统内创建和维持道路和车道几何参数的估计的方法，其中历史的测量被用来估计或预测随后的轨迹数据。示例性系统基于时间T时的函数作出估计以描述时间T+1时的系统状态。通常，为了支持实时估计，表示高斯分布的信息阵列被用来估计未知误差的影响。这种系统使得对车辆前方道路状态的估计的融合和收集成为可能。然而，应当理解，使用历史数据和高斯分布的这种系统包括基于求平均和正态分布假设的固有误差。例如，在车道几何参数估计操作中，为车辆行进建立估计的安全行驶车道，车辆后方的直车道对于车辆前方道路上的急转弯没有实际的减小影响。关于车辆前方车道的数据的发散(分歧)不需要通过具有高斯分布的随机矢量的应用来改进以解决所述发散。使用历史求平均和正态或高斯分布的方法，例如依靠Kalman滤波器的方法，经常包括误差因素，该错误因素导致道路几何参数过渡或改变的时间滞后。

公开了一种替代的方法，所述方法用来基于历史数据或正态分布通过融合来自GPS数据、视觉照相机子系统和车辆运动学特性的当前测量，不会出现误差地产生车道几何参数和车辆相对车道的位置和定位的估计。

通常的车道几何参数是通过GPS装置和3D地图的使用而容易获得的信息。给定来自GPS装置的大致位置，局部化的道路几何参数可被转换成一系列道路形状点。相似地，包括全球纬度测量和全球经度测量的GPS坐标可通过GPS装置得到。至少包括车速和偏航率的车辆运动学特性可通过监测车辆操作和/或监测加速度计读数的传感器得到。照相机数据可以用来将车辆定位于行驶的实际车道。车道感测系数通过照相机数据来定义(即，y＝a+bx+cx²+d³，其中x是车道纵向偏移，而y是从车道中心的横向侧偏)。通过该数据，前方车道估计模块可以估计车道的曲率、从车道中心的横向偏移、以及相对于车道切线的车辆方位。

图21显示了根据本发明示例性的前进车道估计处理。示例性处理包括地图几何模型模块，车辆姿态定位模块，曲率估计模块，以及车辆侧向(横向)跟踪模块。所述地图几何模型模块输入地图航路点并输出车辆区域内的车道几何参数，航路点由本领域公知的方法确定，包括在地图数据库中确定从起点或当前点到目的地或经过点的广义路径(generalized path)。该车道几何参数可被描述为包括区域中的道路的几何表示的弧。车辆姿态定位模块输入来自地图几何模型模块的道路几何参数、来自GPS装置的GPS坐标以及来自视觉子系统的照相机数据，并输出车辆区域内相对于车道几何参数的估计的车辆位置。与车道几何参数或所述弧相关的车辆位置可以描述为弧长参数(s_m)。所述曲率估计模块输入照相机数据、来自车辆传感器的车辆运动学数据如车速和偏航率以及s_m，并且输出曲率(K)或车辆位置处道路上的曲线的测量。最后，车辆侧向眼踪模块输入照相机数据、车辆运动学数据和K，并且输出关于车辆位置和车辆角向的数据，所述车辆位置是参考当前车道的中心的，且车辆角向是参考车道的当前前进方向的。这样，涉及车辆当前位置和行驶的当前输入可被用于生成与车辆区域内的车道几何参数相关的数据，以及与车道相关的车辆位置和方向。

如上所述，地图几何模型模块输入地图航路点并输出车辆区域内的车道几何参数。具体的，所述地图几何模型模块监测地图数据库内描述的地图形状点的输入并构造表示形状点的几何模型。图22显示了根据本发明的示例性处理，其中来自地图数据库的信息被用来构造车辆区域内道路的几何模型。示例性处理包括从地图数据库收集描述道路几何参数的地图形状点。地图数据库以全球坐标形式提供地图形状点，全球坐标通常以纬度位置、经度位置和高度或海拔形式来描述位置。随后全球坐标被转换到局部坐标系，通常将与车辆位置近似的点识别为静态参考点，并将任何其它位置描述为从所述参考点的向北位移和从所述参考点的向东位移。随后地图形状点用样条(函数)拟合以产生近似被表示的道路几何学的几何形状或弧。最后，在车辆的估计位置处确定拟合样条函数的切线和曲率。

描述了在地图几何模型内的示例性确定。使{(lat_i，lon_i)|i＝1，...，N}成为形状点。拾取一个点作为参考点，该点可以将形状点转换到局部坐标{(e_i，n_i)|i＝1，...，N}，表示从参考点向东和向北的位移。用s₁＝0，i≥2定义系列{(s_i，e_i，n_i)|i＝1，...，N}，获得了二维三次样条函数来如下拟合形状点：

$\left(\begin{array}{c}e\\ n\end{array}\right)=f\left(s\right)---\left[1\right]$

其中，s是弧长参数，e和n分别是位移的东和北分量。随后，s处的梯度矢量被如下计算。

$\left(\begin{array}{c}{e}^{\prime }\\ n^{\prime }\end{array}\right)=f^{\prime }\left(s\right)---\left[2\right]$

而且方向角如下计算。

ξ＝atan2(n′，e′)                        [3]

最后，s处的曲率K如下计算：

$k=\frac{e^{\prime }{n}^{\prime \prime }-n^{\prime }{e}^{\prime \prime }}{{(e^{\prime 2}+n^{\prime 2})}^{3/2}}---\left[4\right]$

其中，$\left(\begin{array}{c}{e}^{\prime \prime }\\ n^{\prime \prime }\end{array}\right)=f^{\prime \prime }\left(s\right)$

如上所述，车辆姿态定位模块输入来自地图几何模型模块的车道几何参数、来自GPS装置的GPS坐标、来照相机的数据，并输出车辆区域内关于车道几何参数的估计的车辆位置。本领域技术人员应当理解，问题可以针对监测的GPS数据由地图中的定位来描述。地图几何参数由样条函数表示，例如公式1表述的函数。该样条描述了离散的位置，其中道路车道是存在的。由GPS数据测量的点以的示例性形式返回。在GPS装置中一些偏差的不精确和不准确是正常的。在样条函数中误差也是固有的。P与地图几何样条很少精确地一致。所述样条函数描述了车道中的点，例如车道中心，而且实际的车辆位置经常从车道中心偏离一可测量的量。在地图上车辆的大致位置必须基于P和区域中估计的道路几何参数而确定。修正P和道路的几何表示之间的偏差的一个示例性的解决方案是寻找最近点[e_m，n_m]T＝f(s_m)，使得s_m＝arg_s min‖P-f(s)‖。该示例性方法对近似s_m来说是有用的，并可以迭代应用以寻找车辆在道路曲线中的位置并在监测到的数据的改变时改善估计的位置。

图23图示了根据本发明的示例性迭代方法，其寻找车辆相对于估计的道路几何参数的近似位置。使s₀成为s_m的初始估计。弧长参数的修正可以如下表示：

$\mathrm{\Delta s}=\frac{{(P-P_m)}^T{P^{\prime }}_m}{\left|\right|{P^{\prime }}_m\left|\right|}---\left[5\right]$

其中，P_m＝f(s₀)且P′_m＝f′(s₀)。换句话说，修正Δs是在估计位置s₀处的梯度的单位矢量上的投影。

本领域技术人员应当理解，GPS测量与通常的车辆传感器读数相比更新地不是那么频繁。对多数车载GPS接收器来说1Hz的示例性刷新频率是常见的。此外，更新不总是被接收到并可能在市内区域或其它区域是有干扰的，其中卫星信号的视图是模糊的。滤波技术可以用来补偿GPS信号更新的慢速率。

示例性的车辆姿态定位模块使用Kalman滤波器。车辆姿态被模型化为矢量并由东向位移(e)，北向位移(n)，相对于车道的方位(φ)，和弧长(s)组成。由于惯性，车辆姿态不会突然改变。因此假定下列恒常转弯模型：

e′＝e+vcos(φ+ξ)ΔT+w₁

n′＝n+vsin(φ+ξ)ΔT+w₂             [6]

φ′＝φ+wΔT-kΔT+w₃

s′＝s+vΔT

其中，v是车辆速度；ω是车辆偏航率；ΔT是从先前循环的时间增量；ξ是道路的当前方位(c.f.，(2))；k是基于地图曲线的道路的当前曲率；w₁，w₂和w₃是表示非模型干扰的过程噪音项。

图24显示了根据本发明的示例性车辆姿态定位处理。所述处理在来自GPS、车辆运动学传感器或照相机装置的新数据被监测时被重复地触发。对于不同的数据源，示例性循环时间包括对于GPS数据的1秒，对于运动学数据的20ms，以及对照相机数据的50ms。时间增量ΔT由当前和先前循环之间的时间记录(时标)的差来计算。随后预测的车辆姿态用公式5计算。当GPS数据可用时，用于车辆姿态的测量更新直接使用下列的GPS测量公式：

e_gps＝e+k₁               [7]

n_gps＝n+k₂               [8]

其中，(e_gps，n_gps)是车辆的GPS测量位置；k₁和k₂是测量噪音。在使用GPS测量更新车辆姿态后，使用公式5计算修正弧长参数(s)。该步骤对于通过消除公式6中由航位推算(dead reckoning)处理导致的积累误差而获取正确的K和ξ值是重要的。

当照相机数据可用时，下列测量公式可以被Kalman滤波器使用：

a＝e+k₃                  [9]

b＝φ+k₄                 [10]

其中a和b是照相机车道感测参数；d是当前车辆位置对于表示为地图曲线的车道中心的垂直距离；k₃和k₄是未建模的测量噪音。使P_m成为地图曲线上与用P＝(e，n)表示的当前车辆位置最近距离的点。使矢量m表示地图曲线在P_m处的法线。随后垂直距离d可以表示为d＝(P-P_m)^Tm，其中法线m计算为：

$m=\left(\begin{array}{cc}0& -1\\ 1& 0\end{array}\right)\left(\begin{array}{c}{e}^{\prime }\\ n^{\prime }\end{array}\right).$

如上所述，曲率估计模块输入来自车辆传感器的照相机数据、车辆运动学数据(如车速和偏航率)以及s_m，并输出车辆位置处道路中的曲线的测量或曲率(K)。一旦车辆在用s表示的地图曲线中被定位，便可以使用公式4寻找相应的地图曲率K_map。

应当注意，存在三种信息源来估计道路曲率：地图曲率(K_map)，照相机曲率(K_cam＝2c)，基于偏航率的曲率下面描述用于将这三种曲率融合在一起的示例性处理。使K_fus表示具有方差的融合曲率。使和分别表示地图曲率、基于偏航率的曲率、和照相机曲率的方差。我们具有如下更新公式。当地图曲率估计可以被利用时，则

$k_{\mathrm{fus}}=\frac{{\sigma }_{\mathrm{map}}^2{k}_{\mathrm{fus}}+{\sigma }_{\mathrm{fus}}^2{k}_{\mathrm{map}}}{{\sigma }_{\mathrm{map}}^2+{\sigma }_{\mathrm{fus}}^2},---\left[11\right]$

以及

$k_{\mathrm{fus}}=\frac{{\sigma }_{\mathrm{map}}^2{\sigma }_{\mathrm{fus}}^2}{{\sigma }_{\mathrm{map}}^2+{\sigma }_{\mathrm{fus}}^2}.---\left[12\right]$

当偏航率曲率估计可利用时，则

$k_{\mathrm{fus}}=\frac{{\sigma }_{\mathrm{yaw}}^2{k}_{\mathrm{fus}}+{\sigma }_{\mathrm{fus}}^2{k}_{\mathrm{yaw}}}{{\sigma }_{\mathrm{yaw}}^2+{\sigma }_{\mathrm{fus}}^2},---\left[13\right]$

以及

$k_{\mathrm{fus}}=\frac{{\sigma }_{\mathrm{yaw}}^2{\sigma }_{\mathrm{fus}}^2}{{\sigma }_{\mathrm{yaw}}^2+{\sigma }_{\mathrm{fus}}^2}.---\left[14\right]$

当地图曲率估计可利用时，则

$k_{\mathrm{fus}}=\frac{{\sigma }_{\mathrm{cam}}^2{k}_{\mathrm{fus}}+{\sigma }_{\mathrm{fus}}^2{k}_{\mathrm{cam}}}{{\sigma }_{\mathrm{cam}}^2+{\sigma }_{\mathrm{fus}}^2},---\left[15\right]$

以及

$k_{\mathrm{fus}}=\frac{{\sigma }_{\mathrm{cam}}^2{\sigma }_{\mathrm{fus}}^2}{{\sigma }_{\mathrm{cam}}^2+{\sigma }_{\mathrm{fus}}^2}.---\left[16\right]$

在上述公式中，分别表示来自不同信息源：地图，车载传感器，和照相机的曲率信息的置信度。信息源的变化(方差)越大，该信息源对融合曲率的置信度越低。一些启发式规则(heuristic rule)用来选择所述三个信息源的不同加权。例如，当偏航率高时，选择小的来获取融合曲率。

如上所述，车辆侧向跟踪模块输入照相机数据，车辆运动学数据和K，并输出关于车辆相对于当前车道中心的位置和车辆相对于车道当前向前方向的角取向的数据。图25显示了根据本发明在车辆的侧向模型内作出的示例性确定。车辆侧向跟踪模块监测车辆运动学(轮速v和偏航率ω)的输入以及车道感测参数的输入。Kalman滤波器可以用来整合来自车辆运动学和车道感测装置的数据。如图25所示，侧向偏移yL是从车道中心的位移。K_road是估计曲率。K_yaw是由即时车辆路径估计的曲率，即，Kalman滤波器的测量公式表述为：b＝φ以及a＝y_L。如果更新误差大于阈值，则门控逻辑被执行。换句话说，如果预测的测量和实际的测量之间的差异大于阈值，则忽略当前时刻的实际测量。

图22说明了产生表示车辆行驶的道路的几何模型的方法。然而，应当理解其它达到相同目的的方法也是可能的。例如，公开了一种基于地图数据和与投射的车辆目的地相关的信息在车辆前方分配一系列航路点，并形成投射的行驶车道的方法。图26显示了根据本发明示例性使用沿车辆前方投射的车道的航路点来估计车道几何参数。在连续时间间隔处的航路点的迭代生成(航路点以短距离增量间隔开)可以被用来加强所述车辆前方的估计的车道几何参数。随着车辆经过航路点，航路点可以忽略，只有仍在车辆前方的航路点才被利用。这样，沿估计路径的车辆前方的航路点的投射可以被用来估计车辆可能行驶经过的车道几何参数。

关于车道几何参数和相对于车道的车辆位置和方位的实时且可靠的信息在多种应用或车辆控制方案中可以是有用的。例如，这种信息可以被用于在车道保持，前灯调节，改善的导航辅助，和瞌睡警报的应用中辅助操作者。然而，本领域技术人员应当理解，多种应用可以利用这些信息，本发明不限于这里描述的具体实施方式。

前述的方法描述了视觉或照相机系统的应用。这种信息的分析可以通过本领域公知的方法执行。图像识别通常包括程序(编制)来寻找指示对象的竖直线、边、角或指示对象的其它图案的图像中的对比度或颜色的变化。此外，与图像识别相关的多种过滤和分析技术对本领域技术人员来说也是公知的，在此不再赘述。

本领域公知的是利用可以利用的数据，例如图像识别被应用在视觉图像中以确定主车行驶的前方的无阻碍路径(clear path)。这样的示例性系统在共同待审的美国专利系列申请No.12/108,581，发明名称为“VEHICLE CLEAR PATHDETECTION”(车辆无阻碍路径检测)的专利中公开，其通过引用包含于此。

如上所述，示例性EVS系统需要输入源以输入表述车辆运行环境的信息。如上示例性方法中所述，多种传感器装置是本领域公知的，包括但不限于雷达，激光雷达，超声装置，和视觉系统。此外，应当意识到，关于运行环境的信息可以从其它类型的装置获取。红外传感器或红外距离照相机系统可以用来检测温差。这种信息适用于看到通常正常的视觉或照相机系统或人眼可能不注意的对象。将红外照相机数据转换成可见光谱的方法是已知的，其使得小的温差能够向观察者以不同的颜色显示对象。如上所述，与3D地图数据结合使用的GPS装置不仅可以用来相对于分类的道路几何参数定位车辆，还可以用来在道路的细节方面(例如路面类型和路面倾斜或等级)定位车辆。此外，已知多种传感器和监测方法来量化车辆内的运行参数。此外，通过无线网络可实现的远程处理允许协调GPS装置确定的车辆位置和实时细节(例如建筑物、天气和交通状况)。

此外，非道路/非交通相关的细节可以类似地通过无线网络访问，例如，包括通过在线提供者可获得的网络可用数据和信息娱乐服务。车载系统可以进一步与EVS系统集成，例如，车载诊断模块存入的维修需求(例如，监测机油的累计时间或监测轮胎压力)可以用作EVS的输入。所述信息可以基于车载处理被直接显示；所述信息可以与在线服务协调，例如用选择的服务商处理器诊断问题；或所述信息可以根据3D地图数据库处理，例如，识别需要在轮胎店停车并基于车辆位置定位多个附近的商店，包括操作时间和顾客评价。多种输入可以由EVS和EVS系统管理器使用，本发明不限于这里描述的示例性输入。

所有上述提及的输入可以由示例性EVS系统管理器使用。此外，应当理解，EVS系统管理器可以使用上述关于目标跟踪，CPS，防撞，车道保持，和无障碍路径检测的方法。这些方法和相关的程序使得EVS系统管理器能评价驾驶状态，包括车辆周围的对象轨迹，车道识别，和道路状态，并根据一系列的关键标准识别对车辆运行而言关键的信息。

所述EVS系统管理器监测输入并确定与车辆运行环境相关的可辨别的信息是否被授权在挡风玻璃上显示。对EVS系统管理器来说，多种和大量信息都是可以利用的。然而，车辆的操作者具有主要的责任来观察道路，并且有用的附加信息以帮助集中驾驶员精力在关键信息上的方式被谨慎地提供，但并不会使驾驶员从主要任务分心。示例性EVS系统管理器包括程序以监测来自各个来源的输入；通过对输入应用包括预设阈值、学习阈值和/或可选择阈值的关键标准来从输入中辨别关键信息，其中所述阈值被设定为最小化对驾驶员而言非关键的分心信息；并基于关键信息获取用于显示的图形。

从输入确定关键信息的阈值可以基于多个基础。HUD系统管理器可以访问多个信息输入源并包括各种程序化应用软件以产生前后相关的运行环境模型来确定收集到的信息是否为关键信息。例如，防撞系统或碰撞准备系统，如上所述，可以利用来基于雷达感测系统的反馈判断碰撞的可能性。感测对象的相对轨线可以被用来将所述对象标记为关键信息以避免碰撞。然而，表述感测到的对象的输入的前后(上下文)内容对确定用于将输入标记为关键信息的阈值来说是重要的。图27-29根据本发明显示了前后信息(contextual information)在感测到的对象数据中的示例性应用，以确定感测的数据是否为关键信息。图27显示了包括三个连续数据点的车辆，所述数据点描述车辆前方的目标对象，每个连续数据点比前一数据点更靠近车辆。车辆500被描述为，在时间T₁，T₂，T₃收集关于目标对象距车辆的相对距离的信息。没有前后联系的情况下，这些集中在车辆上的数据点暗示车辆与目标对象的即将面临的碰撞。图28显示了示例性情形，其中相应的数据点会正确地指示对操作者而言关键的信息。车辆500描述为在车道510中行驶。车辆520也被描述为在同一车道510中行驶，但是与车辆500的方向相反。在这种情况下，目标对象位于主车的碰撞路径上，因此，收集的数据点表明与目标对象的接近距离会被正确地识别为关键信息。在这种情况下，识别HUD上的目标对象将不会不合理地影响车辆操作者。图29显示了示例性的情形，其中，相应的数据点会不正确地指示对操作者而言关键的信息。车辆500被显示为在车道510内行驶。路标530也被直接显示在车辆500前面。对车辆而言返回的对象跟踪数据会指示路标530为与车辆500碰撞的过程。然而，在这种情况下，包括相对于车速的路标速度、指示静止路标、和涉及车道510中的弯曲的前后信息可以被用来使来自路标530的对象跟踪数据降低为不符合关键信息的阈值。在上述示例性的确定中，目标跟踪数据的前后信息可以通过多种方法获得，包括但不限于使目标的相对运动与：主车速度、包括对车辆目前位置而言描述车道几何参数的地图数据的GPS数据、由视觉或照相机数据描述的车道几何参数、和/或分析被跟踪对象的图像足够辨别迎面而来车辆和路标的模式识别程序相关联。通过基于相对于车辆的确定的空间关系为HUD系统管理器产生前后关联的环境模型以评价关于目标轨迹的输入数据点，可以作出关于信息的关键特性的确定，例如，指示碰撞的可能性。这样的模型可以基于复杂的程序，包括描述大量输入判断的因素，例如在车辆前方局部道路上的可能道路滑动，道路等级，超限速行驶在相反方向上的车辆，以及主车内的声音被放大成潜在分散注意力的音量。另一方面，这种前后联系的环境模型可以被尽可能的简化成将当前车速与识别的车速限制的比较，或者是主车前方目标车辆的距离与最小距离阈值的比较。

上述实施例只是HUD系统管理器可以作出的与关键信息相关的多个前后相关的示例性确定。公知的方法允许将GPS数据与来自3D地图数据库的信息结合使用，以识别对于确定目的地的建议路线。将这些方法与HUD的使用一体化允许在HUD上依次(turn-by-turn)方向的投射，包括能够将方向配准(记录)在通过挡风玻璃可见的实际路面特征上的重要优点。利用前后关联模型，将车辆相对于可视特征定位，允许方向针对车辆的操作和周围状态而被用户化(定制)。与语言的和/或LCD地图显示器相比，这种在可视路面特征上的记录使得对于驾驶员的指示更加精确。

公知的使用GPS装置的系统可以利用输入的目的地以给操作者路线指示。然而，公知的GPS装置包括慢的采样率和不精确的GPS测量。结果，GPS装置不能基于相对于计划路线的关联车辆操作提供输入给操作者。HUD系统管理器可以在路上投射指示箭头以说明计划路线，但HUD系统管理器能附加地构造计划行驶路线的关联操作环境模型，综合可以利用的信息以从计划路线中识别表示偏离的关键信息输入。HUD系统管理器不仅能使用各种信息源以增加所提供信息的准确性，例如，使用视觉或照相机信息来改善GPS定位的准确性，而且所述信息能附加地给出关于车辆周围环境的前后关联的重要性，例如，包括对象跟踪信息或3D地图数据。在一个实例中，如果计划路线包括车辆在道路右侧的即将面临的出口处离开高速公路，那么GPS数据可以被用来提示操作者利用该出口。然而，合成到包括描述行驶车道的可视信息的关联模型中的GPS数据可以用来相对于关键信息阈值判断GPS数据和相应的计划路线。例如，如果视觉数据将车辆定位在三车道路面的左侧车道中并且使用即将到来的出口需要两次变道，则指示即将到来的出口的信息可以被识别为关键信息，授权图形显示或增加HUD上图形显示的紧急性。在相同条件下，在监测指示车在相应于出口的右边车道中的视觉信息和指示车辆右转的闪光信号灯已经被启用的车辆信息时，指示即将到来的出口的信息可以被确定为非关键信息，所述信息不被图形显示或仅在HUD上最小显示。此外，对象跟踪，天气，可见度，或其它信息源可以被用来影响怎样和何时显示导航辅助。

对信息使用关键信息阈值的其它示例是可以预期的。与路面上车辆具体位置信息对应的地址信息可以用GPS数据和3D地图数据库的应用来确定。包括图像识别程序的可视数据可以被用来描述估计成包括目的地地址的建筑物或建筑物的范围。历史数据可以被监测，而且如果车辆之前从来没有行驶到目的地或目的地在特别紧密布置的建筑物中，那么这种目的地描述可以被考虑为关键信息。在替代方案中，来自操作者的声音命令可以作为关键用来确定目的地描述。在另一替代方案中，操作者头部位置和眼睛取向(方位)可以根据下述的方法监测，并且基于操作者指示寻找地址的头部和眼睛的运动，目的地描述可以被当作关键信息。

另一使用关键信息阈值的实例可以包括当前天气状态的分析。在正常行驶状态下，指示车道边界的线在HUD上的投射可以被考虑为不被授权的且是分散注意力的事情。然而，在指示天气状态例如，雾，雪，雨，日照，或其它因素存在或结合产生可妨碍对车道标志的观察的状态时，车道边界线可以被确定为关键信息。天气状态可以通过多种方法辨别。与GPS数据结合的在线数据可以被用来估计当前天气状态。视觉数据可以被分析以确定车道标记是否是视觉可辨别的或者降雨或雾是否过度地妨碍了足以保证车道标记投射的观察距离。日出和日落时间以及太阳在天空中的位置可以根据日历和GPS定位来确定。所述关于太阳位置的信息可以被关联到车辆的方向定位以基于车辆朝向太阳的指向来确定车道标记为关键信息。在替代方案中，太阳位置可以基于视觉信息估计。在类似的实例中，如果视觉信息指示高光束(远光灯)被启用的对面车辆可能导致盲视的状态，那么车道标记可以被作为关键信息显示，以辅助主车操作者停在当前车道上。以这些方式，估计的操作者的能见度可以被用来确定在HUD上的合适的车道标记投射。在替代方案中，基于被估计与车道相关的车辆位置，车道标记可以被确定为关键信息，例如，随着主车辆靠近或越过车道标记，车道标记变为关键信息。车道内的位置进一步显示了一种状态，其中，对于关键信息的重要程度可以被指示，随着车辆靠近并随后越过所述车道标记，增加的重要性被显示。增加投射在HUD上的图形图像亮度，闪烁图形图像，以及相应的对操作者的声音信号可以基于增加的关键信息的指示重要性而利用。这种在车道标准内的位置可以被用作瞌睡指示器，例如，单此偏离被认为是非关键信息，但是，从车道中心的重复的偏离则变成关键信息或重要性增加的信息，例如，提示协调的文本信息或声音警告。在某些状态下，对道路覆盖(叠加)的热或红外照相机图像可以被操作者利用或请求，其中视觉状态禁止操作者看到正确的行驶车道，例如，由不起作用的前灯导致的情况。

另外一个应用关键信息阈值的例子可以包括行人出现和行人动作的分析。例如，行人在人行道上平行于车辆运动方向的正常的运动可以被确定为非关键信息。然而，行人在另一个方向上的运动，例如，垂直于车辆交通的方向，可以被用作阈值来识别关键信息。在该实例内，可以说明另一个指示关键信息的增加的重要性的例子。如果行人在指定的人行道上垂直于车辆交通行走，则指示较小或适中重要性的图形可以被显示。如果检测到行人从人行道走到行驶车道或在行驶车道内行走，则表示严重或增加的重要性的图形被显示。在另一识别关于行人交通的关键信息的例子中，当前交通信号模式可以被分析并被用来识别关键信息。如果主车处于停车灯处，对应于视觉图像的指示“行走”灯的行人交通可以被确定为非关键信息。然而，在相同的情况中，对应于“不得行走”灯指示的行人交通可以被确定为关键信息。在替代方案中，对于目标的视觉信息和距离信息可以被用于投射目标的估计尺寸。这种估计尺寸可以被用来识别，例如，所有行人中估计为小于4英尺高的是关键信息，从而警告驾驶员运行环境中有儿童。在替代方案中，学校区域或耳聋儿童区域可以通过GPS数据和3D地图的街道标志的识别应用、局部无线频率传输或标记(tagging)等来识别，在这样的区域中所有的行人都被标记为关键信息。在行人交通被检测但确定为不可视的情况下，使用热或红外成像数据的图形可以被选择来覆盖关于行人的视场，从而使车辆操作者能根据情况作出更好的决定。

公开了可由EVS系统管理器辨别的关键信息的其它实施方式。在一个示例性的应用中，主车和其它车辆之间建议的跟随距离可以与测量距离相比较，而且任何低于最小建议距离的距离可以被识别为作为显示的关键信息。在另一实例中，其中车辆被用来训练新的操作者，显示给乘员/和训练者的图形可以用来改善对新操作者动作的审核。在另一实例中，半自动控制或ACC状态下的车辆操作可以显示将当前距离与其它车辆通讯的关键信息或向操作者表述控制系统动作的其它信息，从而操作者可以迅速确定是否需要操作者手动干涉。在另一实例中，车辆与车辆之间的通讯可以即时地用来管理两个使用ACC车辆之间的融合操作(merging maneuver)。HUD上的图形可以用来交流每个驾驶员的意图以执行融合操作，以便告知每个驾驶员交流的意图从而避免不期望的车辆运动的改变和避免可能碰撞的感觉。在类似应用中，在使用半自动行驶的车辆中，其中通过与自动转向机构相联的车道保持系统来利用自动车辆侧向控制，HUD上的图形可以用来提前通知操作者将要发生车道改变或其它动作，从而操作者不会对半自动控制随后采取的措施感到惊讶。

在另一实施方式中，车辆与车辆或车辆与远程服务器之间的通讯可以用来监测车辆操作和识别车辆操作中的模式。例如，由于事故的减速可以通过许多车辆的操作而监测，而且所述信息可以被传播到附近区域的其它车辆。所述信息可以基于监测减速已经导致的已受影响车辆的延迟量和延迟的适当警告以及推荐替代路线来确定为关键信息。在另一实例中，可以监测多个车辆的车轮滑移，车辆靠近导致车轮滑移的具体道路路程可以包括投射在路面上的图形块，其指示可能的滑移道路状态。所述信息可以基于在具体道路路程上发生的滑移事件、或可以基于显示车辆的操作相对于车辆经历滑移的操作的比较来确定为关键信息。例如，在最后一小时内三个速度超过每小时50英里的车辆被确定为在该道路路程上曾经发生滑移，但所述信息对于以每小时35英里行驶的主车而言被确定为非关键信息。在另一实施方式中，野生动物可以由视觉系统监测、可以由雷达系统增加、且基于投射的野生动物的分类指示为关键信息。在视场中马的识别可以被确定为非关键信息，而向道路跳跃的白尾鹿的识别可以被确定为关键信息。

关于车辆周围环境的信息的相关实施方式是可以想象的。例如，感兴趣的点(名胜、古迹)可以被选择为关键信息而显示在HUD上。游览不熟悉的城市的家庭可以接收关于路线上遇到的路界标识的信息。对路界标识的类似方向或建议的旅游路线可以通过EVS被选择并显示。运动爱好者在经过体育场或竞技场的时候可以选择感兴趣的球队或运动，通过无线通讯的访问可以用来查看比赛日程，票价，和当前的入座情况，其可以自动投射在HUD上。古董收集者可以在经过古董店、房地产销售或跳蚤市场内的特定距离时请求通知，位置(地点)的图形方向可以基于请求被显示。寻找新住宅的乘员可以在所发布的新的在售房屋满足选择标准时请求通知和导向，以便获得最新的列表。汽车爱好者可以请求通过视觉识别所认出车标或模型由图形图像来识别。多种识别感兴趣的点的应用是可以预期的，本发明不限于上述具体的实施方式。

紧急人员使用的实施方式也是可以预期的。例如，装备有本发明公开的EVS系统的救护车可以与车辆或远程服务器通讯，以包含在路上的相关信息和紧急情形。例如，建议的路线可以通过发报机更新，现场的警察可以通知危险状态的救护车的到来，或带有识别为重伤的病人的现场车辆可以与救护车通讯以实现图像来在途中识别重伤病人所在的车辆。警车可以使用图形进行警车间的通讯，例如，在一个车辆上识别被追捕的目标车辆，并在另一警车上产生联合追捕的图形。在另一实例中，车辆可以利用与远程服务器通讯以接收关联于某一情况(例如，黄色警报)所识别的相关车辆的信息。例如，识别为被通缉的牌照可以通过本领域公知的软件与视觉系统相结合来识别。该信息(不会被非紧急车辆知道，因此不会危害该车辆上的乘员)可以传达给紧急人员，并传送到最近警车的EVS系统管理器以用于图形显示。另外，警车可以利用热成像以搜索隐藏地点或经过场景中的无行为能力人。消防车可以使用EVS系统来加强操作，例如，通过辅助估计到达时的情况。例如，如果发报机接收到困在建筑物西北角第三层的人员的求救，那么发报机可以输入所述地址和房间信息，而且建筑物的具体房间可以被识别为需要EVS系统的图形图像的关键信息。在另一实例中，热成像可以切换到停在火灾现场的车辆上以辅助消防人员从安全位置确定火的位置和发展。多种这样的应用是可以预期的，本发明不限于这里公开的具体实施例。

多种便利的应用也是可以预期的。例如，公开了有限结构的象素化的视场，使得从一个方向观察HUD的观察者看见一个图像，而从另一方向观察HUD的另一个观察者或者看不到所述具体图像或者看到与第一观察者不同的图像。这样的系统允许乘员在挡风玻璃上看见与行驶不相关的图像，同时车辆操作者继续看到仅仅与车辆操作相关的图像。例如，乘员可以看到信息娱乐型图像，例如网络内容，来自数据储存装置的视频，或利用车载照相机来使用显示器作为空镜子而不干扰驾驶员的视野。这种内容绑定到其它系统中，使得乘员沿着投射的车辆路线从互联网上查看饭店菜单并在投射的路线中选择作为临时目的地的饭店，而不干扰车辆操作者。这样的系统可以另外地使得车辆操作者看见近似配准(记录)在挡风玻璃上的图像而乘员不看到相同的图像，所述图像是未配准的且可能使乘员感到厌烦。

HUD应用的一个优点是将信息与例如通过挡风玻璃的景象之类的其它关键信息一起放在单个视场中的操作者的前方。在公知的航天应用中，HUD装置被利用来允许飞行员将它们的目光放在外部景象上，同时提供关键信息，例如空气速度和高度。这种在相同视场中具有视觉信息的信息提供减少了与将其眼睛从外部景象移到仪器面板相关的专心度损失、分心和瞬间的方向迷失。类似地，EVS可以在单个视场中向车辆操作者提供具有可通过挡风玻璃看到的外部景象的显示信息。这种信息可以在所有时间内提供。然而，为了避免分心，信息可以根据关键信息状态或根据重要性来过滤。例如，不同的信息在低速时与高速时相比是关键的或重要的。显示在挡风玻璃上的关键信息可以基于阈值车速来调节。发动机转速，当在正常范围内时，可以不被分类为关键信息或只是要求最小化、低亮度显示。然而，当发动机转速增加到较高水平时，所述显示可以被启动或识别以警告操作者可能对发动机的伤害。根据燃料箱满或接近满，车辆燃料箱中的燃料水平状态可以类似地不显示或最小显示。增加的重要性的不同等级可以被执行，例如，当燃料箱变空至低于四分之一燃料箱容量时在尺寸上双倍显示，当越过关键的某一低燃料水平时伴有闪烁的指示。关键信息的等级或重要性的等级可以由车辆操作者定制，例如借助于车辆显示器上的可选择的菜单。此外，关键和重要信息的等级和显示可以基于操作者爱好通过无线网络或通过计算机与车辆的直接连接(例如通过USB连接)来进行调节。这种用户化可以包括操作者选择显示形状，线粗，线条颜色，在挡风玻璃上的位置，或其它类似的偏好。显示主题或显示皮肤可以基于车速或路面类型进行选择切换，例如，操作者设定高速公路主题和街巷主题。主题可以根据GPS位置选择为城市主题和乡村主题。针对挡风玻璃上的用户化显示器的设计可以从用户网站分享或从车辆制造商或其它的第三方商业获取。显示器可以与商业上可获得的装置协同作用，例如数字音乐播放器，并被集成到显示主题中，例如，音乐播放器的显示被转换在HUD的一角显示。装配有公知方法来确定操作者身份的单个车辆，可以自动加载操作者的爱好。可以投射在挡风玻璃上的多个显示的实施方式是可以预期的，本发明不限于这里公开的具体实施方式。

其它的显示器可以投射在挡风玻璃上以最小化操作者将其眼睛从挡风玻璃上移开的需求。例如，在车辆后部的可调照相机可以用来投射车辆后排车辆座位上睡觉婴儿的小图像，允许操作者监视孩子而不转头去看。更全景的视图可以被实现来监视多个孩子。这种监视功能可以是实时的或可以包括回放功能。

如上所述，乘员可以在特定的环境中看到信息娱乐型信息。明确的且有些时候为法规所要求，分散驾驶员精力的事物必须被最小化。当车辆运动时，例如视频内容或e-mail通讯之类的信息对操作者可见的话将是不可取的。然而，当允许的时候这样的应用可以是可利用的，例如，当车辆信息表明车辆处于停止状态，或者如果车辆的驻车制动器被接合时。向操作者提供有限的信息而不会导致不合适的分心的其它的应用也是可能的，例如包括：来自互联网的比赛比分，来自互联网的新闻标题，或车辆中当前播放的音乐信息，例如在HUD上以最小的图形给出歌名和艺术家的名字。

有限象素化视场结构的示例性实施方式使得来自限制方向的图像视图能够包括微结构或粒子布置的使用以接收上述的激励光并在限制的方向发出光。图30和31示例性地显示了根据本发明的有限像素化视场结构的示例性应用。图30显示了示例性的发射器，其能向有限视场发出光。示例性发射器包括UV透明封装(例如，由SiO₂制成)，具有抛物线形窄带多层反射结构，填充有LIF材料，其在被紫外线照射时发出可见波长的荧光。在该示例性实施例中，这些发射器的薄膜被沉积在聚合物上。在薄膜的准备中，类似于形成在发射器中的形状的抛物线形状压痕被压印在聚合物材料内。发射器通过化学气相沉积而被沉积在聚合物基板上，发射器填充有抛物线压痕。图31描述了创建与聚合物基板对齐的发射器必要结构以便实现有限视场观察的过程。通过示例性处理例如蚀刻，填充有发射材料的独立式抛物线体(反射器)通过将它们从基板上释放而产生。从聚合物基板的移除还可以由用合适的溶剂溶解塑料基板来完成。独立式抛物线体随后被嵌套入已在玻璃基板中通过光刻方法或压花产生的草皮层/壳体(divot)中。将抛物线体与壳体匹配的方法可以由例如射流自组装之类的方法完成，类似于Alien Technology的应用，其中抛物线体溢出基板且抛物线体和壳体的配合以统计学方式发生。

本领域公知的头和眼睛传感装置在此不再详述。对于本发明的目的，基于照相机的装置与图像识别软件结合使用以基于图像识别程序估计车辆内的三维头部位置(能与车辆坐标系协调)和操作者目光的方向。关于车辆坐标系的对象的定位可通过传感器输入来确定，例如根据上述的跟踪方法。基于与车辆坐标系协调的操作者头部位置和与车辆坐标系协调的对象轨迹，被跟踪对象和操作者眼睛之间的估计出的交叉点可以在挡风玻璃上确定，从而实现根据本发明的通过挡风玻璃的与相关特征的信息配准。具有车道标志投射的类似方法以及在此处描述的其它方法是可能的，其允许信息在HUD上的准确配准。类似的，头部位置与操作者眼睛凝视方向的估计的结合允许根据所述方法的信息的投射能保证操作者尽可能看到关键信息。类似的方法可以由车辆中前座乘员或后座乘员来实现，允许在各个表面上对于车辆乘员的配准投射。

头部和眼睛传感装置使得EVS能辨别操作者凝视的方向。该凝视位置可以与识别的关键信息相比较。公开了外围突出特征增强特征，其中显示特性基于当操作者目光处在别处时将操作者的眼睛吸引到关键信息来调节，而当操作者的目光接近显示的关键信息时不过度地分散操作者的注意力。例如，如果车辆从一空间倒出来到可视视场的左侧并被确定为处在与主车的可能碰撞路程上，并且操作者的凝视目光被确定为向着可视视场的右侧，那么框体可以环绕冒犯车辆放置，而且闪烁的箭头可以放置在操作者凝视的点上，提醒操作者注意所述框体。

所包括的EVS能在整个挡风玻璃上投射配准的图像，从而通过透明的挡风玻璃使图像配准到可见对象或区域。然而，车辆传感器可以处理和识别属于挡风玻璃景象外的状态的信息。例如，观察车辆侧部或后部区域的雷达装置和/或照相机装置可以识别交通灯信息，车辆轨迹，紧急车辆的存在，或其它相关的信息。所述EVS管理器，在评价相应于一条关键信息所产生的环境模型时，确定所述关键信息是否能在挡风玻璃上与关键信息对应的透过挡风玻璃可以看见的相关特征相配准的位置上被显示。在所述评价确定基于乘员头部和眼睛位置的相关特征不在挡风玻璃的可见区域内时，图形可以记录在挡风玻璃上，例如，在最接近于关键信息源的挡风玻璃边缘处，或在偏离乘员目光的某一位置处，指示需要来查看关键信息的方向。例如，如果目标车辆轨迹和速度表明车辆可能在主车左侧或右侧闯红灯，所述EVS可以准确地向操作者提示紧急警告以避免侧面碰撞。尽管只具有在前挡风玻璃上投射的示例性EVS不能记录不在挡风玻璃可视区域内的可视对象的图形表示，但EVS可以提醒车辆操作者注意识别的关键信息。在关键信息在车后方被识别的情况下，提示可以显示在挡风玻璃上，指向或描述出后视镜。作为替代，虚拟后视镜可以使用后部指向性照相机(rearward pointing camera)显示在挡风玻璃上。作为替代，全景视图可以使用多个照相机投射，例如，投射在沿着挡风玻璃顶部的显示器的宽的竖直薄片中，从而示出例如环绕车辆后180度的视图，从而消除已知镜子结构导致的传统盲点。在另一示例中，HUD可以用在车辆后窗中以通过窗户上的图形图像提供全屏停车辅助。这种后窗显示器可以例如通过声音识别软件以正常或倒车模式被选择性地显示，以实现直接或通过后视镜的观察。在另一实例中，基于跟踪信息，策略的(tactical)或模拟的头顶显示器可以被综合并被投射在挡风玻璃上。例如，在停车状态，雷达和视觉信息可以被用于估计停车点、其它车辆、路边和行人交通的相对位置，而且这些估计的位置可以标绘在图形显示器上。类似的，这种策略显示可以在车道改变操作时产生，例如，一旦闪光灯信号被开启就变成关键信息，而且示出感测到的车辆周围的对象的显示可以被展示。回到停车状态，例如平行停车操作，可以程序设定一系列标准，例如，监测非停车区域并从路边和相邻车辆获取距离范围。基于空间关系，提醒或建议可以被显示在挡风玻璃上，包括突出显示沿着城市街道接近程序设定目的地的可利用的停车点，或推荐的方向盘和踏板控制以导航到所述停车点。示例性情况和图形显示是可以被显示的关键信息的示例，其提醒操作者注意挡风玻璃视图外的状况。然而，这些实施例只是说明可预期的实例的子集，本发明不限于此。

对EVS的多种增强是可以预期的，从而实现特别是与这种投射技术的汽车应用相关的特征。本领域技术人员应当理解，用来投射复杂图像的激光和投射器设计经常使用微小的或微机电系统(MEMS)镜来将投射的图形引导到理想的位置。现有的MEMS镜激光投射器设计具有单行程(single stroke)失量或位图结构，提供有限效率和信息量。公开了一种替代的方法，继续使用所述行程实施方式，但包括多个MEMS镜(MEMS片)以引导一系列光束。这里公开的方法首先应用伽利略望远镜至光束，扩大UV激光至一点，其中X方向的MEMS多镜装置的多个镜子被照射。x镜(或x镜组)中的每个被映射并匹配到y镜或y镜组。y镜随后独立地瞄准发光材料的合适区域。

汽车应用包括恶劣条件，恶劣条件包括可能遭受的不利于上述HUD中应用的材料的刮擦、磨损、和化学污染。另一个系统增强的实施方式包括在HUD上的发光材料上使用保护性涂层。然而，这种层的引入在具有来自投射装置的激励光的情况下，和在具有来自挡风玻璃的发射光的情况下，以及在具有从车辆外部经过挡风玻璃的光的情况下，会产生潜在的反射和折射问题，反射和折射问题会产生双像或重像。宽带防反射(AR)涂层可以应用在挡风玻璃的内表面上以最小化重像。所述AR涂层可以是单层MgF₂或多层涂层。硬的AR覆盖层需要来保护应用在全挡风玻璃HUD中的发射性材料，其具有有机UV激光诱导的荧光材料涂层。重像消除需要有效地加倍光场的涂层，避免材料的折射率与空气的折射率不匹配。可以添加各种材料以改善材料的AR及耐久性性能。多种材料的多层涂层和多种绝对及相对厚度可以被用来获得AR功能。可以通过磁控管溅射或其它物理和化学气相沉积方法沉积的适宜材料包括SiO2，Si3N4，TiO2，和SiOxNy。最后一种材料，硅的氮氧化物具有折射率可通过O/N比率(化学计量比)调节的优点。

在弯曲和倾斜的挡风玻璃上投射图像在生成的图形图像中产生潜在的不规则。需要避免的一个示例性问题包括与HUD的不同部分相互作用的激励光中几何参数差异导致的图形亮度的亮度不一致或非预期差异。亮度修正是矢量投射显示所需的补偿技术。一种获得矢量修正的方法包括将用在图形绘制(graphicrendering)中的参数曲线再参数化，从而当执行稀疏采样时路径的每个部分具有相同的有效扫描长度。这种有效扫描长度可以根据扫描单位面积时间率(scanning unit area time rate)来计算，扫描单位面积时间率是对显示屏上的图示能量的模拟。立体和非平面表面因素可以在计算有效长度的时候考虑。

亮度不一致是一种潜在的不规则性，其可以导致在挡风玻璃上投射变得困难。另一种潜在的不规则性包括由几何扭曲产生的图形图像的扭曲，这是由于在大投射宽视角系统构造中的不平坦的显示表面、立体的和光学象差。一种双阶段扭曲修正方案被公开来通过用非均匀有理b样条(non-uniform-rationalb-spline，NURB)参数曲线/碎片来模型化扫面曲线和投射屏以修正激光矢量投射显示的几何扭曲。在第一阶段中，对象空间中的理想的NURB将被转换到由观察点限定的观察空间。这种透视随后因为它们的仿射和透视的不变性而被映射到虚拟显示平面。最后，如果需要，其被映射到具有参数化空间映射的非平坦显示器表面。在第二阶段中，路径被转换到由投射器的位置限定的投射空间，随后路径被映射到投射平面。非线性扭曲通过校准方法被修正。

可能在挡风玻璃上投射图形图像中产生的另一个潜在的不规则性包括用于投射图形图像的扫描循环中产生的低效率。所述扫描循环包括表示图形原始特性(graphics primitives)的图形原始路径和连接原始节段的消隐路径(blankingpath)。差的扫描循环设计会导致低效率的显示或显示失败。当基于镜子的扫描器被应用时，路径的优化会产生平顺和高效的扫描。在光栅投射显示的扫描周期或扫描帧期间，在所有扫描路径中的优化可以获得高效和平顺的矢量扫描。在插入扫描路径列表以连接类似草书(cursive script)的扫描路径期间，不可见的消隐路径可以被优化。优化可以在消隐路径上执行从而所有的消隐路径与它们的相邻路径一起都具有主要/次要的连续度。参数化的曲线建模可以被使用。这个方法还利用所有扫描路径中的优化以在光栅投射显示的扫描周期或扫描帧期间获得高效和平顺的矢量扫描。整个循环将被再参数化，从而所述循环具有最短的扫描长度和最大的局部曲率半径。

显示经常需要零强度的区域，例如，在包括虚线的投射图像中。公开了一种方法来改善矢量投射引擎的图像质量，矢量投射引擎具有光源，它们用微镜来引导。这种方法应用于激光投射装置中，它们使用微镜(x扫描和y扫描镜)被引导到显示屏上。输出是光矢量，其位置越过显示屏，而且光的强度可以通过激光电流调节。当希望零亮度时，期望激光器的“关闭状态”。不幸的是，激光器通断电的响应时间相对于通常的扫描速度而言是慢的。公知的方法在期望零亮度的情况下产生弱亮度线。公开了一种产生零亮度的方法，通过利用光源路径中的物体以便可控制地中断投射到HUD上的激励光。例如，插入到光路中的物体可以包括刀刃、针孔、或镜子。这种机械消隐可以相似于扫描镜的时间比例来完成，从而没有匹配响应时间。

上述公开了可以通过EVS在HUD上信息的选择性投射来实现的多种不用的用途。图32-37显示了根据本发明的，可以投射在HUD上的关键信息的选择示例性显示。图32描述了示例性的包括对车辆操作者而言期望视觉可接受的特征的未增强的外部视图。视图200包括路面206，路面包括第一车道标记202和第二车道标记204；也在车道上的车辆208；行人210；限速标志214；和即将到来的路面中的弯道216。视图200中的所有对象和特征都是直接可见的，没有绘出经过EVS描述的图形显示。

图33显示了由浓雾阻碍的示例性视图和可用于补偿雾的影响的示例性增强视觉显示。视图220显示与图32中相同的视图，除了由于雾而导致的视图模糊外。视图220包括雾221；第一车道标记202和第二车道标记204，两者对于短距离而言都是直接能看见的直到因为雾221而变得模糊；投射的车道指示222和224；车辆指示符228；行人指示符230；车速显示234；和警告指示符237。投射的车道指示符222和224是不可见的车道指示的投射并帮助操作者在即使存在雾221的情况下也能保持车道。投射的车道指示符222和224包括曲线部分236以指示与图32中的弯道216对应的即将到来的道路中的弯道。应当明白，车道指示符222和224显示为清楚的线条。在多个传感器可以用来提取位置数据并利用例如3D地图或来自区别特征(例如路边或防护栏)的雷达回波时，清楚的线条可以用来传递即将到来的车道几何参数的某些特定位置。然而，在较少的信息源可以利用的情况下，车辆位置不被精确地设定，或由于某些其它原因车道几何参数是不确定的，在传送应当考虑的额外注意事项以视觉地确定真实的路面几何参数的同时，线条的范围和带条可以用来帮助引导操作者。车辆指示符228向操作者显示车辆208的位置和整体行为。此外，包括距离和相对运动估计之类的因素的文字信息可以被显示以辅助操作者正确地补偿车辆的出现。行人指示符239给出操作者提示，即，行人已经被检测到以及相对于道路的整体位置。根据上述的方法，不同的图形或文本可以被用来描述行人的不同行为和特性。在图32中所示，标志214由于雾221而在图33中是不可见的。然而，延伸路面的限速可通过其它手段来得知，例如通过根据3D地图的GPS装置。车速指示符234提供了当前行驶的道路上的当前车速和速度限制的列表。如上所述，弯道216在图32中描述，在投射的车道指示符222和224中的弯曲部分给出了即将到来的弯道位置。此外，文本显示可以描述弯道的接近，包括到图33中所示的所述弯道的距离。此外，建议的变速和一些其它的弯道剧烈性的指示可以以文本237或与弯曲部分236的图形结合来指示。

图34显示了通过变道提高安全性的示例性图形显示。视图240包括：通过挡风玻璃直接可视的第一车道标记202和第二车道标记204；相邻的车道标记242，也是直接可视的；转弯信号指示符244；变道策略显示246；和文本显示248和249。转弯信号指示符244可以包括简单的箭头，闪烁的箭头，变化尺寸的循环图形，颜色，强度，位置或基于要传送给操作者的信息的其它图形。例如，在变道中，当没检测到相邻车道中的威胁时，简单的箭头可以谨慎地显示在HUD上以传递没有预期的威胁来警告操作。然而，在图34所示的情况下，如果执行变道则位于相邻车道中的车辆造成碰撞的威胁时，图形可以改变成显示停止变道的信息，例如，通过指示符的闪烁，改变指示符为红色，将删除/禁止图形放在指示符上，或其它任何可接受的向观察者指示警告的显示方法。策略显示246被描述，以说明车辆的位置和指示为威胁的车辆的相对轨迹。车道标记投射可以在策略显示上指示以改善车辆的相对位置的识别。图34指出了指向存在威胁的车辆的箭头，以使操作者更加注意该状态。此外，与策略显示结合的文本248和独立位于HUD上的文本249被描述，从而促使操作者注意该状态。

图35显示了示例性的状态，其中外围突出特征增强特征与估计的操作者注视部位一起使用，以警告操作者注意关键信息。视图250包括：通过挡风玻璃直接可视的第一车道标记202和第二车道标记204；分散注意力的标志254和车辆208，两者通过挡风玻璃都是可视的；以及下文中描述的多个图形。操作者注视部位252被描述，表示为操作者眼睛明显地集中的点，例如，由于集中在分散注意力的标志254上。位置252只是被描述用于实例的说明，不太可能由于分散注意力的结果而被显示在HUD上，这样的运动图形会影响操作者。车辆208的轨迹表明导致车辆208的运动已经被分类为一种威胁。例如，车辆208被描述为正在穿过车道202并进入操作者车辆车道的轨迹上。作为威胁指示车辆208的识别，车辆指示符框体256被环绕车辆208显示，包括指示相关信息块的方向性箭头，例如车辆的行驶方向。此外，描述威胁状态的文本259被显示。为了将操作者的注意力从分散注意力的标志254集中到车辆208的关键信息上来，伴随箭头的文本警告显示在操作者注视部位的附近。这样，操作者的注意力可以被尽可能快地拉回到关键信息。

图36显示了在HUD上显示导航方向的示例性视图。图36中透过挡风玻璃的景象包括具有5个街道共用交叉的复杂的交叉口(路口)262。视图260包括：交叉口262，通过挡风玻璃是直接可视的；建筑物266，通过挡风玻璃是直接可视的；交通信号灯268，通过挡风玻璃是直接可视的；以及多个下文中描述的图形。导航箭头264被描述，其记录(配准)到将要在交叉口262所转弯到的具体街道。此外，包括3D地图的导航数据被用来识别具体的建筑物266作为目的地，包括框体和文本的目的地指示符267被描述。此外，基于车辆信息或提供给操作者的交叉口的复杂性，通过警示文本269的指示作为关键信息被显示，传递命令停止的交通信号的确定，作为驾驶辅助。

图37描述了附加的示例性视图，所述视图表示可以在HUD上显示的关键信息。视图270描述了晚上透过挡风玻璃的景象。视图270包括前灯照明271，其描述了经过挡风玻璃可见的两个锥形光。此外，还描述了虚拟后视镜272，其显示了通过照相机或一组照相机采集的绕车辆侧部和车辆后部的全景图像。示例性视图包括主车208。后视镜中表示的视图可以作为单一图像保留或可以包括例如至目标车辆距离的信息。此外，还描述了野生动物指示符274，包括红外图像的覆盖部分，在图37中描述为交叉影线的正方形，以辅助操作者看见前灯照明271之外的野生动物。此外，野生动物指示符274还包括方向性箭头和向操作者描述状态的警告文本。此外，文本警告276被描述，其描述了尚未与视觉信息相关联的可听警笛的检测，指示了紧急车辆的大致位置。此外，比赛比分278以文本形式显示，其以最小分散驾驶员注意力的方式描述了操作者感兴趣的信息。此外，包括当前播放的歌曲的名字和表演该歌曲的团体的收音机信息被显示，以减少操作者将其目光转移到车辆收音机操作面板上的趋势。

上述描述的实施方式中，图形可以配准到乘员的目光处。应当理解，在观察者的目光中心立即显示图形会分散注意力。替代地，图形可以初始配准在偏离观察者目光的位置并固定在那个位置。这样，观察者随后可以方便地使图形位于接近观察者目光的当前位置，但随后在观察者重点允许时，可以调节来直接观察所述图形。图形的位置可以附加地考虑被跟踪的相关特征的位置。例如，图形可以被定位从而避免与停止灯，行人，或其它可通过挡风玻璃看见的重要特征的分心相冲突。

控制上述方法的信息流和过程可以采取多种实施方式。图38示意性地描述了根据本发明实现上述方法的示例性信息流。过程900包括：EVS系统管理器110，其监测来自各种来源的信息并产生显示需求；EVS图形系统155，其监测来自EVS系统管理器110的显示需求并产生图形命令；以及图形投射系统158，其在平视显示器150上投射光。描述了多种示例性的信息源，包括：操作者输入，通过照相机系统120的视觉信息，来自雷达系统125的雷达信息，来自示例性车辆速度传感器130的车辆信息，来自GPS装置140的GPS信息，来自3D地图数据库910的3D地图信息，以及来自无线通讯系统145的网络内容。应当理解，这些信息源可以采取贯穿本发明描述的多种形式，本发明不限于这里描述的具体实施方式。图1中所述的乘员眼睛定位感测系统可以被应用；然而，在该具体实施方式中，其它信息源，例如操作者输入被用来估计操作者的头部和眼睛位置，以用于图像配准的目的。应当理解，GPS信息，3D地图信息和互联网内容可以是互相关联的信息。这些信息源之间的关联可以发生在EVS系统管理器110内，或如图38所述，提供信息至EVS系统管理器110的装置可以包括程序设计来在提供信息至所述系统管理器之前或同时地协调所述信息。通过该示例性过程，信息可以被监测并被用于在HUD上投射图像。

上述实施方式描述了在主车的挡风玻璃上投射图像。然而，这里描述的方法可以应用到主车内任何合适的表面。例如，投射系统可以单独地用在车辆的后窗户上。在另一实例中，投射系统可以用在车辆侧窗任何一排中，例如，在车辆的第二排中。这样一种系统，与可选择或可添加的程序一起，可以用于在旅途中娱乐儿童，玩游戏例如让儿童寻找各种地标或车辆外部物体上的文字。对于乘员的信息可以显示在这样的表面上，例如，到达目的地的时间，描述旅途进度的数字地图，娱乐图像，或互联网内容。使用替代性挡风玻璃结构，例如，圆形，半圆形，拱顶形，或其它封装天篷设计的车辆可以类似地使用挡风玻璃作为表面，图形图像可以显示在所述表面上。

上文描述的投射在HUD上的信息可以包括全挡风玻璃。然而，应当理解，这里描述的方法不需要应用在整个挡风玻璃上。例如，为了避免操作者观看正前方位置更远的地方，图像可以被限制在操作者视野中的某一锥形区域。在替代方案中，图像可以限制为不投射在乘员前方以避免打扰乘员。在替代方案中，操作者视野的中心区域应该设置成没有图像，从而确保没有图像将操作者注意力从车辆路径中最关键的景象中引开。在替代方案中，环绕挡风玻璃周围的区域可以被用来投射图像，而使整个屏幕的中间供操作者专门观察。在上述情况中，操作者的整个视野不被利用，但图像仍然可以记录在挡风玻璃上，例如，使用围绕无显示区域的水平和竖直的核对标记指示被指向的对象或状态的位置。根据这里所述的方法，显示结构可以由操作者或乘员选择，或被构造成根据多个标准例如，时间，车辆中乘员数量，位置，或信息的重要程度来显示不同的方案。车辆内包括显示投射的区域或排除显示投射的区域可以采取多种不同的实施方式，本发明不限于这里描述的具体实施方式。

如上面讨论的，车辆包括用于眼睛感测、头部感测的车辆传感器系统或用于确定瞌睡驾驶员情况的其他系统。通过所公开的内容应该理解，该瞌睡驾驶员情况是对车辆瞌睡操作者的识别。可通过图1所示的乘员眼睛位置感测系统160执行对车辆操作者眼睛的感测。乘员眼睛位置感测系统160包括本领域公知的传感器以估计(近似)乘员头部位置并进一步估计乘员眼睛的方位或凝视位置，并进一步感测表示闭眼的非凝视位置。根据乘员眼睛位置感测系统的输出和操作者头部方位，可以确定瞌睡驾驶员情况，其中瞌睡驾驶员情况被警报在透明的挡风玻璃平视显示器上。应该理解到可通过多种方法获得头部方位和眼睛位置的估计。例如，后视镜的手动调节可用于估计操作者眼睛的位置。在另一实例中，车辆中的纵向座椅位置可以被用于估计操作者头部的位置。此外，应该理解这些方法的组合，例如座椅位置和镜调节角度，可以被用于以改进的精度估计操作者头部位置。在示例性实施例中，基于照相机的装置与图像识别软件结合使用以基于图像识别程序估计车辆内的三维头部位置(能与车辆坐标系协调)和操作者目光(凝视)的方向。此外，当照相装置未识别凝视位置时，能推定表示驾驶员闭眼的指示。

使用乘员眼睛位置感测系统，该传感器构造成观测操作者并确定驾驶员是否已经睡着，是否处于睡着的风险中，和/或是否由于瞌睡而注意力不集中。本发明公开内容的示例性实施例描述了用于检测瞌睡驾驶员情况的多种方法。例如，如果乘员眼睛位置感测系统监测到操作者闭眼时间比阈值时间长的情况的发生，那么可以确定瞌睡驾驶员情况。应该理解该阈值时间被定义成足够长的时间以区别与闭眼不同的操作者规则地眨眼。相似地，当乘员眼睛位置感测系统未检测到凝视位置时，能指示监测操作者闭眼的情况发生，其中当检测到无凝视位置持续阈值时间时，则确定瞌睡驾驶员情况。

在本发明公开内容的另一个示例性实施例中，可以根据监测在一定时间段内车辆操作者闭眼累计大于操作者闭眼累计阈值的情况的发生来确定瞌睡驾驶员情况。例如，可在10秒的时间段内监测操作者闭眼累计的发生。操作者闭眼累计的发生与操作者闭眼累计阈值进行比较，其中当在10秒的时间段内操作者闭眼累计的发生超过操作者闭眼累计阈值时，可以确定瞌睡驾驶员情况。相似地，驾驶员在眨眼后重新睁眼花费的时间可以被用于确定瞌睡驾驶员情况，例如，如果重新睁眼花费长于单个阈值时间段或在在一定时间段内重复，那么表示瞌睡。

在本发明公开内容的示例性实施例中，可以根据监测表示瞌睡的车辆操作者凝视行为的发生来确定瞌睡驾驶员情况。凝视位置确定乘员视线所集中的方向。乘员眼睛位置感测系统构造成持续监测乘员凝视位置。如果乘员眼睛位置感测系统确定操作者的凝视位置固定在正前方位置一延长时间段，那么尽管存在在所述凝视位置外部的挡风玻璃上的刺激图形，也能确定瞌睡驾驶员情况。例如，乘员眼睛位置感测系统能监测固定在相同位置延长的时间段的乘员凝视。在所述时间段内，在操作者固定凝视位置外的位置中的透明的挡风玻璃上显示一个或多个图形而不发生操作者凝视位置的改变，甚至不发生暂时的改变。由于操作者凝视位置保持固定，那么尽管存在要求凝视位置改变的刺激图形，但固定在直线上的操作者凝视位置也可以被确认为表示瞌睡的凝视位置行为，因此可确定瞌睡驾驶员情况。替换地，例如在车辆仪表板上的报警或警告信号之类的信息输入可要求操作者改变操作者的凝视位置以观察显示在仪表板上的报警信号。如果操作者的凝视位置保持固定在直线中一延长的时间段，那么尽管在仪表板上显示报警信号，但该凝视位置行为也能确认为是表示瞌睡，因此，可确定瞌睡驾驶员情况。相似地，如果操作者凝视趋向于跟随或延迟在车辆转向运动以后一次或多次，那么与扫视通过或引导转向不同，可确定瞌睡驾驶员情况。

在另一示例性实施例中，能根据监测表示操作者头部明显下垂的车辆操作者凝视位置来确定瞌睡驾驶员情况。头部下垂是当头部开始垂下或向下倾斜时的情况。车辆操作者头部下垂表示人开始入睡的行为。能通过监测操作者凝视位置来检测操作者头部下垂。例如，向上和向车辆挡风玻璃外部观察的操作者凝视位置不表示操作者头部下垂。但是，如果操作者凝视位置被监测为在仪表板以下和/或接近操作者膝部，那么能确定操作者头部的下垂。还可以监测凝视位置的模式和频率以区分与操作者向下看以观察需要操作者注意的事情不同的操作者头部下垂。例如，监测操作者凝视位置能设置成以与头部下垂一致的模式监测凝视位置下降。这样，表示头部下垂的凝视模式可以与抓取掉到操作者膝部的物体的凝视位置的突然改变区别开来。在另一实例中，表示头部下垂的凝视位置的频率可被监测以确定操作者越来越疲惫且开始入睡。

在本发明公开内容的另一示例性实施例中，如上面描述的，乘员头部方位感测系统构造成观测车辆操作者。乘员头部方位感测系统包括头部传感装置，该头部传感装置包括监测座椅位置和镜子调节角度。乘员头部方位感测系统还可包括使用图像识别软件以估计车辆中的操作者的三维头部位置的基于照相机的装置。

在一个示例性的实施例中，能根据监测表示操作者头部明显下垂的操作者头部方位确定瞌睡驾驶员情况。如上面讨论的，头部下垂是当头部开始垂下或向下倾斜时的情况。车辆操作者的头部下垂表示人开始入睡的行为。例如，乘员头部方位感测系统可以监测操作者的头部位置且可以检测表示操作者头部明显下垂的头部位置。该头部位置的模式和频率也可以被监测以区别与操作者向下看以观察需要操作者注意的事情不同的操作者头部下垂。例如，监测操作者头部位置能设置成以与头部下垂一致的模式监测头部下垂。操作者头部方位改变的模式或运动可以表示下垂，因此，可以与操作者抓取掉到操作者膝部的物体时的头部下垂的突然改变区别开来。在另一实例中，表示头部下垂的头部方位的改变频率可被监测以确定驾驶员越来越疲惫且开始入睡。应该理解，乘员头部方位感测系统可与乘员眼睛位置感测系统结合使用以观测执行表示头部明显下垂的运动的操作者。

此外，操作方向盘(转向轮)的模式能被监测以确定瞌睡驾驶员情况。例如，公知的瞌睡驾驶员会表现出比正常表现更频繁的、不断改变的方向盘调节。通过将方向盘的调节频率与阈值频率相比较，能确定瞌睡驾驶员情况。

在本发明公开内容的一个示例性实施例中，当通过上面描述的方法之一确定瞌睡驾驶员情况时，可根据确定瞌睡驾驶员情况通过在透明的挡风玻璃平视显示器上显示被选择为吸引操作者注意力的图形来警报瞌睡驾驶员情况。应该理解该图形以吸引操作者注意力的方式被选择。足以吸引操作者注意力的图形能闪烁和/或跳动。在透明的挡风玻璃平视显示器上的图形能以高于正常强度(亮度)照明。例如，如果确定瞌睡驾驶员情况，则可以通过增加挡风玻璃上图形的照明强度来警报操作者。此外，如果没有检测到操作者的响应并且仍然确定瞌睡驾驶员情况，那么在HUD上的图形的照明强度可逐渐增加地积累以警报驾驶员直到响应被请求。相似地，在透明的挡风玻璃平视显示器上的图形可用于向车辆的乘客警报瞌睡驾驶员情况。

在另一个示例性的实施例中，文本消息可以显示在透明的挡风玻璃平视显示器上以向操作者警报瞌睡驾驶员情况。例如，文本图像可显示在挡风玻璃上固定的时间段并且持续向操作者警报瞌睡驾驶员情况。如上面讨论的，采用被选择为吸引操作者注意力的图形，文本消息可以闪烁、跳动并调节在透明的挡风玻璃平视显示器上的照明强度水平。相似地，通过在HUD上显示该文本消息可以向车辆的乘客警报瞌睡驾驶员情况。

在另一个示例性的实施例中，当确定瞌睡驾驶员情况时，可以通过例如声音报警或振动报警的手段向操作者警报瞌睡驾驶员情况。例如，在HUD上显示图形可能不足以向操作者警报瞌睡驾驶员情况。为了请求操作者的响应，可通过车辆的声音系统发出声音警报。该警报的声音水平可被增加直到驾驶员请求响应。在另一个实例中，可使用振动警报向操作者警报瞌睡驾驶员情况且请求操作者的响应。例如，操作者座椅、方向盘、换挡把手和/或操纵踏板能振动以在通过上述方法确定瞌睡驾驶员情况时警报驾驶员。还应该理解可使用在HUD上显示图形、声音警报和振动警报共同警报瞌睡驾驶员情况以请求驾驶员的响应。相似地，声音警报和振动警报还可以以相同方式使用以向乘客警报瞌睡驾驶员情况。

在另一个示例性的实施例中，当确定瞌睡驾驶员情况时，可以通过(远程)通信网络并利用车辆声音系统的链接向操作者警报瞌睡驾驶员情况。例如，父母能监控十几岁的孩子且当确定瞌睡驾驶员情况时通过通信网络与孩子说话以提醒孩子。在另一个实例中，监督人可以利用通信网络监控在夜间驾驶的卡车驾驶员并向卡车驾驶员报警瞌睡驾驶员情况被检测到，并确定是否采取例如让卡车驾驶员靠边停车休息的预防措施。在另一个实例中，第三方服务能提供对车辆操作者的监控并当确定瞌睡驾驶员情况时警报车辆操作者。

如上面讨论的，描述车辆操作环境的信息输入可以被监测和处理以合成操作环境模型。该处理包括指示来自输入的关键信息，确定该关键信息与车辆的空间关系并根据空间关系合成该关键信息以形成操作环境模型和瞌睡驾驶员情况。由此，基于与乘员眼睛位置相关并被显示在透明的挡风玻璃平视显示器上的监测数据，操作环境模型被转换成在HUD上配准(记录)按照环境模型的关键信息的图形图像。在一个示例性的实施例中，基于空间关系合成的以形成操作环境模型和瞌睡驾驶员情况的关键信息选择性地识别安全关键信息。例如，感测对象的相对轨迹可以用于将该对象标记成安全关键信息以避免在操作者被警报瞌睡驾驶员情况后的碰撞。例如，如果操作者被突然警报瞌睡驾驶员情况，那么在接近停车灯处停止的车辆可被认为是作为预防的安全关键信息以提醒可能仍然瞌睡的操作者，但在正常环境下停在交叉口的车辆不被认为是关键信息。

应该理解，被选择为引起瞌睡驾驶员的注意力的图形可以根据多个实施例显示，包括全屏显示，配准到驾驶员凝视的显示，或被选择为最佳地刺激来自瞌睡驾驶员的期望响应的其他相似的显示。

上述内容描述了能全屏显示的实质上透明的平视显示器。应该理解可以在挡风玻璃上使用相似的方法，该挡风玻璃能使用实质上全屏显示器、部分挡风玻璃显示器，例如限于挡风玻璃的驾驶员半部的显示器，或集中或限制在操作者视野的正前方中心的显示器。显示器的多个实施例是可预期的，且该内容未试图限制于这里描述的特定示例性实施例。

所公开内容已经描述特定优选实施例及其改进。通过阅读和理解说明书能进行进一步的改进和替换。因此，可以理解本发明不限于作为实施本发明的优选实施方式公开的特定实施例，但本发明将包括落入所附权利要求范围内的全部实施例。