驾驶辅助图像生成装置、驾驶辅助图像显示装置、驾驶辅助图像显示系统及驾驶辅助图像生成程序

摘要

本发明的驾驶辅助图像生成装置具备：文字识别部，其识别表示在道路上或道路周围提示的提示物的提示内容的图像的文字；以及图像处理部，其根据由文字识别部识别出的文字和与该文字相关的驾驶辅助信息来生成将提示物的图像变更为与驾驶辅助信息对应的图像后的驾驶辅助图像。

说明书

技术领域

本发明涉及通过在车内的显示部上显示道路上或道路周围的提示物来辅助驾驶 的驾驶辅助图像生成装置、驾驶辅助图像显示装置、驾驶辅助图像显示系统及驾驶辅 助图像生成程序。

背景技术

道路上提示了表示限制速度或禁止停车等信息的交通标识。虽然车辆的搭乘者通 过目视来识别该交通标识，但需要将视线移至交通标识，搭乘者经常看漏交通标识。 已提出下述这样的技术：利用设置于车辆中的照相机取得道路的前方风景的图像，从 所取得的图像中识别交通标识并显示在显示部上，以便搭乘者在这样的看漏交通标识 的情况下能够确认看漏的交通标识(例如，专利文献1)。

在先技术文献

专利文献

专利文献1：日本特公平4-5239号公报

发明内容

发明要解决的课题

可是，专利文献1所述的技术只是将利用照相机拍摄的交通标识的图像显示在显 示部上。因此，存在这样的问题：连对搭乘者来说不需要的信息都进行显示，无法进 行与车辆的情况相应的图像显示，从而妨碍舒适驾驶。

本发明为了解决上述那样的课题，目的在于在显示交通标识等提示物时提供与车 辆的情况相应的图像。

用于解决问题的手段

本发明的驾驶辅助图像生成装置的特征在于具备：文字识别部，其识别表示在道 路上或道路周围提示的提示物的提示内容的图像的文字；以及图像处理部，其根据由 文字识别部识别出的文字和与该文字相关的驾驶辅助信息，生成将提示物的图像变更 为与驾驶辅助信息对应的图像后的驾驶辅助图像。

本发明的驾驶辅助图像显示装置的特征在于具备显示部，该显示部根据表示在道 路上或道路周围提示的提示物的提示内容的图像的文字以及与该文字相关的驾驶辅 助信息来显示将提示物的图像变更为与驾驶辅助信息对应的图像后的驾驶辅助图像。

本发明的驾驶辅助图像显示系统具备：摄像装置，其拍摄在道路上或道路周围提 示的提示物；驾驶辅助图像生成装置，其具备文字识别部和图像处理部，该文字识别 部识别表示由摄像装置拍摄的提示物的提示内容的图像的文字，该图像处理部根据由 文字识别部识别出的文字和与该文字相关的驾驶辅助信息，生成将提示物的图像变更 为与驾驶辅助信息对应的图像后的驾驶辅助图像；以及显示部，其显示由驾驶辅助图 像生成装置生成的驾驶辅助图像。

本发明的驾驶辅助图像生成程序的特征在于使计算机执行下述处理：文字识别处 理，识别表示在道路上或道路周围提示的提示物的提示内容的图像的文字；以及图像 处理，根据通过文字识别处理识别出的文字和与该文字相关的驾驶辅助信息来生成将 提示物的图像变更为与驾驶辅助信息对应的图像后的驾驶辅助图像。

发明的效果

由于本发明的驾驶辅助图像显示装置、驾驶辅助图像显示系统及驾驶辅助图像生 成程序根据与提示物的文字相关的驾驶辅助信息来变更要显示的图像中的提示物的 内容，因此，能够提供与车辆的情况相应的驾驶辅助图像，并且，能够有助于搭乘者 对提示物的内容的识别。

附图说明

图1是实施方式1的驾驶辅助图像显示系统的结构图。

图2是实施方式1的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图像 生成装置的结构的图。

图3是对实施方式1的提示物识别处理部的模式匹配进行说明的图。

图4是实施方式1的驾驶辅助图像显示系统的动作流程图。

图5是实施方式1的摄像装置所拍摄的摄像图像的示例。

图6是实施方式1的提示物识别处理部提取的提取图像的示例。

图7是实施方式1的图像处理部进行强调文字的变更后的提取图像的示例。

图8是实施方式1的显示部显示的驾驶辅助图像选择画面的示例。

图9是实施方式2的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图像 生成装置的结构的图。

图10是实施方式2的驾驶辅助图像显示系统的动作流程图。

图11是对实施方式2的驾驶辅助图像显示系统中的车辆移动距离与所生成的驾 驶辅助图像的关系进行说明的图。

图12是对实施方式2的驾驶辅助图像显示系统动作的前提条件进行说明的图。

图13是实施方式3的驾驶辅助图像显示系统更换提示物上标记的表示距离的文 字的示例。

图14是实施方式3的驾驶辅助图像显示系统的动作流程图。

图15是在实施方式3的驾驶辅助图像显示系统中拍摄了标记有到分支点的距离、 以及从分支点至提示物上标记的地域的距离的提示物的情况下的示例。

图16是示出实施方式4的驾驶辅助图像显示系统所拍摄的提示物与所显示的提 示物的关系的图。

图17是实施方式4的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图 像生成装置的结构的图。

图18是实施方式4的驾驶辅助图像显示系统的动作流程图。

图19是实施方式5的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图 像生成装置的结构的图。

图20是实施方式5的驾驶辅助图像显示系统的动作流程图。

图21是示出实施方式5的驾驶辅助图像显示系统进行的变更前后的驾驶辅助图 像的图。

图22是实施方式6的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图 像生成装置的结构的图。

具体实施方式

实施方式1.

以下，使用图1对本发明的实施方式1的驾驶辅助图像显示系统的结构进行说明。

实施方式1的驾驶辅助图像显示系统具备摄像装置1、导航装置2、显示部3、 驾驶辅助图像生成装置4。摄像装置1、导航装置2、显示部3、驾驶辅助图像生成装 置4通过车载LAN5而以有线或无线的方式连接。并且，由显示部3和驾驶辅助图像 生成装置4构成驾驶辅助图像显示装置。

摄像装置1是安装于车辆的前方外部的照相机，拍摄包含道路上或道路周围的提 示物的风景图像，取得该风景图像作为图像。在此，提示物是指，设置于车辆行进的 道路上或道路周围的交通标识、商店招牌、或道路上涂写的文字等，至少标记有文字。 摄像装置1以预先确定的时间间隔来拍摄在道路上提示的提示物，将与所拍摄的图像 相关的信息输出至驾驶辅助图像生成装置4。摄像装置1不限于以预先确定的时间间 隔拍摄包含提示物的风景图像，也可以构成为在提示物出现在摄像装置1的摄像范围 内的情况下进行拍摄。另外，摄像装置1的安装位置如图1那样是设定为车辆的前方 外部，但只要是能够拍摄道路上以及道路周围的提示物的位置即可，也可以设置成从 车辆内部拍摄车辆外部。在以下的说明中，将摄像装置1取得的包含提示物的风景图 像作为摄像图像。

导航装置2具备：位置确定单元(未图示)，其用利用GPS(GlobalPositionSystem： 全球定位系统)等来确定车辆的位置；和引导单元(未图示)，其将车辆引导至被设 定的目的地或经过地，通过由搭乘者设定目的地和经过地而将车辆引导至目的地和 经过地。后述的驾驶辅助图像生成装置4能够从导航装置2取得与目的地、经过地、 车辆位置相关的信息。

显示部3是配置有车辆的计速器、转速计、燃料计等显示车辆行进所需要的信息 的测量仪表类的仪表板，从后述的驾驶辅助图像生成装置4接收图像信息，显示对应 的图像。关于仪表板，以往，机械式的仪表是主流，但是，近年，由于液晶显示装置 等的低成本化、大画面化，正在从机械式显示器向非机械式显示器置换。由此，仪表 板的显示的内容的自由度增加，能够显示后述的驾驶辅助图像，特别是便利性得到提 高。并且，显示部3不限于仪表板，只要能够显示图像即可。例如，显示部3也可以 是显示导航装置2的引导显示的监视器、设置于车辆的挡风玻璃近前的平视显示器。

驾驶辅助图像生成装置4从由摄像装置1取得的摄像图像中提取提示物，将所提 取的提示物的图像变更为与驾驶辅助信息对应的图像，显示在显示部3上。并且，驾 驶辅助信息是用于辅助车辆行进的信息，是与提示物上标记的成为变更对象的文字相 关的信息。驾驶辅助信息例如是与导航装置2中设定的目的地或经过地、车辆的位置、 时刻、本车的车辆类型等的车辆信息相关的信息。在本实施方式中，作为与表示提示 物上标记的建筑物、地名或地域等的文字相关的信息，将导航装置2中设定的目的地 或经过地作为驾驶辅助信息。

车载LAN5以有线或无线的方式连接摄像装置1、导航装置2、显示部3、驾驶 辅助图像生成装置4。摄像装置1、导航装置2、显示部3、驾驶辅助图像生成装置4 经由车载LAN5进行信息的交换。

在此，使用图2对驾驶辅助图像生成装置4的结构进行详细说明。图2是实施方 式1的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图像生成装置4的图。

驾驶辅助图像生成装置4具备提示物识别处理部41、提取图像存储部42、文字 识别部43、文字判定部44、图像处理部45及驾驶辅助图像存储部46。并且，图2 所示的提示物识别处理部41、文字识别部43、文字判定部44及图像处理部45可以 由硬件构成，也可以通过使计算机执行规定的程序来实现。

提示物识别处理部41从由摄像装置1取得的摄像图像中识别提示物，提取与该 提示物对应的区域。在提示物的识别中使用模式匹配等方法。具体而言，预先登记与 提示物相关的信息，提示物识别处理部41通过对照从摄像装置1取得的摄像图像与 所登记的提示物的形状以及颜色，来识别提示物。例如，在摄像装置1拍摄了图3 所示的包含蓝色且长方形的提示物的摄像图像的情况下，提示物识别处理部41从预 先登记的提示物的图案中检索蓝色且长方形的图案。在检索的结果为提取出与蓝色且 长方形对应的图案的情况下，提示物识别处理部41将摄像图像的蓝色且长方形的部 分识别为提示物。在识别出提示物的情况下，提示物识别处理部41提取识别为提示 物的图形的区域。并且，在以下的说明中，提示物识别处理部41将从摄像图像中提 取的图像作为提取图像。

提取图像存储部42存储由提示物识别处理部41提取的提取图像的信息。并且， 提示物识别处理部41将识别符与提取图像的信息对应起来进行存储。识别符是用于 识别所存储的图像的信息，例如可以是摄像时的时刻、摄像时的车辆位置、表示拍摄 的顺序的号码等。以后，在驾驶辅助图像显示系统的处理中，在进行提取图像信息的 交换的情况下，能够根据该识别符识别提取图像。

文字识别部43从提取图像存储部42读出提取图像的信息，识别提取图像的文字。 在文字的识别中，例如使用如下这样的OCR(Opticalcharacterrecognition)等技术： 利用与预先存储的文字的图案的对照来确定文字。文字识别部43将识别出的文字的 文字信息输出至文字判定部44。在此，文字信息是文字识别部43识别出的文字的信 息，包含提取图像中标记的文字、在提取图像上文字所处的位置及提取图像的识别符。 因此，驾驶辅助图像显示系统的各结构能够利用文字信息来确定文字、文字的位置以 及标记有该文字的提取图像。

并且，文字识别部43从提取图像存储部42读出提取图像的时机也可以是后述的 搭乘者操作了操作输入装置6的时机，也可以是提示物识别处理部41将提取图像存 储于提取图像存储部42的时机。另外，在提取图像存储部42中存储有多个提取图像 的情况下，文字识别部43可以读出最新的提取图像，也可以构成为通过由搭乘者利 用操作输入装置6指定时间或场所，读出与表示该时间及场所的识别符对应的提取图 像。

文字判定部44判定由文字识别部43识别出的文字的内容与导航装置2中所设定 的目的地或经过地是否对应。在由文字识别部43识别出的文字与导航装置2中所设 定的目的地或经过地对应的情况下，文字判定部44输出与图像处理部45对应的文字 的文字信息。

关于由文字识别部43识别出的文字与目的地或经过地是否对应的判定方法，例 如通过导航装置2中所设定的文字中是否包含由文字识别部43识别出的文字来判定。 并且，判定方法并不限于此，只要能够判定是否对应即可。例如，在由文字识别部 43识别出的文字与所设定的目的地或经过地的文字以规定的比例一致的情况下，也 可以判定为对应。

图像处理部45从文字判定部44接收文字信息，变更提取图像的内容。此处所说 的变更是指，强调文字、添加强调显示、更换文字、变更提取图像的画质及变更色彩 等、变更所拍摄的提示物的图像的内容的情况。另外，强调文字包括放大文字尺寸、 变更文字的亮度、变更文字的色彩及文字闪烁等。另外，图像处理部45将变更后的 提取图像的信息存储于驾驶辅助图像存储部46。并且，在以下的说明中，将图像处 理部45变更后的提取图像作为驾驶辅助图像。

另外，存储于驾驶辅助图像存储部46的驾驶辅助图像的信息以下述方式存储于 驾驶辅助图像存储部46：通过相对应地存储与变更前的提取图像的信息相同的识别 符而进行识别，能够识别是从哪个提取图像变更而成的驾驶辅助图像。

操作输入装置6通过被搭乘者操作而使显示部显示存储于驾驶辅助图像存储部 46的驾驶辅助图像。操作输入装置6设置于图1所示的车辆内，与图2所示的驾驶 辅助图像生成装置4以有线或无线的方式连接。另外，操作输入装置6例如也可以是 操作按钮、仪表面板或导航装置2的显示器等的触摸面板，只要能够通过搭乘者的操 作来指示驾驶辅助图像的显示即可。

以下，使用图4至图8对实施方式1的驾驶辅助图像显示系统的动作(ST2以后 的实施方式1的程序的处理步骤)进行说明。图4是实施方式1的驾驶辅助图像显示 系统的动作流程图。图5是实施方式1的摄像装置所拍摄的摄像图像的示例。图6 是实施方式1的提示物识别处理部提取的提取图像的示例。图7是利用实施方式1 的图像处理部进行强调文字的变更后的提取图像的示例。图8是在实施方式1的显示 部显示的驾驶辅助图像选择画面的示例。在以下的说明中，假定车辆的搭乘者在导航 装置2中设定“东京站”作为目的地，向东京站行进。

在图4的ST1中，摄像装置1拍摄道路上或道路周围提示的提示物。在本实施 方式的驾驶辅助图像显示系统的动作的说明中，假设摄像装置1拍摄提示物，获得了 图5所示的摄像图像。图5的斜线部是提示物的区域以外的背景。另外，图5的虚线 部内示出提示物。并且，该示例的情况下，提示物是对车辆的搭乘者示出建筑物、地 名或地域的方向的引导标识。摄像装置1将所拍摄的摄像图像的信息输出至驾驶辅助 图像生成装置4。

在ST2中，提示物识别处理部41从摄像装置1取得摄像图像的信息，利用模式 匹配识别提示物。另外，提示物识别处理部41提取利用模式匹配而识别为提示物的 提示物区域(图5的虚线部内)，获得提取图像(图6)。

在ST3中，提示物识别处理部41将提取图像的信息存储于提取图像存储部42。

在ST4中，文字识别部43从提取图像存储部42中读出提取图像的信息。另外， 文字识别部43识别提取图像的文字，获得文字信息。具体而言，文字识别部43识别 图5所示的提取图像的文字“东京”、“品川”，并且，获得识别的文字的提取图像上的 位置信息。文字识别部43将包含识别出的文字和文字位置信息的文字信息输出至文 字判定部44。

在ST5中，文字判定部44从导航装置2接收与导航装置2中设定的目的地“东京 站”相关的文字的信息。另外，文字判定部44对导航装置2中设定的目的地“东京站” 与从文字识别部43接收的文字信息示出的文字“东京”、“品川”进行比较。由于从文 字识别部43接收的文字信息示出的文字“东京”包含于导航装置2中设定的目的地“东 京站”中，因此，文字判定部44判定为车辆的目的地与提示物上标记的文字对应，将 包含有文字“东京”的图像中的位置信息的文字信息输出至图像处理部45。接下来， 驾驶辅助图像显示系统执行后述的ST6的处理。在由文字识别部43识别出的文字中 不包含导航装置2中设定的目的地或经过地的情况下，驾驶辅助图像显示系统执行 ST7的处理。

在ST6中，图像处理部45从文字判定部44接收与文字“东京”相关的文字信息， 从提取图像存储部42读出提取图像的信息。另外，图像处理部45变更所读出的提取 图像。例如，如图7所示，图像处理部45通过用框包围提取图像的“东京”的文字来 进行强调。这样，在变更提取图像的一部分的情况下，由于变更后的部位显眼，因此， 能够使搭乘者快速地识别出应强调的部位。并且，图像处理部45根据包含于文字信 息中的文字的位置信息，能够识别出变更对象的文字位于提取图像的何处。

在ST7中，图像处理部45将变更后的提取图像的信息作为驾驶辅助图像信息存 储于驾驶辅助图像存储部46。另外，在ST5中，在被判定为在由文字判定部44识别 出的文字中不包含由导航装置2设定的目的地或经过地的情况下，图像处理部45不 变更提取图像，而直接作为驾驶辅助图像存储于驾驶辅助图像存储部46。

在ST8中，在由搭乘者操作了操作输入装置6的情况下，驾驶辅助图像生成装 置4从驾驶辅助图像存储部46中读出驾驶辅助图像的信息并输出至显示部3。显示 部3从驾驶辅助图像生成装置4接收驾驶辅助图像的信息，显示驾驶辅助图像。

并且，实施方式1的驾驶辅助图像显示系统重复执行ST1至ST7的动作，能够 在驾驶辅助图像存储部46中存储多个驾驶辅助图像的信息。在存储有多个驾驶辅助 图像的信息的情况下，如图8所示，驾驶辅助图像显示系统显示多个驾驶辅助图像。 搭乘者从所显示的多个驾驶辅助图像中选择期望进行显示的驾驶辅助图像。进而，显 示部3显示所选择的驾驶辅助图像。因此，搭乘者可以在显示部3显示的驾驶辅助图 像选择画面中选择所需的驾驶辅助图像的信息，显示在显示部3上。这对于以下的实 施方式也相同。

另外，关于本实施方式的驾驶辅助图像显示系统重复执行ST1至ST7的动作、 在驾驶辅助图像存储部46中存储多个驾驶辅助图像的信息的情况下的结束动作，可 由驾驶辅助图像显示系统的设计者设定为驾驶辅助图像显示系统被搭乘者停止的情 况、或车辆到达目的地的情况等。

并且，在本实施方式的驾驶辅助图像显示系统的说明中，虽然示出了提示物为引 导标识的示例，但并不限定于此，只要是标记有表示导航装置2中设定的地域、地名 或建筑物名等的文字的提示物即可。例如，提示物可以是标记有商店的店名的招牌等。 该情况下，驾驶辅助图像显示系统显示对与导航装置2中所设定的商店的名字对应的 提示物的文字进行强调后的驾驶辅助图像。

另外，实施方式1的驾驶辅助图像显示系统虽然通过由搭乘者操作操作输入装置 6来将存储于驾驶辅助图像存储部46的驾驶辅助图像显示在显示部3上，但并不限 定于此，也可以以一定的时间间隔自动显示。对于以下的实施方式也相同。

如上所述，实施方式1的驾驶辅助图像显示系统通过强调提示物上标记的文字中 的与本车的目的地或经过地对应的文字而进行显示，能够提供与本车的情况相应的驾 驶辅助图像，并且，能够使搭乘者快速地识别出目的地或经过地。

实施方式2.

实施方式2的驾驶辅助图像显示系统的特征在于，根据车辆行进的移动距离来变 更所拍摄的提示物上标记的表示距离的文字。在本实施方式中，作为与提示物上标记 的表示距离的文字相关的信息，将车辆的位置作为驾驶辅助信息。

以下，使用图9至图12对实施方式2的驾驶辅助图像显示系统进行说明。图9 是实施方式2的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图像生成装置 的结构的图。图10是实施方式2的驾驶辅助图像显示系统的动作流程图。图11是对 实施方式2的驾驶辅助图像显示系统中的车辆移动距离与所生成的驾驶辅助图像的 关系进行说明的图。图12是对实施方式2的驾驶辅助图像显示系统动作的前提条件 进行说明的图。

以下，使用图9对实施方式2的驾驶辅助图像显示系统的结构进行说明。并且， 在图9的说明中，对与实施方式1的驾驶辅助图像显示系统的结构相应的部分，标记 与图1以及图2相同的标号，省略其说明。

实施方式2的驾驶辅助图像生成装置4具备距离计算部47。并且，图9所示的 距离计算部47可以由硬件构成，也可以通过使计算机执行规定的程序来实现。

在文字识别部43识别出的文字中存在表示距离的文字的情况下，距离计算部47 根据从导航装置2取得的摄像时位置信息和生成时位置信息，计算车辆移动距离。摄 像时位置信息是指，表示摄像图像的摄像时的车辆位置的信息。即，摄像时位置与提 示物被提示的位置大致相同。另外，生成时位置信息是表示与所拍摄的提示物相关的 驾驶辅助图像生成时的车辆位置的信息。此外，车辆移动距离是指，从由摄像时位置 信息所表示的位置至由生成时位置信息所表示的位置的距离，表示车辆所移动的距 离。另外，距离计算部47通过从文字识别部43识别出的文字中的表示距离的文字的 数值中减去车辆移动距离，由此计算出从驾驶辅助图像生成时的车辆位置至提示物上 标记的特定场所的剩余距离(以下，称作剩余距离)。在此，特定场所是在提示物的 表示距离的文字中一并记载的引导标识的地名以及商店的招牌上标记的停车场等、在 行进了提示物上标记的距离时抵达的场所。在以下的说明中，将摄像时位置信息和生 成时位置信息一并称作车辆的位置信息。

以下，使用图10、图11对实施方式2的驾驶辅助图像显示系统的动作(ST2以 后的实施方式2的程序的处理步骤)进行说明。并且，在图10的说明中，对与实施 方式1的驾驶辅助图像显示系统的动作相应的步骤，标记与图4相同的标号，并省略 其说明。另外，在ST1、ST2中，驾驶辅助图像显示系统在位置A，拍摄图11(A-1) 所示的提示物，生成了图11(A-2)所示的提取图像。并且，提示物(A-1)是表示 距地名等示出的场所的距离的引导标识。另外，提取图像(A-2)是拍摄提示物(A-1) 而提取出的提取图像。

在ST31中，提取图像存储部42从导航装置2获得摄像时位置信息，将提取图 像的信息和摄像时位置信息对应起来存储于提取图像存储部42。

在ST41中，文字识别部43从提取图像存储部42取得提取图像的信息。另外， 文字识别部43从提取图像中识别文字“东京”、“27km”、“上野”、“24km”、“草加”、 “11km”。进而，文字识别部43取得与提取图像的信息对应的摄像时位置信息。

在ST51中，距离计算部47判定在提示物上是否标记有表示距离的文字。具体 而言，距离计算部47从文字识别部43接收文字“东京”、“27km”、“上野”、“24km”、 “草加”、“11km”的文字信息，判定是否存在表示数字或距离的单位的文字。该示例的 情况下，由于距离计算部47从文字识别部43接收与文字“27km”、“24km”、“11km” 相关的文字信息，因此，判定为表示距离的文字标记在提示物上，执行ST52的处理。 另一方面，在距离计算部47判定为在提取图像中不存在表示距离的文字的情况下， 驾驶辅助图像生成装置4执行ST7的处理。

在ST52中，距离计算部47判定本车位置是否已发生变化。具体而言，距离计 算部47从导航装置2接收生成时位置信息。另外，距离计算部47对从文字识别部 43接收到的摄像时位置信息与从导航装置2接收到的生成时位置信息进行比较，确 认是否存在变化，在存在变化的情况下，判定为本车位置已发生变化。距离计算部 47在判定为本车位置已发生变化的情况下，执行ST53的处理。另一方面，在距离计 算部47判定为本车位置未发生变化的情况下，驾驶辅助图像生成装置4执行ST7的 处理。距离计算部47以规定的时间间隔从导航装置2接收生成时位置信息。该规定 的时间间隔是预先在距离计算部47中设定的时间间隔，是能够由本实施方式的驾驶 辅助图像显示系统的设计者任意设定的值。在以下的说明中，如图11所示，假设距 离计算部47在位置B从导航装置2接收到生成时位置信息。

在ST53中，距离计算部47使用摄像时位置信息和生成时位置信息计算从摄像 时位置信息示出的位置(位置A)至生成时位置信息示出的位置(位置B)的车辆移 动距离“1km”。关于车辆移动距离，使用一般的两点间的移动距离的计算方法即可。

另外，距离计算部47从文字识别部43识别出的文字“27km”、“24km”、“11km” 中减去车辆移动距离“1km”，计算出剩余距离“26km”、“23km”、“10km”。进而，将 与计算出的剩余距离相关的信息输出至图像处理部45。并且，假设在与剩余距离相 关的信息中包含文字“27km”、“24km”、“11km”的提取图像上的位置信息。

在ST61a中，图像处理部45从距离计算部47接收与剩余距离相关的信息和作为 识别符发挥作用的摄像时位置信息，从提取图像存储部42中读出利用摄像时位置信 息识别出的提取图像的信息，并进行变更。具体而言，图像处理部45将提取图像的 文字“27km”、“24km”、“11km”分别更换为剩余距离“26km”、“23km”、“10km”。图 11的(B)是图像处理部45更换后的驾驶辅助图像。

并且，在ST53和ST61a的说明中，虽然驾驶辅助图像显示装置4利用距离计算 部47计算剩余距离，利用图像处理部45根据剩余距离来更换表示提取图像的距离的 文字，但是，图像处理部45也可以根据距离计算部47计算出的车辆移动距离来计算 剩余距离，更换表示距离的文字。

在ST7、ST8中，与图4中说明的处理相同，图像处理部45将所生成的驾驶辅 助图像的信息存储于驾驶辅助图像存储部46。另外，在由搭乘者操作了操作输入装 置6的情况下，显示部3从驾驶辅助图像存储部46读出驾驶辅助图像的信息，进行 显示。

并且，实施方式2的驾驶辅助图像显示系统也可以构成为，在ST7结束后，读 出驾驶辅助图像存储部46中存储的驾驶辅助图像，再次对驾驶辅助图像重复执行与 ST51至ST7相同的动作，根据车辆移动距离来更换驾驶辅助图像中所标记的表示距 离的文字。即，驾驶辅助图像显示系统也可以随着车辆的移动而随时从驾驶辅助图像 存储部46读出驾驶辅助图像，根据在ST52中生成驾驶辅助图像时得到的生成时位 置信息与车辆从该位置进一步移动时的生成时位置信息计算车辆移动距离，更换该驾 驶辅助图像的文字。实施方式2的驾驶辅助图像显示系统也可以构成为在将以上的处 理重复了预先确定的次数的情况下结束，也可以构成为在利用摄像装置1取得了新的 摄像图像的情况下，即在拍摄了最新的提示物的情况下，结束处理。

另外，也可以构成为，在从驾驶辅助图像存储部46读出驾驶辅助图像进而更换 的情况下，从另外的测量单元取得车辆的行进距离进行更换。

另外，在ST52的说明中，虽然距离计算部47以规定的时间间隔从导航装置2 接收生成时位置信息，但不限定于此，也可以构成为，在从文字识别部43接收到文 字信息时访问导航装置2，取得生成时位置信息。另外，距离计算部47也可以在操 作了操作输入装置6时取得生成时位置信息。

此外，在实施方式2的驾驶辅助图像显示系统的说明中，虽然使用了拍摄引导标 识的示例，但是，不限于引导标识，只要是示出距特定场所的距离的提示物即可。

另外，实施方式2的驾驶辅助图像显示系统至少将拍摄提示物时车辆行进的道路 和生成驾驶辅助图像时车辆行进的道路为同一道路作为前提。例如，如图12的(A) 所示，在车辆沿着拍摄提示物时所行进的道路行进，并在生成驾驶辅助图像时也在提 示了提示物的道路上行进的情况下，驾驶辅助图像生成装置4能够生成驾驶辅助图 像。另外，如图12的(B)所示，即使在车辆离开了拍摄提示物时行进的道路的情 况下，即使在生成驾驶辅助图像时返回到提示了提示物的道路时，驾驶辅助图像显示 系统也能生成驾驶辅助图像。

如上所述，实施方式2的驾驶辅助图像显示系统在显示标记有表示距离的文字的 提示物的图像的情况下，将根据车辆的移动距离而变更所标记的距离后的提示物的图 像作为驾驶辅助图像进行显示。因此，搭乘者在看漏标记有距特定场所的距离的提示 物、车辆向前前进片刻之后才重看提示物的图像的情况下，能够识别从当前的位置至 特定场所的距离。

实施方式3.

实施方式3的驾驶辅助图像显示系统的特征在于，生成这样的驾驶辅助图像：该 驾驶辅助图像是通过拍摄表示至十字路口及街角等道路分支点的距离的提示物、与通 过分支点对应地更换表示距离的文字而得到的。并且，在本实施方式中，作为与表示 距离的文字相关的信息，将车辆的位置作为驾驶辅助信息。

以下，使用图13至图15对实施方式3的驾驶辅助图像显示系统进行说明。图 13是实施方式3的驾驶辅助图像显示系统更换提示物上标记的表示距离的文字的示 例。图14是实施方式3的驾驶辅助图像显示系统的动作流程图。图15是在实施方式 3的驾驶辅助图像显示系统中拍摄标记有距分支点的距离、以及从分支点至提示物上 标记的地域的距离的提示物的情况下的示例。

在以下的说明中，对于与实施方式1以及实施方式2的驾驶辅助图像显示系统的 结构对应的部分，标记与图1、图2、图9相同的标号，省略其说明。另外，在实施 方式3的驾驶辅助图像生成装置4中，图9所示的距离计算部47可以由硬件构成， 也可以通过使计算机执行规定的程序来实现。由于实施方式3的驾驶辅助图像生成装 置4的结构是与实施方式2的驾驶辅助图像显示装置4相同的结构，因此，省略详细 的说明。

另外，在图14的说明中，对于与实施方式1以及实施方式2的驾驶辅助图像显 示系统的动作对应的步骤，标记与图4、图10相同的标号，省略其说明。

并且，在以下的说明中，在ST1至ST3中，摄像装置1在图13所示的位置C拍 摄提示物(C-1)所示的提示物，根据所拍摄的图像生成提取图像(C-2)，存储于提 取图像存储部42。另外，在ST41至ST53中，距离计算部47从提取图像存储部42 读出提取图像(C-2)，接收文字识别部43识别出的文字“东京”、“品川”、“500m”的 文字信息，判定为在提示物中存在表示距离的文字。进而，具备驾驶辅助图像生成装 置4的车辆在驾驶辅助图像生成时移动到位置D。以下，从ST53开始，对实施方式 3的驾驶辅助图像显示系统的动作(ST2以后的实施方式3的程序的处理步骤)进行 说明。

在ST53中，距离计算部47计算从摄像时位置信息示出的位置C至生成时位置 信息示出的位置D的车辆移动距离。该示例的情况下，车辆移动距离为1000m。

在ST54中，距离计算部47判定车辆是否已通过了分支点。具体而言，距离计 算部47从表示距分支点的距离的文字“500m”中减去车辆移动距离“1000m”。此时， 差值成为负值“-500m”。这样，在从提示物上标记的表示距离的文字减去车辆移动距 离后的值成为负值的情况下，距离计算部47判定为车辆通过了分支点。驾驶辅助图 像生成装置4在由距离计算部47判定为车辆通过了分支点的情况下，执行ST61b的 处理。另一方面，驾驶辅助图像生成装置4在由距离计算部47判断为车辆未通过分 支点的情况下，执行ST61a的处理。

在ST61b中，图像处理部45从距离计算部47接收与剩余距离相关的信息和作 为识别符发挥作用的摄像时位置信息，从提取图像存储部42中读出利用摄像时位置 信息识别出的提取图像的信息。另外，距离计算部47考虑到分支点的通过而变更提 取图像的文字。即，在位置D，由于车辆位于通过分支点之后500m的位置，因此， 图像处理部45生成将提示物上标记的文字“500m”更换为“后方500m”后的驾驶辅助 图像。图像处理部45生成驾驶辅助图像后，执行ST7的处理。

在ST7、ST8中，与图4以及图10中说明的处理相同，图像处理部45将所生成 的驾驶辅助图像的信息存储于驾驶辅助图像存储部46。另外，在由搭乘者操作了操 作输入装置6的情况下，显示部3从驾驶辅助图像存储部46中读出驾驶辅助图像的 信息进行显示。以上，实施方式3的驾驶辅助图像显示系统结束动作。

在以上的说明中，示出了从距提示物上标记的分支点的距离中减去车辆移动距离 的结果成为负值的情况。另一方面，在车辆存在于分支点上(图13的位置E)的情 况下，即，在距提示物上标记的分支点的距离和车辆移动距离相同的情况或微差的情 况下，图像处理部45也可以将提示物上标记的文字更换为“当前位置”或“0m”等。

如上所述，实施方式3的驾驶辅助图像显示系统利用距离计算部47判定是否通 过了分支点，与分支点的经过对应地来更换表示提取图像的距离的文字，因此，对于 表示距道路分支点的距离的提示物，也能够向搭乘者提供与车辆移动对应的驾驶辅助 图像。

另外，如图15的(F-1)所示，实施方式3的驾驶辅助图像显示系统对于表示距 分支点的距离以及从该分支点至特定场所的距离的提示物，也能够生成驾驶辅助图 像。

例如，车辆在位置F行进时，驾驶辅助图像生成装置4利用摄像装置1拍摄提示 物(F-1)，利用提示物识别处理部41生成提取图像(F-2)。该情况下，在车辆移动 到位置G时，驾驶辅助图像生成装置4生成驾驶辅助图像(G)。

驾驶辅助图像(G)的距分支点的距离“后方5km”的计算方法与图14的ST1至 ST61b的处理相同。另一方面，驾驶辅助图像(G)的从分支点到特定场所的距离 “75km”是通过由距离计算部47从位置F至位置G的车辆移动距离“5.3km”中减去位 置F至分支点的距离“300m”而计算出的。另外，在车辆在未通过分支点的位置H行 进时，即在位置F至分支点之间的一个地点行进时生成驾驶辅助图像情况下，如驾驶 辅助图像(H-1)所示，驾驶辅助图像生成装置4只要不更换从分支点至特定场所“东 京”为止的距离“80km”即可。如图14的ST54中说明的那样，驾驶辅助图像生成装置 4可以利用距离计算部47判断是否通过了分支点。

这样，对于表示距分支点的距离以及从该分支点至提示物上标记的地域的距离的 提示物，实施方式3的驾驶辅助图像显示系统也能够生成与车辆的情况相应的驾驶辅 助图像，使得搭乘者能够与现状对应地识别提示物的内容。

实施方式4.

以下，使用图16至图18对实施方式4的驾驶辅助图像显示系统进行说明。图 16是示出实施方式4的驾驶辅助图像显示系统所拍摄的提示物与显示的提示物的关 系的图。图17是实施方式4的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅 助图像生成装置的结构的图。图18是实施方式4的驾驶辅助图像显示系统的动作流 程图。在本实施方式中，作为与在提示物上标记的后述指定车辆信息或指定时间段信 息相关的信息，将本车的车辆类型等车辆信息或当前时刻作为驾驶辅助信息。

实施方式4的驾驶辅助图像显示系统的特征在于，判别与限制标识等提示物一起 设置的指定车辆信息和指定时间段信息，判定与本车的信息是否对应，生成根据判定 结果对所拍摄的提示物的提取图像的文字进行强调后的驾驶辅助图像。在此，指定车 辆信息是指定适用提示物示出的内容的车辆的信息，例如是车辆类型、车辆的高度、 最大装载容量等。车辆类型是小型车、中型车、大型车等车辆的种类。另外，指定时 间段信息是表示适用提示物示出的内容的时间段的信息。例如，图16的(A)是禁 止向除指定方向以外的方向行进的提示物。另外，在提示物的下方标记有指定时间段 信息和指定车辆信息。在提示了提示物(A)的道路上，小型车可以在“7：30-8：00” 的期间，仅向由箭头指定的方向前进。

以下，使用图17对实施方式4的驾驶辅助图像显示系统的结构进行说明。在图 17的说明中，对于与实施方式1至实施方式3的驾驶辅助图像显示系统的结构相应 的部分，标记与图1、图2、图9相同的标号，省略其说明。

驾驶辅助图像生成装置4具备车辆信息存储部48、车辆信息判定部49、时刻计 测部410及时间判定部411。图17所示的车辆信息判定部49、时刻计测部410及时 间判定部411可以由硬件构成，也可以通过使计算机执行规定的程序来实现。

车辆信息存储部48预先存储本车的车辆信息。车辆信息是与本车辆相关的信息， 例如为车辆的高度、最大装载容量、车辆类型等。

车辆信息判定部49判定本车是否符合由文字识别部43识别出的指定车辆信息。 车辆信息判定部49接收由文字识别部43识别出的文字信息，读出存储于车辆信息存 储部48的车辆信息。另外，车辆信息判定部49在判定为所读出的车辆信息与由指定 车辆信息示出的内容对应的情况下，向图像处理部45输出从文字识别部43接收到的 文字信息。

时刻计测部410计测时刻。时刻计测部410将表示当前时刻的时刻信息输出至时 间判定部411。

时间判定部411判定在由文字识别部43识别出的指定时间段信息中是否包含从 时刻计测部410接收到的时刻信息。在指定时间段信息中包含时刻信息的情况下，时 间判定部411向图像处理部45输出文字信息。

以下，使用图18对实施方式4的驾驶辅助图像显示系统的动作(ST2以后的实 施方式4的程序的处理步骤)进行说明。并且，在图18的说明中，对于与实施方式 1至实施方式3的驾驶辅助图像显示系统的动作相应的步骤，标记与图4、图10、图 14相同的标号，省略其说明。另外，在以下的说明中，在ST1至ST3中，驾驶辅助 图像显示系统利用摄像装置1拍摄图16的(A)所示的提示物，利用提示物识别处 理部41识别提示物，生成提取图像并存储于提取图像存储部42。此外，假设驾驶辅 助图像显示装置4生成驾驶辅助图像时的时刻为“7：45”，本车辆的车辆类型为小型 车。

在ST411中，文字识别部43从提取图像存储部42读出提取图像的信息，从提 取图像中识别文字并将文字“小型车”的文字信息输出至车辆信息判定部49，将文字 “7：30-8：00”的文字信息输出至时间判定部411。

在ST511中，车辆信息判定部49接收文字“小型车”的文字信息。另外，车辆信 息判定部49参照存储于车辆信息存储部48的车辆类型，与从文字识别部43接收到 的文字“小型车”的文字信息进行比较，判定是否符合车辆类型。在该示例的情况下， 由于车辆类型为“小型车”，因此，车辆信息判定部49判定为指定车辆信息符合本车 的车辆类型，将文字“小型车”的文字信息输出至图像处理部45。

另一方面，时间判定部411接收文字“7：30-8：00”的文字信息。另外，时间判 定部411从时刻计测部410接收时刻信息“7：45”，与从文字识别部43接收到的文字 “7：30-8：00”的文字信息进行比较，判定在由指定时间段信息示出的时间段中是否 包含生成驾驶辅助图像时的时刻“7：45”。在该示例的情况下，由于指定时间段信息 为“7：30-8：00”，当前时刻为“7：45”，因此，判定为符合指定时间段信息，将文字 信息输出至图像处理部45。

驾驶辅助图像生成装置4在车辆信息不符合指定车辆信息的情况下、且在指定时 间段中不包含由时刻信息示出的当前时刻的情况下，执行ST7的处理。

在ST611中，图像处理部45从车辆信息判定部49接收与文字“小型车”相关的文 字信息，从时间判定部411接收与文字“7：30-8：00”相关的文字信息，读出存储于 提取图像存储部42的提取图像的信息进行变更。具体而言，执行强调提取图像中的 文字“小型车”和文字“7：30-8：00”的变更。例如，如图16的(B)所示，图像处理 部45在标记指定时间段信息和指定车辆信息的部位附加“符合”的文字。图像处理部 45将变更后的提取图像的信息作为驾驶辅助图像信息存储于驾驶辅助图像存储部 46。进行强调的变更不限于附加“符合”的文字，还可以是文字闪烁、文字放大以及用 框来包围文字等。

虽然在实施方式4的驾驶辅助图像显示系统的说明中，指定车辆信息是表示“小 型车”等车辆类型的信息，但不限定于此，只要表示车辆的信息即可。例如，指定车 辆信息也可以是车辆的高度、车辆的宽度、车辆的最大装载容量等。在这样的情况下， 车辆信息存储部48预先存储与车辆的高度、车辆的宽度、车辆的最大装载容量等相 关的信息。

另外，在本实施方式的驾驶辅助图像显示系统的说明中，示出了指定车辆信息所 示的文字为“小型车”的示例。另一方面，还可以考虑在提示物上标记有“小型车除外” 这样的指定车辆信息的情况。在这样的情况下，如ST511中说明的那样，即使在参 照存储于车辆信息存储部48的车辆类型的结果为车辆类型是“小型车”的情况下，如 果在从文字识别部43接收到的文字信息中存在“除外”这样的文字，则车辆信息判定 部49也可以判定为本车的车辆类型不符合指定车辆信息而不向图像处理部45发送文 字信息，不使图像处理装置45执行提取图像的变更。另一方面，在提示物上显示有“小 型车除外”这样的指定车辆信息的情况、且在本车的车辆类型是“大型车”的情况下， 车辆信息判定部49也可以判定为本车的车辆类型符合指定车辆信息而使图像处理装 置45执行提取图像的变更。因此，车辆判定部49在判定本车是否符合指定车辆信息 的情况下，不是仅通过指定车辆信息的文字与存储于车辆信息存储部48的车辆类型 的一致、不一致来决定，而是考虑是否存在“除外”等文字来综合地判定指定车辆信 息的文字是否符合车辆类型。

此外，本实施方式的驾驶辅助图像生成装置4虽然构成为具备时间判定部411和 车辆信息判定部49，但不限于此，也可以仅使用时间判定部42或车辆信息判定部49 中的一方。另外，无需具备车辆信息存储部48和时刻计测部410作为驾驶辅助图像 生成装置4的结构。驾驶辅助图像生成装置4也可以从外部输入车辆信息和时刻信息。

另外，在本实施方式的驾驶辅助图像显示系统的说明中，示出了拍摄限制标识作 为提示物的例子，但不限于此，只要是标记有时间段或车辆信息的提示物就能够应用。 例如，对于设置于道路上、能够在指定的时间段利用的汽车停放计时器等，也可以应 用本实施方式的驾驶辅助图像显示系统。

本实施方式的驾驶辅助图像显示系统根据车辆信息或时刻信息变更包含指定时 间段信息或指定车辆信息的提示物的内容而进行显示，因此，能够提供与车辆的情况 相应的驾驶辅助图像，搭乘者能够容易地识别提示物示出的内容与本车辆是否对应。

实施方式5.

以下，使用图19至图21对实施方式5的驾驶辅助图像显示系统进行说明。图 19是实施方式5的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图像生成 装置的结构的图。图20是实施方式5的驾驶辅助图像显示系统的动作流程图。图21 是示出实施方式5的驾驶辅助图像显示系统的变更前后的驾驶辅助图像的图。并且， 图19所示的画质判定部413可以由硬件构成，也可以通过使计算机执行规定的程序 来实现。

实施方式5的驾驶辅助图像显示系统的特征在于具备画质判定部413，画质判定 部413根据驾驶辅助信息来判定所生成的驾驶辅助图像的画质，驾驶辅助图像显示系 统根据该画质判定部413的判定结果，利用图像处理部45变更驾驶辅助图像的内容。

以下，使用图19对实施方式5的驾驶辅助图像显示系统的结构进行说明。在图 19的说明中，对于与实施方式1至实施方式4的驾驶辅助图像显示系统的结构相应 的部分，标记与图1、图2、图9、图17相同的标号，省略其说明。

画质判定部413判定存储于驾驶辅助图像存储部46的图像的画质。在此，画质 是包含在提示物中的文字的尺寸及对比度等。画质判定部413在驾驶辅助图像的文字 尺寸较小的情况下、或对比度较低的情况下等的难以识别文字的状态时，判定为驾驶 辅助图像的画质差，从而使图像处理部45执行放大文字尺寸及调整对比度等。

画质判定部413中预先设定有与画质相关的阈值，在驾驶辅助图像的画质为阈值 以下的情况下，判断为画质差。例如，画质判定部413中预先设定有文字尺寸的阈值 及对比度的阈值，在驾驶辅助图像的文字的尺寸为阈值以下的情况下、或驾驶辅助图 像的对比度为阈值以下的情况下，判定为画质差。另外，画质判定部413在对比度的 判定中，取驾驶辅助图像的文字区域部分的亮度的平均值与驾驶辅助图像的文字区域 以外的亮度的平均值之差，在差值为阈值以下的情况下，判定为画质差。

以下，使用图20对实施方式5的驾驶辅助图像显示系统的动作(ST2以后的实 施方式5的程序的处理步骤)进行说明。在图20的说明中，对与实施方式1至实施 方式4的驾驶辅助图像显示系统的动作相应的步骤，标记与图4、图10、图14、图 18相同的标号，省略其说明。另外，在ST1至ST7中，驾驶辅助图像显示系统拍摄 提示物，将根据所拍摄的提示物对文字进行强调后的图像作为驾驶辅助图像，存储于 驾驶辅助图像存储部46。此时，存储于驾驶辅助图像存储部46的驾驶辅助图像如图 21的(A)所示。此外，假设图21的(A)中标记的“东京”的文字为在画质判定部 413中预先设定的文字尺寸的阈值以下。

在ST4111中，文字识别部43从驾驶辅助图像存储部46读出驾驶辅助图像(A) 的信息，将在ST6中变更后的文字“东京”的文字信息输出至画质判定部413。进而， 将读出的驾驶辅助图像的信息输出至画质判定部413。

在ST5111中，画质判定部413从文字识别部43接收驾驶辅助图像的信息和文字 “东京”的文字信息。另外，画质判定部413根据文字信息检测文字尺寸，在文字尺寸 为阈值以下的情况下，判定为画质差。在该示例中，由于文字“东京”比画质判定部 413中设定的阈值小，因此，画质判定部413判定为驾驶辅助图像的画质差。另外， 画质判定部413将文字“东京”的文字信息输出至图像处理部45。另外，画质判定部 413将变更信息输出至图像处理部45。变更信息是图像处理部45用于变更驾驶辅助 图像的信息。例如，在驾驶辅助图像的文字较小的情况下，画质判定部413将表示文 字较小的情况的变更信息输出至图像处理部45。接下来，图像处理部45执行ST6111 的处理。在不存在文字尺寸为所设定的阈值以下的文字的情况下，驾驶辅助图像生成 装置4执行ST7111。

在ST6111中，图像处理部45从驾驶辅助图像存储部46读出提取图像的信息， 根据文字“东京”的文字信息和变更信息生成将文字“东京”放大后的驾驶辅助图像(图 21的(B))。并且，在ST5111中，图像处理部45虽然放大驾驶辅助图像的文字，但 不限于放大文字，只要进行文字色彩的变更及对比度的调整等、使文字易于观察即可。

在ST7111中，图像处理部45将生成的驾驶辅助图像存储于驾驶辅助图像存储部 46。进而，在ST8中，通过搭乘者的对操作输入装置6的操作，使显示部3显示驾 驶辅助图像。

在图19的说明中，虽然示出了在图2的结构中追加了画质判定部413的例子， 但是也可以在图9、图17的结构中追加画质判定部413。另外，在图20的说明中， 虽然图4的ST7之后追加了ST4111至ST7111的步骤，但不限于此，也可以在图10、 图14、图18的ST7之后追加ST4111至ST7111的步骤。

如上所述，实施方式5的驾驶辅助图像显示系统判定驾驶辅助图像的画质，在判 定为画质差的情况下，进行强调驾驶辅助图像的文字的变更，因此，在驾驶辅助图像 的画质差、文字难以观察的情况下，也能够提供搭乘者容易地识别文字的驾驶辅助图 像。

实施方式6.

以下，使用图22对实施方式6的驾驶辅助图像显示系统进行说明。图22是实施 方式6的驾驶辅助图像显示系统的结构图，是详细示出驾驶辅助图像生成装置的结构 的图。并且，在图22的说明中，对于与实施方式1至实施方式5的驾驶辅助图像显 示系统的结构相应的部分，标记与图1、图2、图9、图17、图19相同的标号，省略 其说明。

实施方式6的驾驶辅助图像显示系统的特征在于，具备视线检测判定装置7，视 线检测判定装置7通过检测搭乘者的视线判定是否已识别出提示物。

以下，使用图22对实施方式6的驾驶辅助图像显示系统的结构和动作进行说明。

视线检测判定装置7设置在车辆的内部，具备照相机，该照相机检测表示搭乘者 的视线的方向的视线信息。并且，视线检测判定装置7始终监视视线信息，判定搭乘 者是否识别出提示物。视线检测判定装置7经由车载LAN5与图1所示的摄像装置1、 导航装置2、显示部3、驾驶辅助图像生成装置4以有线或无线的方式连接。

视线检测判定装置7中设定有预先确定的时间，在搭乘者的视线在所确定的时间 内朝向提示物所处的方向的情况下，判定为搭乘者识别出提示物。

视线检测判定装置7在判定为搭乘者未识别出提示物的情况下，将显示指示输出 至驾驶辅助图像生成装置4。驾驶辅助图像生成装置4接收显示指示，将存储于驾驶 辅助图像存储部46的驾驶辅助图像显示在显示部3上。

实施方式6的驾驶辅助图像显示系统在由视线检测判定装置7判定为搭乘者未识 别出提示物的情况下，显示存储于驾驶辅助图像存储部46的驾驶辅助图像，但不限 定于此，也可以在判定为搭乘者识别出提示物的情况下，删除存储于驾驶辅助图像存 储部46的驾驶辅助图像的信息。通过以这种方式来构成，能够防止在驾驶辅助图像 存储部46中蓄积不必要的驾驶辅助图像的信息，能够高效地利用存储容量。

另外，本实施方式的驾驶辅助图像显示系统也可以构成为，在判定为搭乘者未识 别出提示物的情况下，利用摄像装置1拍摄提示物，生成驾驶辅助图像。通过以这种 方式来构成，在搭乘者识别出提示物的情况下，不会生成驾驶辅助图像的信息，因此， 能够减轻不必要的处理负担。

此外，本实施方式的视线检测判定装置7能够应用于实施方式1至实施方式5 的驾驶辅助图像显示系统。

如上所述，实施方式6的驾驶辅助图像显示系统构成为具备视线检测判定装置7， 视线检测判定装置7通过检测搭乘者的视线判定搭乘者是否识别出提示物，在由视线 检测判定装置7判定为搭乘者识别出提示物的情况下，利用显示部3进行显示。因此， 搭乘者每次忽略提示物时，无需操作操作输入装置6，就能够确认驾驶辅助图像。

在实施方式1至实施方式6的驾驶辅助图像显示系统中，驾驶辅助图像生成装置 4根据所拍摄的摄像图像生成提取图像，进而根据该提取图像生成驾驶辅助图像，但 不限于此，也可以使用过去已经拍摄的提取图像生成驾驶辅助图像。例如，驾驶辅助 图像生成装置4将在车辆过去通过的地点所拍摄的提示物的提取图像的信息与车辆 的位置信息对应起来存储于提取图像存储部42。另外，驾驶辅助图像生成装置4在 车辆再次通过相同的地点的情况下，从提取图像存储部42读出由车辆的位置信息确 定的提取图像并变更内容，生成驾驶辅助图像。通过以这种方式来构成，能够省略利 用摄像装置1拍摄提示物的动作，能够减轻装置的负担。

另外，在生成驾驶辅助图像时使用过去所拍摄的提取图像的情况下，实施方式1 至实施方式6的驾驶辅助图像显示系统也可以接收其他车辆拍摄的提取图像的信息， 来代替从本车辆的提取图像存储部42读出提取图像的信息。例如，通过将具备实施 方式1至实施方式6的驾驶辅助图像显示系统的其他车辆过去拍摄并提取的提取图像 的信息发送至外部服务器进行存储，驾驶辅助图像生成装置4能够经由道路上设置的 路边设备等来访问服务器，取得提取图像的信息。

此外，在实施方式1至实施方式6的驾驶辅助图像生成装置4的说明中，图像处 理部45虽然通过对所拍摄的提取图像本身进行变更来获得驾驶辅助图像，但不限于 此，只要所拍摄的提示物的内容被变更即可，例如也可以利用与提取图像对应的CG (ComputerGraphics)从最初开始生成驾驶辅助图像。在利用CG生成驾驶辅助图像 的情况下，驾驶辅助图像生成装置4具备存储部(未图示)，生成与由摄像装置1拍 摄的提示物对应的提示物的CG图像，所述存储部预先存储与提示物对应的CG图像 或与提示物的一部分对应的CG图像的部分(parts)。在利用CG生成驾驶辅助图像 的情况下，提示物识别处理部41只要从由摄像装置1拍摄的摄像图像中识别出提示 物即可，不一定需要作为提取图像存储于提取图像存储部42。

另外，实施方式1至实施方式6的驾驶辅助图像显示系统也可以不是根据摄像图 像生成驾驶辅助图像，而是使用表示预先与地图数据一起存储的提示物的内容的图像 信息。例如，在该情况下，车辆移动信息可以根据提示物的提示位置和作为驾驶辅助 信息的车辆的当前位置计算。即使是这样的情况下，通过根据车辆的情况来变更预先 存储的图像中的文字而作为驾驶辅助图像进行显示，能够获得与实施方式1至实施方 式6相同的效果。

并且，如果使用摄像图像，则在实际的提示物的内容被变更的情况下、或者新的 提示物被提示出来的情况下，也能够将最新的正确的信息作为驾驶辅助图像进行显 示。例如，虽然在道路上或道路周围提示的提示物会与道路的新设对应地被新提示出 来，但只要使用拍摄新提示的提示物的图像，则在不存在表示预先与地图数据一起存 储的提示物的内容的图像信息的情况下，也能够获得最新的驾驶辅助图像。

并且，实施方式1至实施方式6的驾驶辅助图像生成装置4虽然被设置于车辆中， 但并不限于此，也可以被设置于在车辆外的特定场所设置的服务器等中。例如，车辆 所具备的显示部3也可以利用无线通信向服务器发送驾驶辅助信息，也可以接收由设 置于服务器侧的驾驶辅助图像生成装置4生成的驾驶辅助图像。另外，显示部3也可 以构成为，与智能手机等的通信单元以有线或无线的方式连接，经由该智能手机与服 务器进行通信。

另外，作为实施方式1至实施方式6的驾驶辅助图像显示系统的特征的结构可以 搭载于1个同一驾驶辅助图像显示系统中。

标号说明

1：摄像装置；2：导航装置；3：显示部；4：驾驶辅助图像生成装置；5：车载 LAN；6：操作输入装置；7：视线检测判定装置；41：提示物识别处理部；42：提取 图像存储部；43：文字识别部；44：文字判定部；45：图像处理部；46：驾驶辅助图 像存储部；47：距离计算部；48：车辆信息存储部；49：车辆信息判定部；410：时 刻计测部；411：时间判定部。