驾驶注意力程度判定装置、方法以及程序

摘要

本发明提供一种驾驶注意力程度判定装置、方法以及程序。即使在驾驶者的视线没有朝向周边对象物体的情况下，也能判定驾驶者对周边视野区域的注意力程度，并根据判定结果辅助安全驾驶。该驾驶注意力程度判定装置，具有：脑电波测量部，其测量驾驶者的脑电波信号；注意力程度判定部，其根据以在驾驶者的周边视野区域发生的视觉刺激的发生时刻为起点而测量出的脑电波信号来判定驾驶者对周边视野区域的注意力程度；和输出部，其通过根据判定结果输出信号，从而引起驾驶者的注意。

说明书

技术领域

本发明涉及使用脑电波对驾驶者的状态进行判定，以辅助安全驾驶的技术。

背景技术

近年来，在关于汽车驾驶的事故防止装置中，正在研究对驾驶者的状态进行判定，并根据该判定结果来辅助驾驶的方法。查知危险对象物体是安全驾驶所需的驾驶者的视觉认知功能之一。查知危险对象物体是指通过周边视觉来发现周围的车辆或步行者的危险动作，如果该查知功能降低，则会导致相撞事故或冲出事故。

“周边视野”一般是指在以视线为中心的大约20度的范围(中心视野)外的上下130度、左右180度的区域。我们知道，虽然在周边视野中难以详细地识别物体的形状或颜色，但是，对于移动的对象或闪烁的光这种有时间性变化的物体会敏感地反应。驾驶者需要防备行人突然冲出或摩托车从侧方横穿等情况，也要留意周边视野区域或设置在该区域中的门侧后视镜等。因此，需要在驾驶者对周边视野区域的注意力程度低时，采取对该驾驶者发出警告等的措施。

作为判定驾驶者的注意力状态的方法的一种，通过对着驾驶者安装的摄像机，对驾驶者的视线或脸部活动进行检测并判定驾驶者的注意力分配状态。例如，在专利文献1中公开了这样一种技术，即：通过对根据自身车辆的周边状况所判定的驾驶者应该注意的最佳注视位置和根据驾驶者的视线或脸部动作检测出的注视点进行比较，从而判定驾驶者的注意力分配状态。

另外，还有通过反映自身车辆的操作状况的行驶速度或方向盘操作角度的变化等来判定驾驶者的注意力状态的方法。例如，在专利文献2中公开了这样一种技术，即：使用针对前方车辆的突然减速的刹车反映时间等来求取驾驶者的驾驶集中程度，由此，判断是否向驾驶者发出警报的必要程度。

另外，使用脑电波的事件相关电位(Event-Related Potential：ERP)来检查驾驶者对驾驶的注意力程度的研究也在进行。“事件相关电位”是指：与外部或内部事件在时间上相关联所产生的脑的一时性的电位变动。在事件相关电位中，例如将以外部视觉刺激等的发生时刻为起点在大约300毫秒附近出现的阳性成分称为P300成分，且设为对该刺激反映认知或注意。

例如，在非专利文献1中公开了关于使用事件相关电位的驾驶注意力程度的测量的研究。如果对该研究具体说明，则其内容为：在追随前方车辆行驶的实验中，设置了当前方车辆的刹车灯亮灯时驾驶者踏自身车辆的刹车踏板的课题。对前方车辆紧急刹车时的行驶(高度注意力条件)和不进行紧急刹车时的行驶(低度注意力条件)这两种实验条件下的事件相关电位进行比较，其报告结果是：在高度注意力条件的情况下，事件相关电位的P300成分的振幅变大。

专利文献1：JP特开2004-178367号公报

专利文献2：JP特开2002-127780号公报

非专利文献1：“使用事件相关电位的驾驶注意力测量技术”，江部等，汽车技术、Vol.58.No.7、pp.91-96、2004年

但是，由于在专利文献1记载的技术中是基于视线未朝向的地方就是没有注意到的地方这一想法，因此不能精确度良好地判定驾驶者对周边视野区域的注意力程度。例如，在实际的驾驶情况下，驾驶者利用中心视野监视前方车辆，同时利用周边视野查知并行车辆或行人的移动，按照其前方和周边的状况来决定视线方向。因此，在将视线面向前方也同时注意周边视野区域等的情况下，很难利用现有技术来应对。

另外，在专利文献2记载的技术中，由于使用了针对前方车辆的突然减速的刹车反应时间等，因此，所求出的驾驶集中程度被限定在自身车辆的前方，即：被限定在针对驾驶者的中心视野区域的范围内。在实际的驾驶情况下，对于在驾驶者的周边视野区域发生的事件的反应被直接表现于刹车等行动的情况非常少。因此，通过使用自身车辆的操作状况的现有技术，不能精确度良好地判定驾驶者对周边视野区域的注意力程度。

另外，在非专利文献1记载的研究中，也与上述同样使用了针对前方车辆的刹车灯亮灯的事件相关电位(ERP)。因此，所测量的驾驶注意力程度被限定在针对驾驶者的中心视野区域的范围内，不能测量针对周边视野区域的注意力程度。

发明内容

本发明是鉴于上述课题而实现的发明，其目的在于，即使在驾驶者的视线没有朝向周边对象物体的情况下，也能判定驾驶者对周边视野区域的注意力程度，并根据判定结果辅助安全驾驶。

本发明的驾驶注意力程度判定装置具有：脑电波测量部，其测量驾驶者的脑电波信号；注意力程度判定部，其根据以在上述驾驶者的周边视野区域发生的视觉刺激的发生时刻为起点而测量出的上述脑电波信号来判定上述驾驶者对上述周边视野区域的注意力程度；和输出部，其通过根据上述判定结果来输出信号，从而引起上述驾驶者的注意。

上述注意力程度判定部可以根据以上述视觉刺激的发生时刻为起点而测量出的上述脑电波信号的事件相关电位的振幅的大小来判定上述注意力程度。

当以上述视觉刺激的发生时刻为起点从300毫秒到600毫秒的区间的阳性成分即P300的事件相关电位的振幅小于规定阈值时，上述注意力程度判定部可以判定为上述注意力程度低。

当上述注意力程度判定部判定为上述注意力程度低时，上述输出部可以对上述驾驶者输出上述信号。

当以上述视觉刺激的发生时刻为起点从300毫秒到600毫秒的区间的阳性成分即P300成分的事件相关电位的振幅大于上述规定阈值时，上述注意力程度判定部判定为上述注意力程度高，当上述注意力程度被判定为高时，上述输出部可以不对上述驾驶者输出上述信号。

上述注意力程度判定部可以根据以上述视觉刺激的发生时刻为起点而测量出的上述脑电波信号与事先保存的模板的相关系数来判定上述注意力程度。

上述输出部可以输出用于在提示信息用的画面中提示文字或符号的图像信号、以及从输出声音用的扬声器输出的声音信号中的至少一种。

上述驾驶注意力程度判定装置还可以具有在上述驾驶者的周边视野区域内使上述视觉刺激发生的周边刺激发生部。

上述驾驶注意力程度判定装置还具有：拍摄部，其拍摄上述驾驶者驾驶的车辆的前方的图像；和周边刺激检测部，其根据拍摄到的上述图像来检测在上述周边视野区域内发生的上述视觉刺激的发生时刻，上述注意力程度判定部可以从上述周边刺激检测部接收对检测出的上述视觉刺激的发生时刻进行确定的信息。

上述驾驶注意力程度判定装置还具有测量上述驾驶者的视线的视线测量部，上述周边刺激检测部根据由上述视线测量部测量出的在上述视觉刺激的发生时刻的上述驾驶者的视线、以及拍摄到的上述图像，来检测在周边视野区域内是否发生了上述视觉刺激。

上述驾驶注意力程度判定装置具有检测上述车辆的速度或前灯是否亮灯的状况检测部，上述周边刺激检测部可以根据上述状况检测部的检测结果来检测上述视觉刺激是否位于上述周边视野区域。

当在上述驾驶者的周边视野区域以及中心视野区域各自检测出的视觉刺激的发生时刻的时间差在规定值以下时，上述注意力程度判定部可以将与在上述周边视野区域检测出的视觉刺激相对应的上述脑电波信号的事件相关电位的数据从分析对象中排除。

上述周边刺激发生部可以在与上述驾驶者的中心视野区域产生的视觉刺激的发生时刻具有规定值以上的时间差的发生时刻，在上述驾驶者的周边视野区域内使上述视觉刺激发生。

本发明的判定驾驶注意力程度的方法包括：测量驾驶者的脑电波信号的步骤；根据以在上述驾驶者的周边视野区域发生的视觉刺激的发生时刻作为起点而测量出的上述脑电波信号来判定上述驾驶者对上述周边视野区域的注意力程度的步骤；以及通过根据上述判定结果来输出信号，从而引起上述驾驶者的注意的步骤。

本发明的用于判定驾驶注意力程度的计算机程序是由计算机执行的计算机程序，该计算机程序使上述计算机执行以下步骤以引起上述驾驶者的注意，上述步骤包括：接收驾驶者的脑电波信号的步骤；根据以在上述驾驶者的周边视野区域发生的视觉刺激的发生时刻作为起点而测量出的上述脑电波信号来判定上述驾驶者对上述周边视野区域的注意力程度的步骤；以及根据上述判定结果来输出信号的步骤。

(发明效果)

根据本发明，根据以在驾驶者的周边视野区域发生的视觉刺激的发生时刻作为起点而测量出的脑电波信号来判定驾驶者对周边视野区域的注意力程度。通过使用脑电波信号，能够精确度良好地判定驾驶者对于车辆突然插入或行人突然冲出等在其周边视野区域可能发生的事件的注意力程度，并且能根据该判定结果来采取恰当地引起驾驶者注意等的措施以促使其改变状态。

附图说明

图1是表示本发明的驾驶注意力程度判定装置100的主要结构的功能块的构成图。

图2是实施方式1的驾驶注意力程度判定装置1的功能块的构成图。

图3是表示假设组合了安装型脑电波计和显示器的眼镜型头戴显示器的情况下的周边视野区域的例子的图。

图4是安装了拍摄部15的情况下的中心视野区域以及周边视野区域的例子的示意图。

图5是安装了视线测量部18的情况下的中心视野区域以及周边视野区域的例子的示意图。

图6是表示周边视野注意力程度判定部13的顺序的流程图。

图7是表示周边视野注意力程度判定部13的处理的例子的图。

图8是表示输出部14的引起注意的例子的图。

图9是表示本申请发明人实施的实验的提示画面的图。

图10是表示每个视野区域以及每个反应时间的相加平均波形的图。

图11是表示视野区域与P300成分的最大振幅的关系的图。

图12是表示每个视野区域的非相加脑电波时的P300成分的最大振幅的概率分布的图。

图13是实施方式2的驾驶注意力程度判定装置1的功能块的构成图。

图14是表示周边刺激检测部16的处理顺序的流程图。

图15是在实施方式2中设置状况检测部17的情况下的驾驶注意力程度判定装置1的功能块的构成图。

图16是表示在实施方式2中设置状况检测部17的情况下的中心视野区域以及周边视野区域的例子的图。

图17是表示在实施方式3中设置状况检测部17的情况下的中心视野区域以及周边视野区域的例子的图。

图18是实施方式3的驾驶注意力程度判定装置1的功能块的构成图。

图19是视线测量部18的功能块的构成图。

图20(a)是表示实施方式3的视线测量部18的校正信息的数据结构的图；(b)是表示在拍摄图像上的驾驶者的注视位置坐标的例子的图。

图21是相对于实施方式1的结构而设置视线测量部18的驾驶注意力程度判定装置1a的功能块的构成图。

图22是相对于实施方式2的结构而设置状况检测部18的驾驶注意力程度判定装置2b的功能块的构成图。

具体实施方式

以下，参照附图对本发明的驾驶注意力程度判定装置的概念进行说明，然后，对各实施方式进行说明。

图1是表示本发明的驾驶注意力程度判定装置100的主要构成的框图。驾驶注意力程度判定装置100具有脑电波测量部11、注意力程度判定部13、及输出部14。

脑电波测量部11测量驾驶者10的脑电波信号。

注意力程度判定部13根据将在上述驾驶者10的周边视野区域发生的视觉刺激的发生时刻作为起点而测量的脑电波信号，来判定驾驶者10对上述周边视野区域的注意力程度。

在此，“周边视野区域”是指：人的视野区域中的以人的视线方向为中心而规定的一定的视野区域(中心视野区域)以外的区域。中心视野区域可以定义为：当假设了以人的视点方向为轴的圆锥时，由视线方向与该圆锥侧面形成的一定的角度所围起的区域。在以下的实施方式中，设该一定的角度为大约20度来进行说明。

输出部14通过根据注意力程度判定部13的判定结果来输出信号，从而引起驾驶者10的注意。由此，能提高驾驶者的注意力程度，辅助安全驾驶。

上述注意力程度判定部13确定在周边视野区域发生的视觉刺激的发生时刻。视觉刺激既可以通过在驾驶注意力程度判定装置100中设置发光装置并使该发光装置发光来提供，也可以通过外部环境(例如其他车辆亮灯的车灯等)来提供。在以下的实施方式中，对这两种情况的实施方式进行说明。

并且，在各实施方式中对脑电波测量部11、注意力程度判定部13、输出部14的具体结构进行详细说明。

(实施方式1)

图2是表示本实施方式的驾驶注意力程度判定装置1的块构成图。

驾驶注意力程度判定装置1是使用驾驶者10的脑电波信号来判定对驾驶的注意力程度，并进行基于判定结果的辅助的装置。例如，使用脑电波来判定对于车辆的突然插入或行人的冲出等在驾驶者的周边视野区域可能发生的事件的注意力程度，根据判定结果，能引起驾驶者的注意。

驾驶注意力程度判定装置1具有脑电波测量部11、周边刺激发生部12、注意力程度判定部13和输出部14。驾驶者10的块是为了便于说明而显示的。

各构成要素的硬件构成以及功能的概要如下所述。

脑电波测量部11例如是脑电波计，用于测量驾驶者10的脑电波。

周边刺激发生部12例如由LED光源及其控制电路构成，在驾驶者10的周边视野区域发生视觉刺激。周边刺激发生部12向驾驶者10传递视觉刺激，向注意力程度判定部13传递表示刺激发生时刻的信息。

注意力程度判定部13例如是个人计算机，以根据表示刺激发生时刻的信息而确定的刺激的发生时刻为起点来测量脑电波信号，根据该脑电波信号来判定驾驶者10对周边视野区域的注意力程度。

输出部14是能输出图像或声音的至少一方的设备。利用液晶显示装置或有机EL显示器等的显示装置输出图像。使用扬声器输出声音。输出部14根据判定结果来促使引起驾驶者10的注意。

以下，对各构成要素进行详细说明。

脑电波测量部11通过测量安装在驾驶者10的头部的电极的电位变化来检测脑电波信号。本申请发明人就将来考虑，假设了安装型的脑电波计。因此，脑电波计也可以是头戴式的脑电波计。假定驾驶者10事先安装了脑电波计。

当安装在驾驶者10的头部时，在脑电波测量部11中以与其头部的规定位置接触的方式设置了电极。电极设置的位置是例如国际10-20法所定义的Pz(头顶正中)、A1(耳朵)以及鼻根部。根据现有技术文献(宫田洋等，新生理心理学、1998、p119、北大路书房)，对外部刺激反映认知或注意，并以该刺激的发生时刻为起点在大约300毫秒附近出现的事件相关电位的P300成分在Pz(头顶正中)处达到最大的振幅。不过，在Pz周边的Cz(头盖顶)、Oz(后脑部)处也能测量P300成分，且也可以在该位置处设置电极。该电极位置由信号测定的可靠性以及安装的容易程度等来决定。

其结果是，脑电波测量部11能测量驾驶者10的脑电波。所测量的脑电波被抽样以便能用计算机处理，并被发送给周边视野注意力程度判定部13。另外，为了降低混入脑电波的噪音的影响，当在脑电波测量部11中测量的脑电波着眼于事件相关电位的情况下，事先进行例如15Hz的低通滤波处理。

周边刺激发生部12在驾驶者的周边视野区域发生视觉刺激。在此，通过例子对周边视野区域的定义进行说明。

例如，当假设组合了图3所示的安装型的脑电波计和显示器的眼镜型的头戴显示器(Head Mounted Display：HMD)的情况下，通过使位于显示器22的边缘部分的LED等光源23闪烁，可以提示视觉刺激。在本实施方式中，周边刺激发生部12具有光源23和一边向该光源23提供电力一边控制闪烁时刻的控制电路(图中没有显示)。

成为该视觉刺激的闪烁的每单位时间的次数，由后面要提到的注意力程度判定部13的判定精确度或判定间隔等决定。例如，当按每隔3分钟判定注意力程度的变化的情况下，如果判定所需要的脑电波数据的个数(相加次数)是30个，则闪烁次数为每分钟10次。

现在，通过组合在脑电波的事件相关电位(ERP)研究中进行的各种各样的噪音对策或高精度的分析方法，能够进一步减少所需的闪烁次数。闪烁位置既可以随机决定，也可以按事先决定的顺序依次闪烁。将此时的设置了光源23之处作为驾驶者看到的周边视野区域。另外，LED等的光源23也可以设置在车内挡风玻璃的边缘部分或门侧后视镜(door mirror)上，此时，同样将设置了光源23之处作为驾驶者看到的周边视野区域。

另外，周边刺激发生部12需要以与在驾驶者的中心视野内发生视觉刺激的时刻错开的方式在周边视野内发生视觉刺激。以下，对其具体例进行说明。

首先，图4表示中心视野区域31的一个例子。在此，将驾驶者视野中的自身车辆存在的车线以及前面板(图中没有显示)存在的区域设定为中心视野区域31。另外，将中心视野区域31以外的中心区域以外的区域作为周边视野区域32。

现在，例如在方向转换时或车线变更时驾驶者使方向指示灯闪烁的情况下，需要有意地错开使存在于驾驶者的中心视野区域31内的前面板的方向指示灯显示闪烁的时刻和在存在于周边视野区域32的车内挡风玻璃的边缘部分或门侧后视镜等上设置的光源23的闪烁时刻。

以下对其理由进行说明。后面要提到的注意力程度判定部13使用以刺激的发生时刻为起点的脑电波的事件相关电位，特别使用以刺激的发生时刻为起点的从300毫秒到600毫秒的事件相关电位，来判定注意力程度。在假设中心视野和周边视野两者中同时发生视觉刺激的情况下，不能确定通过注意力程度判定部13判定的注意力程度是针对中心视野区域31还是针对周边视野区域32。因此，为了使针对各自的刺激的分析时区间不重复，需要针对在中心视野区域31发生的视觉刺激经过规定的时间差后，在周边视野区域32发生视觉刺激。

当在周边视野区域32中的视觉刺激和在中心视野区域31发生的视觉刺激之间赋予时间差的情况下，为了确定此时关注的事件相关电位(从300毫秒到600毫秒)是由何种视觉刺激引发的，需要与其他视觉刺激至少相隔300毫秒的时间差而发生。例如，当将前面板的方向指示灯闪烁的时刻设置为相隔600毫秒的情况下，周边视野区域的光源23在与前面板的视觉刺激错开300毫秒的时刻同样相隔600毫秒闪烁即可。

另外，假设在中心视野区域31和周边视野区域32这两个区域同时检测出视觉刺激的情况下，或各自的刺激检测时刻在300毫秒以下的情况下，如上所述，不能正确测量针对周边视野区域32的注意力程度。因此，将针对在该周边视野区域32发生的刺激的事件相关电位的数据从注意力程度判定部13的分析对象中排除。该处理可以通过注意力程度判定部13不利用该数据而是将其废除来实现，也可以通过脑电波测量部11停止该时刻的脑电波信号的输出来实现。

另外，一般来讲，“周边视野区域”是指在以视线(注视点)为中心的大约20度的范围(中心视野)外的上下130度、左右180度的区域。因此，当设置测量驾驶者的视线的视线测量部的情况下，如图5所示，能将从测量出的注视点41到驾驶者的视角20度以内的区域作为中心视野区域42；将除此以外的区域(关于上下方向分别是以视线为中心的20度以上～130度以下的区域；关于左右方向分别是以视线为中心的20度以上～130度以下的区域)作为周边视野区域43。

在以下的说明中，将中心视野区域以及周边视野区域设定为如上述图4、图5所示。并且，基本上以驾驶中的驾驶者看着前方中央为前提，来固定中心视野区域以及周边视野区域。

不过，驾驶者的视线在实际的驾驶时可能会变动。鉴于此，在后面要提到的其他的实施方式中，会对测量驾驶者视线的例子进行说明。另外，在后面要提到的其他实施方式中也会对利用来自外部的视觉刺激的例子进行说明。

周边刺激发生部12将表示上述的刺激发生时刻或发生时机(触发)的信息发送给注意力程度判定部13。

注意力程度判定部13根据从周边刺激发生部12接收到的信息，分析以刺激的发生时间点为起点所测量的上述脑电波信号，判定驾驶者10对周边视野区域的注意力程度。在此，通过参照图6以及图7对注意力程度判定部13的处理顺序进行说明。

图6是表示注意力程度判定部13的处理顺序的流程图。另外，图7是关于注意力程度判定部13的处理的波形的例子。

在图6的步骤S51中，注意力程度判定部13接收由脑电波测量部11测量出的脑电波数据。图7表示接收到的脑电波数据61。

在步骤S52中，注意力程度判定部13从周边刺激发生部12接收发生刺激的时刻的信息。图7表示成为触发的刺激发生的时刻62。

在步骤S53中，注意力程度判定部13截取在步骤S51接收到的脑电波数据中的以在步骤S52获取到的各发生时刻为起点的从-100毫秒到600毫秒的脑电波数据。图7表示所截取的脑电波数据(事件相关电位)63的例子。并且，截取脑电波数据的上述时间宽度被规定为是一定包括事件相关电位的P300成分的范围。如果包括P300成分，则也可以用与该时间宽度不同的时间宽度来截取脑电波数据。

在步骤S54中，注意力程度判定部13进行所截取的脑电波数据的基线校正。例如，以刺激发生的时刻为起点，以从-100毫秒到0毫秒的平均电位进行基线校正。

在步骤S55中，注意力程度判定部13将在步骤S54中进行了基线校正的脑电波数据暂时保存。

在步骤S56中，注意力程度判定部13判断在步骤S55所保存的脑电波数据的个数是否达到事先设定的所需的相加次数。当没有达到的情况下，处理返回到S51；当达到的情况下，进入步骤S57。

另外，一般来讲，在事件相关电位的研究中，在求得脑电波数据的加法运算平均值之后进行分析。由此，与关注事件无关的随机的脑的活动电位被抵消，能检测出具有一定的潜伏期(以刺激的发生时间点为起点到活动电位发生为止的时间)和极性的事件相关电位(例如P300成分)。

例如，根据现有技术文献(宫田洋等，新生理心理学、1998、p110、北大路书房)，进行了30次的相加平均处理。

在本实施方式中，相加的次数为例如20～30次。通过增加次数能提高SN比。不过，该相加的次数只是一个例子，本发明不局限于该次数。也可以根据不进行相加的脑电波(1个脑电波数据)来判定注意力程度。

在步骤S57中，注意力程度判定部13进行在步骤S55所保存的所需次数的脑电波数据的加法运算平均处理。图7表示相加平均后的波形64以及振幅65。

进一步根据该相加平均后的脑电波数据来分析事件相关电位的从300毫秒到600毫秒的振幅，根据该振幅的大小进行注意力程度的判定。此时，根据本申请发明人所确定的周边视野区域中特有的ERP特性来判定对周边视野区域的注意力程度。关于判定处理的详细内容，后面将参照图10～12所示的实验结果进行说明。

在此，对相加的脑电波数据的对象范围和判定的注意力程度的对象范围的关系进行说明。例如，当将针对图3所示的所有光源23的闪烁的脑电波数据相加的情况下，能解释为在判定对于整个周边视野的注意力程度。另一方面，在每个光源位置闪烁所需的次数，在将针对每个光源位置的闪烁的脑电波数据相加的情况下，能解释为在判定针对该各自的光源位置的注意力程度。

在图6的步骤S58中，注意力程度判定部13将上述判定结果发送给输出部14。

输出部14将使用注意力程度判定部13判定的结果通过图像或声音进行提示。或者，输出部14根据判定结果，当注意力程度低的情况下，从装置侧向驾驶者输出用于引起注意的信号。由此，能提高驾驶者的注意力程度。

输出部14为了引起驾驶者的注意而输出的信号可以是例如图像信号或声音信号中的一种，也可以是这两种。具体而言，作为对驾驶者的提示，可以通过声音信号提醒驾驶者，通过声音信号提示动作音或警告音；另外，关于图像信号，在汽车导航或抬头显示器上显示内容或图像。由此，能引起驾驶者的注意，提高驾驶者的注意力程度。

在输出部14为了引起注意而输出的信号中，也包括产生用于引起驾驶者注意的作用的控制信号。这些控制信号例如是，使用了以与希望集中注意的对象物体相重合的方式显示图像的AR(增强现实(Augmented Reality)技术的用于进行直接的信息提示的控制信号；用于产生根据方向盘的振动、味道或风量的调节的间接作用的控制信号等。用于引起注意的作用中包括如上述例子所述的各种作用。包括上述例子的任意一个例子都可以说是通过对驾驶者施加外部作用而引起了注意。

例如，图8表示输出部14的引起注意的例子。该例子表示注意力程度判定部13进行了每个光源位置的脑电波数据的加法运算以及注意力程度判定后，判定为驾驶者对左侧的注意力程度正在降低的情况。在图8中，为了促使引起驾驶者对左侧的注意，在抬头显示器(HUD)151上输出(提示)左箭头的图像信号152。该图像信号作为引起注意的信息而发挥作用。

在此，关于上述注意力程度判定，对本申请发明人实施的实验结果进行说明。通过以下要说明的实验，本申请发明人发现，针对在周边视野区域发生的刺激的事件相关电位的300毫秒到600毫秒的振幅，根据注意力程度的大小而大幅度变化。

接受实验者包括1名男性和3名女性的合计4个人，平均年龄为21±1.5岁。使用图9对实验内容进行说明。

本申请发明人通过双重问题法进行了实验，即让接受实验者同时实施2个问题。第1问题是在头脑中计算在图9的画面中央提示的符号(○/△/□/×)的切换次数的中心问题71。第2问题是画面周边的灯按照随机的顺序依次闪烁，当接受实验者注意到该闪烁时按下手边的按钮的周边问题72。另外，让接受实验者的视线总是朝向画面中央。通过像这样同时进行画面中央和周边的2个问题，能检查在注意画面中央的同时有多大程度会注意其周边。为了能将周边视野显示给接受实验者，横着排列1～3的3台20英寸的显示器，接受实验者与画面的距离设为60cm。本实验并不是模拟车辆运行环境的实验，可以理解为是用于检查在监视注视点的同时如何能很早地注意到其周边的变化的抽象化实验。

另外，对接受实验者安装脑电波计(TEAC制造，Polymate AP-1124)，电极的配置使用国际10-20电极法，将导出电极设置在Pz(头顶正中)，将基准电极设置在A1(右耳)，将接地电极设置在前额部。对在抽样频率200Hz、时间常数3秒的条件下测量出的脑电波数据进行1～6Hz的带通滤波器处理，截取以周边的灯闪烁时为起点的从-100毫秒到600毫秒的脑电波数据，且以-100毫秒到0毫秒的平均电位进行基线校正。

图10表示进行上述处理后得到的第1以及第2条件各自的脑电波数据的所有接受实验者的相加平均波形。

第1条件是指关于视野区域所进行的分类的条件。在本实验中，如图9所示，将视角(将接受实验者的眼睛的位置和到画面中央的注视点连接的线与将接受实验者的眼睛的位置和到闪烁的灯连接的线相交叉的角度)为0度以上且小于10度的范围作为区域1；将10度以上小于20度的范围作为区域2；将20度以上作为区域3进行分类。

第2条件是指关于接受实验者按下按钮的反应时间的分类的条件。在本实验中，为了将注意力程度的大小作为实验条件进行分类，使用了到按下按钮为止的反应时间。在生理心理实验中，反应时间被认为会反映出注意力程度，例如，专利文献2中也使用刹车反应时间来计算出对驾驶的注意力集中程度。

在本实施中，对与将按钮按下反应时间作为注意力程度的指标时的脑电波的关系进行了分析。当俯瞰本实验中的所有反应时间时，在400毫秒～600毫秒之间存在非常多的样本。因此，进行以下分类，即：当能在600毫秒以内反应的情况下，认为反应时间快，即对于该刺激处于高注意力状态；当不能在600毫秒以内反应的情况下，认为反应时间慢，即对于该刺激处于低注意力状态。图10的各自的图表中，横轴为将灯闪烁时作为0毫秒的时间(潜伏期)，单位是毫秒；纵轴为电位，单位是μV。另外，在各图表内标明的数字(N)表示各自的相加次数。

通过图10可知，当反应时间快的情况下，即当注意力程度大的情况下(图10的(a)～(c))，与视野区域无关，作为从潜伏期300毫秒到600毫秒之间的阳性成分的P300成分的振幅变大。图10的(a)～(c)中的P300成分的最大振幅(81(a)～(c))分别是20.3μV、19.6μV、20.9μV。另一方面，当反应时间慢的情况下，即当注意力程度小的情况下(图10的(d)～(f))，P300成分的振幅相对变小。特别是，在视觉为20度以上的区域3(一般被作为周边视野的区域)，并且注意力程度小的情况下(图10的(f))，可知P300成分的振幅大幅度减少。图10的(d)～(f)中的P300成分的最大振幅(81(d)～(f))分别为13.6μV、13.2μV、2.5μV。

图11表示图10的各条件下的P300成分的最大振幅。横轴是视野区域的区域1/区域2/区域3；纵轴是电位，单位是μV。实线表示注意力程度大的情况，虚线表示注意力程度小的情况。各视野区域中的注意力程度大小时的振幅差91(a)～(c)分别是6.7μV、6.4μV、18.4μV。从图11也可知，在视觉20度以上的区域3(周边视野区域)中，根据注意力程度的大小，振幅会有大幅度的差。

通过利用上述周边视野区域中的ERP特性来判定事件相关电位的振幅的大小，能根据脑电波以更良好的准确度来判定驾驶者对车辆的突然插入或行人冲出等在其周边视野区域可能发生的事件的注意力程度。

另外，根据本实验中的注意力程度判别率的计算结果对本实施方式的构成的优点进行具体说明。图12表示每个视野区域的非相加脑电波时的P300成分的最大振幅的概率分布。(a)、(b)、(c)分别表示区域1、区域2和区域3(周边视野区域)的情况下的概率分布。各自的图表的纵轴为电位，单位是μV；横轴是各注意力程度的发生概率，单位是％。另外，表1表示在各自的视野区域中判别注意力程度的大小的情况下的判别率。

【表1】

  (a)区域1  (b)区域2  (c)区域3  注意力程度判别率  55.4％  59.8％  73.1％

判别方法是在各自的视野区域中设定判别率成为最大的ERP最大振幅的阈值，根据各自的非相加脑电波的ERP振幅是否在上述阈值以上来判别注意力程度的大小。在此，将判别率成为最大的阈值设为：注意力程度大的情况下的正确率与注意力程度小的情况下的正确率的平均值成为最大的阈值。在图12(a)～(c)的情况下，上述阈值分别为7.5μV、22.5μV、32.5μV，图12的(a)～(c)的点划线表示该阈值。

根据图12(a)～(c)以及表1可知，在图12(a)的区域1的情况和图12(b)的区域2的情况下，注意力程度大时的概率分布以及注意力程度小时的概率分布相当重复，且注意力程度判别率也成为55.4％以及59.8％这样低的值。

另一方面，在图12(C)的视觉为20度以上的区域3(周边视野区域)的情况下，注意力程度大时的概率分布以及注意力程度小时的概率分布在某种程度上分离，注意力程度判别率也达到73.1％这一作为非相加脑电波时的判别非常高的值。因此，根据本实施方式的周边视野中的注意力程度判定，即使不进行数十次～数百次的相加，也能通过非相加脑电波维持高的判别率。换句话说，能判定驾驶者对于该瞬间的注意力程度，而不是判定对于数分钟左右的时间宽度的注意状态。

另外，周边视野区域的注意力程度也可以基于与事先保存的模板(template)的相关系数的值进行判定，而不是针对上述事件相关电位的振幅的阈值处理进行判定。在此，模板是指：图10中的区域3(周边视野)的注意力程度大的情况下的(c)的脑电波信号的相加平均波形数据：和注意力程度小的情况下的(f)的脑电波信号的相加平均波形数据。求出各自的非相加脑电波数据和上述2个模板的相关系数(例如皮尔森积矩相关系数)，当与(c)的脑电波数据的相关系数的值大的情况下，判定为注意力程度大；当与(f)的脑电波数据的相关系数的值大的情况下，判定为注意力程度小。通过使用根据该模板的判定方法，能够不仅考虑到事件相关电位的最大振幅值，而且还考虑到与波形的形状相关的信息，从而进行更细致的分析。

根据本实施方式的构成以及处理的顺序，在判定驾驶者的状态、辅助安全驾驶的装置中，在驾驶者的周边视野区域发生视觉刺激，根据以该刺激的发生时刻为起点的脑电波信号的事件相关电位来判定驾驶者对周边视野区域的注意力程度。由此，针对车辆的突然插入或行人的冲出等可能在驾驶者的周边视野区域发生的事件，即使在不能获得刹车等的行动指标的情况下也能判定注意力程度。另外，根据该判定结果能进行以下辅助：促使恰当地引起驾驶者的注意等的状态变化。

(实施方式2)

在本实施方式的驾驶注意力程度判定装置中设置了拍摄自身车辆的前方的拍摄部。该驾驶注意力程度判定装置根据通过拍摄部拍摄到的图像，检测成为分析脑电波的事件相关电位时的起点的视觉刺激的发生，根据拍摄图像中的视觉刺激发生的位置，区别中心视野区域以及周边视野区域。并且判定周边视野区域的注意力程度。

由此，可以不用如实施方式1那样驾驶注意力程度判定装置特意地发出视觉刺激，而是能从前方拍摄图像中利用在驾驶中驾驶者的前方发生的自然的视觉刺激，来判定对周边视野区域的注意力程度。

图13表示本实施方式的驾驶注意力程度判定装置2的块构成图。驾驶注意力程度判定装置2与实施方式1的驾驶注意力程度判定装置1(图2)的不同之处在于：相对于驾驶注意力程度判定装置1，在驾驶注意力程度判定装置2中追加了拍摄部15，另外驾驶注意力程度判定装置1的周边刺激发生部12被周边刺激检测部16置换。以下，对不同的构成要素进行详细说明。

拍摄部15是例如能进行动画拍摄的照相机。拍摄部15设置在车辆前方(仪表盘的上方或后视镜(back mirror)的后面等)，以例如纵向105度、横向135度的视角等对车辆前方进行每秒30帧的拍摄。拍摄部15能拍摄例如图4所示的图像。

周边刺激检测部16根据拍摄部15拍摄到的图像来检测成为分析脑电波的事件相关电位时的起点的视觉刺激的发生时刻，同时判定(确定)拍摄图像中的视觉刺激的发生区域。在此，视觉刺激是指图像中的亮度的变化量超过规定的阈值。并且，变化量是一个例子。例如也能采用亮度的变化率等。在这种情况下，当亮度的变化率达到50％以上的情况下，可以判断为发生了视觉刺激。例如，前方车辆的刹车灯或并行车辆的转向灯、对面车辆的前灯、信号的切换等都属于视觉刺激。将具有该变化的时刻作为视觉刺激的发生时刻进行检测。

周边刺激检测部16检测如上所述定义的视觉刺激的发生时刻，并判定该刺激的位置，即亮度变化位置是中心视野区域还是周边视野区域。作为判定方法，如图4所示，当该刺激存在于拍摄图像中的自身车辆所在的车线的区域的情况下，判定为中心视野区域31；当该刺激存在于上述区域以外的情况下，判定为周边视野区域32。另外，当判定为周边视野区域32的情况下，将该刺激的发生时刻发送给注意力程度判定部13。

以下，参照图14对周边刺激检测部16的处理顺序进行说明。图14是表示本实施方式的周边刺激检测部16的处理顺序的流程图。在以下的说明中，以亮度的变化量为例进行说明。

在步骤S161中，周边刺激检测部16针对拍摄部15拍摄到的车辆前方图像，计算各帧的亮度图像的差分。

在步骤S162中，周边刺激检测部16通过上述差分来判定是否有规定的阈值Th1以上的亮度变化。当有亮度变化的情况下，进入步骤S163，当没有亮度变化的情况下，返回到步骤S161，计算下一帧间亮度差分。

在步骤S163中，周边刺激检测部16存储该亮度变化时刻和在该图像中有亮度变化的位置。

在步骤S164中，周边刺激检测部16根据在步骤S161计算出的帧间亮度差分来检测白线。以下进行具体说明，在每隔一定时间移动的车辆的道路图像中，虽然路面的沥青或道路周围的建筑物、树木看上去在移动，但是从场所的角度而言，亮度值可视为几乎为固定的白线且在图像上静止。因此，周边刺激检测部16根据帧间亮度差分将规定的阈值为Th2以下的区域作为不移动的白线区域进行检测。

在步骤S165中，周边刺激检测部16使用检测出的白线，将两个白线间的距离在一定宽度以上的区域作为车线区域进行提取。在图4的例子中，车线区域作为中心视野区域31表示。

在步骤S166中，周边刺激检测部16判定在步骤S163所存储的亮度变化位置是否在通过步骤S165提取出的车线区域以外。当判定在车线区域以外的情况下，判断为该亮度变化发生在周边视野区域32(图4)，并进入步骤S167；当判定不在车线区域以外的情况下，判定为该亮度变化发生在中心视野区域31(图4)，并返回到步骤S161，计算下一个帧间亮度差分。

在步骤S167中，周边刺激检测部16将被判断为是在周边视野区域32(图4)的亮度变化的该亮度变化时刻发送给注意力程度判定部13。

在上述说明中，是在周边视野区域31以及周边视野区域32没有大的变化、几乎固定的情况下进行了说明。

但是，并不是说驾驶者的中心视野区域以及周边视野区域被固定，而可认为是根据驾驶状况(自身车辆的速度或自身车辆周边的明度)发生变化。例如，当在高速公路上自身车辆以时速100km以上的速度行驶时，驾驶者的视野与车辆静止时相比变窄。另外，在夜间等自身车辆周围变暗的情况下，与白天相比，驾驶者的视野也变窄。如果驾驶者的视野变窄，则即使在更靠中心的视野区域内也会很慢才发现危险对象物体，导致发生相撞事故或冲出事故的可能性增高。

因此，通过检测驾驶状况并变更中心视野区域以及周边视野区域，能进行更符合实际情况的注意力程度的判定。参照图15对本实施方式的驾驶注意力程度判定装置2的变形例进行说明。

图15表示设置了状况检测部17的驾驶注意力程度判定装置2a的构成。例如，状况检测部17与车辆的速度计、为了发挥如果变暗则自动地亮起前灯的车灯功能而设置的传感器、和/或前灯的点亮开关相连接，并检测自身车辆的运行状况(速度、自身车辆周边的明度和/或自身车辆的前灯是否亮灯等)。根据该检测状况，在高速行驶时或夜间等时，能将中心视野区域与车辆静止时或白天时相比缩小来进行定义，并将中心视野以外的区域作为周边视野区域来判定注意力程度。

图16以及图17分别表示被缩小的中心视野区域171以及182。由此，能设定与根据外部状况的变化而发生的驾驶者视野的变化对应的视野区域。因此，能判定对于与自身车辆的速度或自身车辆的前灯是否亮灯相应的周边视野区域的注意力程度，因此能降低相撞事故或冲出事故的危险。

周边刺激检测部16根据由状况检测部17检测出的自身车辆的速度或自身车辆的前灯是否亮灯的状况来变更中心以及周边视野区域的定义。图16表示被缩小的中心视野区域171。

表2表示自身车辆的速度和中心视野区域的相对于车辆静止时的面积比的关系。

【表2】

  (a)～50km/小时  (b)50～100km/小时  (c)100km/小时～  中心视野区域的面积比  1  0.8  0.6

在上表中，将在(a)时速小于50km的情况下与车辆静止时比较的面积比设为1；将在(b)时速50km以上且小于100km的情况下的面积比设为0.8；将在(c)时速100km以上的情况下的面积比设为0.6。相对于车辆静止时的中心视野区域的图16所示的中心视野区域171的面积比为0.8。由此，能判定对于与自身车辆的速度相应的周边视野区域的注意力程度，所以能降低相撞事故或冲出事故的危险。

表3表示自身车辆的前灯是否亮灯和相对于中心视野区域的白天时的面积比的关系的例子。

【表3】

在上表中，在(a)没有亮灯的情况下，将与白天时进行比较的面积比设为1；在(b)亮小灯(车宽灯)的情况下设面积比为0.8；在(c)前灯(前照灯)亮灯的情况下，将面积比设为0.6。由此，能判定对于与自身车辆的前灯是否点亮的状况相应的周边视野区域的注意力程度，所以能降低相撞事故或冲出事故的危险。

根据本实施方式的构成以及处理顺序，根据拍摄到自身车辆前方的图像来检测视觉刺激的发生，根据拍摄图像中的刺激发生的位置来区别中心视野区域以及周边视野区域，从而判定对周边视野区域的注意力程度。由此，能够不用驾驶注意力程度判定装置特意地发出视觉刺激，而是根据前方拍摄图像，利用在驾驶中驾驶者的前方发生的自然的视觉刺激，来判定对周边视野区域的注意力程度。而且，能判定与自身车辆或其周边状况相应的周边视野区域的注意力程度。

(实施方式3)

在实施方式2中，以驾驶者在驾驶中基本上注视前方中央为前提对刺激的发生区域进行判定。但是，在发生视觉刺激时，驾驶者的视线不一定总是朝向前方中央，因此，周边视野区域也经常变动。

因此，在本实施方式中，在驾驶注意力程度判定装置中设置了测量驾驶者的视线的视线测量部。驾驶注意力程度判定装置根据驾驶者的注视点的位置来判定视觉刺激的发生区域。

图18表示本实施方式的驾驶注意力程度判定装置3的块构成图。驾驶注意力程度判定装置3是相对于驾驶注意力程度判定装置2(图13)追加了视线测量部18而构成的。

图19表示视线测量部18的构成例。视线测量部18测量将车辆前方的风景进行投影后得到的二维平面136(即用拍摄部15拍摄到的车辆前方图像)中的驾驶者的注视点137。具体而言，在视线测量部18中，近红外线光源131将近红外线的点光源照射在眼球上，用CCD照相机132拍摄眼球的图像。然后，使用拍摄到的图像，反射图像位置检测部133检测瞳孔以及角膜表面上的光源的角膜反射图像的位置。校正信息存储部135事先存储角膜反射图像的位置与拍摄部15所拍摄的车辆前方图像中的注视点坐标的关系。变换部134根据该校正信息，基于角膜反射图像的位置，测量在车辆前方图像上的驾驶者的注视点。

图20(a)表示校正信息的一个例子，图20(b)表示车辆前方图像上的注视位置的坐标的一个例子。校正信息由角膜反射图像位置和注视位置坐标构成。转换部134根据通过反射图像位置检测部133检测出的角膜反射图像位置(Pxn，Pyn)，变换为车辆前方图像上的驾驶者的注视位置坐标(Xn，Yn)。

视线测量部18既可以是驾驶者事先佩戴的头戴型测量器，或者也可以是在车辆的后视镜附近设置的车上安装型测量器。

周边刺激检测部16检测视觉刺激的发生时刻，并判定该刺激的位置是中心视野区域还是周边视野区域。作为判定方法，根据由视线测量部18测量出的注视点41(图5)的位置来判定刺激发生区域。如上所述，周边视野一般是指以视线为中心的大约20度的范围(中心视野)外的上下130度、左右180度的区域。因此，如图5所示，将该刺激存在于从注视点41到驾驶者的视角20度以内的区域的情况判定为中心视野区域42；将该刺激存在于上述区域以外的情况判定为周边视野区域43。另外，当判定为周边视野区域43的情况下，将该刺激的发生时刻发送给注意力程度判定部13。

根据本实施方式的构成以及处理的顺序来测量驾驶者的视线，并根据注视点的位置，判定周边视野区域，由此，在视觉刺激发生时，即使当驾驶者的视线没有朝向前方中央的情况下也能准确度高地判定该刺激是否是周边视野区域。其结果是，能准确度高地判定对周边视野区域的注意力程度。

另外，当本发明的驾驶注意力程度判定装置作为用户佩戴的头戴显示器型装置构成的情况下，不局限于对汽车驾驶中的安全有辅助，而且在骑自行车时或步行时也能判定对周边视野的注意力程度。例如，当用户一边走一边通过佩戴型的显示器上的子画面收看电视的情况下，根据脑电波的事件相关电位来判定用户对周边视野区域的注意力程度，由此，能恰当地起到引起对步行中的障碍物的注意等作用。

上述视线测量部18能设置在实施方式1的驾驶注意力程度判定装置1(图2)以及实施方式2的驾驶注意力程度判定装置2a(图15)中。

例如，图21表示实施方式1的变形例的驾驶注意力程度判定装置1a的块构成图。驾驶注意力程度判定装置1a与驾驶注意力程度判定装置1相比新设置了视线测量部18。作为视线测量部18能采用上述图19所示的构成。以下，对驾驶注意力程度判定装置1a与驾驶注意力程度判定装置1(图2)的不同功能以及操作进行说明。

通过在驾驶注意力程度判定装置1a中设置视线测量部18，从而驾驶注意力程度判定装置1a能动态地确定不断变化的驾驶者的中心视野区域以及周边视野区域。由此，周边刺激发生部12能使位于驾驶者的周边视野区域的光源选择性地闪烁。

以图3的眼镜型的头戴显示器为例，如果视线测量部18测量出驾驶者的视线朝向左侧，则周边刺激发生部12能使位于头戴型显示器的两眼的右侧的光源23闪烁，并提示视觉刺激。在图3中，虽然在靠近鼻子一侧的各框上没有设置光源，但是可以设置视线测量部18，并在所有的框的边缘设置光源。不过，需要注意的是：在左眼/右眼的框上设置的光源的光不能进入相反的右眼/左眼。

如上所述，通过设置视线测量部18进行视觉刺激的提示控制，能够对驾驶者的周边视野区域切实地提示视觉刺激。由此，能以更高的精确度来判定注意力是否面向周边视野区域。

另外，图22表示具有状况检测部17以及视线测量部18的驾驶注意力程度判定装置2b的块构成图。驾驶注意力程度判定装置2b与实施方式2的驾驶注意力程度判定装置2a(图15)相比，安装了视线测量部18。

当驾驶注意力程度判定装置2b利用状况检测部17检测自身车辆的速度或自身车辆的前灯是否亮灯时，周边刺激检测部16根据由状况检测部17检测出的自身车辆的速度或自身车辆的前灯是否亮灯的状态，变更中心以及周边视野区域的定义。图17表示根据状况检测部17的检测结果而被缩小的中心视野区域182的例子。此时，中心视野区域182比以往的视觉20度被缩小，例如，被规定在以注视点181的位置为中心的大约16度的范围。与实施方式2相同，驾驶注意力程度判定装置2b判定对于与自身车辆的速度或自身车辆的前灯是否亮灯的状态相应的周边视野区域的注意力程度。

关于上述的各实施方式，使用流程图进行了说明的处理能作为使计算机执行的程序来实现。这种计算机程序记录在CD-ROM等的记录介质中，作为产品在市场上流通，或者通过互联网等的电通信线路进行传输。

构成驾驶注意力程度判定装置的所有或者一部分的构成要素是作为执行计算机程序的通用处理器(半导体电路)来实现的。或者，是作为将这种计算机程序和处理器一体化的专用处理器来实现的。例如，执行计算机程序的处理器接收脑电波测量部11测量出的驾驶者的脑电波信号。然后，根据以在驾驶者的周边视野区域发生的视觉刺激的发生时刻为起点测量出的脑电波信号来判定驾驶者对周边视野区域的注意力程度，并根据该判定结果而输出信号。由此，能引起驾驶者的注意。

除此之外，也可以通过处理器执行计算机程序，从而使处理器控制周边刺激发生部12、拍摄部15、周边刺激检测部16、状况检测部17、视线测量部18等的各操作，或者使处理器以作为这些构成要素而发挥功能。

(产业上的可利用性)

本发明的驾驶注意力程度判定装置对于防止车辆的突然插入或行人的冲出等在驾驶者的周边视野区域可能发生的事故非常有用。另外，当作为头戴显示器型的装置构成的情况下，对骑自行车时或行走时的安全也能有辅助。

附图符号的说明：

1、1a、2、2a、2b、3、100…驾驶注意力程度判定装置

11…脑电波测量部

12…周边刺激发生部

13…注意力程度判定部

14…输出部

15…拍摄部

16…周边刺激检测部

17…状况检测部

18…视线测量部