觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置

摘要

提供一种觉醒状态判断模型生成装置、判断对象者的觉醒状态的觉醒状态判断装置以及警告装置，其中，上述上述觉醒状态判断模型生成装置是最优于对不特定的对象者进行正确的觉醒程度的推断估计的装置，基于与眨眼波形有关的数据生成眨眼波形模式模型以及觉醒状态模式模型。在觉醒状态判断模型生成装置中，将从各对象者的眨眼时的至少一只眼的眨眼数据中提取出的第一特征量数据和眨眼波形识别信息作为学习数据来学习统计模型，生成第一模式模型。然后，将包含与分析区间的系列中的特定种类的每个眨眼波形的发生比率有关的数据的第二特征量数据和对分析区间的每个系列赋予了表示各对象者的觉醒状态的觉醒状态信息的觉醒状态信息数据作为学习数据来学习统计模型，生成第二模式模型。

说明书

技术领域

本发明涉及一种觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置，其中，上述觉醒状态判断模型生成装置根据生理现象、尤其是与作为眼睑睁开度的时间变化的眨眼波形有关的数据来生成眨眼波形模式模型以及觉醒状态模式模型，上述觉醒状态判断装置根据使用这些生成的模式模型而求出的对象者的分析区间的系列中的与每个特定种类的眨眼波形的发生比率有关的数据，来判断对象者的觉醒状态，上述警告装置根据上述觉醒状态的判断结果而向对象者提供警告。

背景技术

近年来，伴随着信息处理技术的发展以及高度化，面向ITS(Intelligent Transport Systems：智能交通系统)实用化的研究开发被迅速地展开，作为新市场而来自产业界的关注度也提高了。

作为起到ITS的中心作用的系统，存在驾驶辅助/导航系统等，但是不仅希望与道路/交通状况、车辆的行动相应的辅助、信息提示，还希望与驾驶员的特性、当时的状态相应的辅助、信息提示。尤其驾驶员的觉醒程度的评价被视为由来已久的问题，进行了很多利用脑波、皮肤电活动、心跳、眨眼等生物体/生理反应的研究。

特别是，已知表示眨眼的发生模式、眼球运动的波形的参数根据受验者的觉醒程度而发生变化，正在利用表示眨眼的发生模式、眨眼时的眼球运动的波形的参数进行驾驶员的瞌睡检测等研究。

另外，作为利用表示眨眼时的眼球运动的波形的参数来判断觉醒状态的技术，存在专利文献1中记载的动作内容判断装置。

该动作内容判断装置具有眼睛状态判断用HMM(HiddenMarkov Model：隐式马尔克夫模型)，所述眼睛状态判断用HMM对于针对眼部的多帧影像数据的特征量的输入，输出相对于对象者的眨眼波形种类的似然性(likelihood)，上述动作内容判断装置根据对于上述特征量的输入而从眼睛状态判断用HMM输出的似然性来判断对象者的觉醒状态。作为与觉醒状态相关联的眨眼波形，公开了觉醒时的标准眼电图(EOG)波形、睡意状态下的代表性的眼电图(EOG)波形等。

在该专利文献1的现有技术中，在生成眼睛状态判断用HMM时，根据一次次的眨眼波形中的眨眼的振幅、持续时间以及速度等参数来判断眨眼波形的种类。

然后，根据该判断结果，对从与上述眨眼波形对应的眼部的多帧影像数据中提取出的特征量赋予用于识别上述眨眼波形的种类的识别信息。

并且，将上述这样被赋予了识别信息的特征量作为学习数据来学习HMM。

然后，对多种眨眼波形中被视为能够充分判断觉醒状态的特定种类的眨眼生成HMM，根据规定时间内上述特定种类的眨眼的发生频率的变化来进行觉醒状态的判断。

具体地说，通过在规定时间区间内对每次的眨眼波形的识别结果进行直方图处理来捕捉眨眼模式的发生频率，在被识别为不是觉醒时的标准眨眼波形的眨眼波形的发生频率变高的情况下，判断为觉醒状态变低。

专利文献1：WO2005/114576号公报

发明内容

发明要解决的问题

在上述专利文献1中，本发明者以规定时间单位对每次的眨眼波形的识别结果进行直方图处理而求出各眨眼波形模式的发生频率变化，由此判断觉醒状态。

具体地说，公开了以下情形：例如，在多个特定种类的眨眼波形模式的发生频率变高的情况下，判断为对象者的觉醒状态变低。

但是，根据生理学知识，由于使用在觉醒度降低时发生的眨眼波形模式的发生频率变高这种单一的指标，因此难以估计从觉醒度较高的状态转变为瞌睡状态为止所发生的各种觉醒程度(状态)。

并且，用于估计觉醒程度(状态)的上述指标按每个对象者其估计基准不同，另外，即使是相同对象者也因所处状况不同而其估计基准不同。

因而，对于不特定的对象者，要求不受其所处状况影响的正确的觉醒程度的估计。

因此，本发明是关注这种现有技术所具有的未解决的问题而完成的，其目的在于提供一种觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置，其中，上述觉醒状态判断模型生成装置根据与眨眼波形有关的数据来生成眨眼波形模式模型和觉醒状态模式模型，上述觉醒状态判断装置根据使用该生成的该模式模型而求出的对象者的分析区间的系列中的与特定种类的每个眨眼波形的发生比率有关的数据，来判断对象者的觉醒状态，上述警告装置根据上述觉醒状态的判断结果来向对象者提供警告。

此外，作为生理现象举出眨眼为例，作为生理状态举出觉醒状态为例，但是并不限于此。

用于解决问题的方案

在上述专利文献1的申请之后，本发明者对使受验者的觉醒程度发生变化而收集到的眨眼波形的数据进行分析时，发现包含规定时间区间内的特定种类的眨眼波形的发生比率、发生次数的时间变化的数据与觉醒程度的变化相应地具有特征性的模式，根据该知识完成了解决上述问题的本发明。

为了达到上述目的，本发明所涉及的第一发明所述的生理状态判断模型生成装置生成判断对象者的生理状态的模式模型，其特征在于，根据生理状态信息数据和生理现象特征量数据来生成通过统计模型进行了模型化的生理状态模式模型，其中，上述生理状态信息数据是根据生理数据而求出的数据，上述生理现象特征量数据包含与生理现象的每个分类项目的发生比率有关的数据，上述生理状态模式模型输出相对于生理状态信息的似然性。

并且，为了达到上述目的，第二发明所涉及的发明是一种觉醒状态判断模型生成装置，生成判断对象者的觉醒状态的模式模型，其特征在于，根据觉醒状态信息数据和眨眼种类特征量数据来生成通过统计模型进行了模型化的觉醒状态模式模型，其中，上述觉醒状态信息数据是根据生理数据求出的数据，上述眨眼种类特征量数据包含与特定种类的每个眨眼波形的发生比率有关的数据，上述觉醒状态模式模型输出相对于觉醒状态信息的似然性。

为了达到上述目的，本发明所涉及的第三发明所述的觉醒状态判断模型生成装置生成判断对象者的觉醒状态的统计模型，其特征在于，具备：

学习数据存储单元，其存储第一特征量数据和眨眼波形识别信息数据，其中，上述第一特征量数据为从各对象者眨眼时的至少一只眼睛的眨眼数据中提取出的数据，上述眨眼波形识别信息数据是对上述眨眼数据的各眨眼赋予表示特定种类的眨眼波形的眨眼波形识别信息而得到的数据；

眨眼波形模式模型生成单元，其将存储在上述学习数据存储单元中的上述第一特征量数据和上述眨眼波形识别信息数据作为学习数据来学习统计模型，生成第一模式模型，该第一模式模型将上述第一特征量数据作为输入，将对于该第一特征量数据的眨眼波形识别信息的似然性作为输出；

特征量数据生成单元，其根据存储在上述学习数据存储单元中的上述眨眼波形识别信息数据来生成第二特征量数据，该第二特征量数据包含与分析区间中的每个上述特定种类的眨眼波形的发生比率有关的数据；以及

觉醒状态模式模型生成单元，其将上述第二特征量数据和觉醒状态信息数据作为学习数据来学习统计模型，生成第二模式模型，其中，上述第二特征量数据是由上述特征量数据生成单元生成的数据，上述觉醒状态信息数据是对上述分析区间的每个系列赋予表示各上述对象者的觉醒状态的觉醒状态信息而得到的数据，上述第二模式模型将上述第二特征量数据作为输入，将对于该第二特征量数据的觉醒状态信息的似然性作为输出。

并且，为了达到上述目的，第四发明所涉及的发明是第三发明所述的觉醒状态判断模型生成装置，其特征在于，上述眨眼数据是眼电图(EOG)波形的数据或者眼睛的动态图像。

并且，为了达到上述目的，第五发明所述的觉醒状态判断模型生成装置是第三或第四发明所述的觉醒状态判断模型生成装置，其特征在于，与上述发生比率有关的数据是发生比率的时间变化或者发生次数的时间变化。

并且，为了达到上述目的，第六发明所述的觉醒状态判断模型生成装置是第三至第五发明中的任一项所述的觉醒状态判断模型生成装置，其特征在于，上述统计模型是HMM(HiddenMarkov Model)。

并且，为了达到上述目的，第七发明所述的觉醒状态判断模型生成装置是第三至第六发明中的任一项所述的觉醒状态判断模型生成装置，其特征在于，

上述觉醒状态判断模型生成装置还具备：

眨眼数据存储单元，其存储各上述对象者眨眼时的至少一只眼睛的上述眨眼数据；

特征量数据提取单元，其从眨眼数据中提取上述第一特征量数据，其中，从上述眨眼数据存储单元获取该眨眼数据；

第一模式模型存储单元，其存储由上述眨眼波形模式模型生成单元生成的第一模式模型；

第二特征量数据存储单元，其存储由上述特征量数据生成单元生成的上述第二特征量数据；以及

第二模式模型存储单元，其存储由上述觉醒状态模式模型生成单元生成的第二模式模型。

另一方面，为了达到上述目的，第八发明所述的觉醒状态判断装置是判断对象者的觉醒状态的装置，其特征在于，具备：

眨眼数据获取单元，其获取上述对象者眨眼时的至少一只眼睛的眨眼数据；

第一模式模型，其是由第三至第七发明中的任一项所述的觉醒状态判断模型生成装置生成的模式模型；

第一特征量数据提取单元，其从眨眼数据中提取与上述第一模式模型对应的第一特征量数据，其中，上述眨眼数据是由上述眨眼数据获取单元获取到的眨眼数据；

眨眼波形识别单元，其根据由上述第一特征量数据提取单元提取出的第一特征量数据和上述第一模式模型来识别与上述第一特征量数据对应的特定种类的眨眼波形；

第二特征量数据生成单元，其根据上述眨眼波形识别单元对于在分析区间的系列中获取的上述对象者的眨眼数据的识别结果来生成第二特征量数据，该第二特征量数据包含与每个上述特定种类的眨眼波形的发生比率有关的数据；

第二模式模型，其是由第三至第七发明中的任一项所述的觉醒状态判断模型生成装置生成的模式模型；以及

觉醒状态判断单元，其根据由上述第二特征量数据生成单元生成的第二特征量数据和上述第二模式模型来判断上述对象者的觉醒状态。

并且，为了达到上述目的，第九发明所涉及的发明是第八发明所述的觉醒状态判断装置，其特征在于，上述眨眼数据是眼电图(EOG)波形的数据或者眼睛的动态图像。

并且，为了达到上述目的，第十发明所述的觉醒状态判断装置是第八或第九发明所述的觉醒状态判断装置，其特征在于，与上述发生比率有关的数据是发生比率的时间变化或者发生次数的时间变化。

并且，为了达到上述目的，第十一发明所述的觉醒状态判断装置是第八至第十发明中的任一项所述的觉醒状态判断装置，其特征在于，上述统计模型是HMM(Hidden Markov Model)。

并且，为了达到上述目的，第十二发明所述的警告装置的特征在于，具备：第八至第十一发明中的任一项所述的觉醒状态判断装置；以及警告单元，其根据上述觉醒状态判断装置中的上述觉醒状态判断结果来对上述对象者提供警告。

并且，为了达到上述目的，第十三发明所述的车辆的特征在于，具备第十二发明所述的警告装置。

并且，为了达到上述目的，第十四发明所述的觉醒状态判断模型生成方法生成判断对象者的觉醒状态的统计模型，其特征在于，具备以下步骤：

学习数据存储步骤，存储第一特征量数据和眨眼波形识别信息数据，其中，上述第一特征量数据是从各对象者眨眼时的至少一只眼睛的眨眼数据中提取出的数据，上述眨眼波形识别信息数据是对上述眨眼数据的各眨眼赋予表示特定种类的眨眼波形的眨眼波形识别信息而得到的数据；

眨眼波形模式模型生成步骤，将在上述学习数据存储步骤中存储的上述第一特征量数据和上述眨眼波形识别信息数据作为学习数据来学习统计模型，生成第一模式模型，该第一模式模型将上述第一特征量数据作为输入，将对于该第一特征量数据的眨眼波形识别信息的似然性作为输出；

特征量数据生成步骤，根据在上述学习数据存储步骤中存储的上述眨眼波形识别信息数据来生成第二特征量数据，该第二特征量数据包含与分析区间中的每个上述特定种类的眨眼波形的发生比率有关的数据；以及

觉醒状态模式模型生成步骤，将上述第二特征量数据和觉醒状态信息数据作为学习数据来学习统计模型，生成第二模式模型，其中，上述第二特征量数据是在上述特征量数据生成步骤中生成的数据，上述觉醒状态信息数据是对上述分析区间的每个系列赋予表示各上述对象者的觉醒状态的觉醒状态信息而得到的数据，上述第二模式模型将上述第二特征量数据作为输入，将对于该第二特征量数据的觉醒状态信息的似然性作为输出。

并且，为了达到上述目的，第十五发明所述的觉醒状态判断模型生成方法是第十四发明所述觉醒状态判断模型生成方法，其特征在于，与上述发生比率有关的数据是发生比率的时间变化或者发生次数的时间变化。

并且，为了达到上述目的，第十六发明所述的觉醒状态判断模型生成方法是第十四或第十五发明所述的觉醒状态判断模型生成方法，其特征在于，

上述觉醒状态判断模型生成方法还具备以下步骤：

眨眼数据存储步骤，将各上述对象者眨眼时的至少一只眼睛的上述眨眼数据存储在眨眼数据存储单元中；

特征量数据提取步骤，从存储在上述眨眼数据存储单元中的眨眼数据中提取上述第一特征量数据；

第一模式模型存储步骤，存储在上述眨眼波形模式模型生成步骤中生成的第一模式模型；

第二特征量数据存储步骤，存储在上述特征量数据生成步骤中生成的上述第二特征量数据；以及

第二模式模型存储步骤，存储在上述觉醒状态模式模型生成步骤中生成的第二模式模型。

并且，为了达到上述目的，第十七发明所述的觉醒状态判断方法判断对象者的觉醒状态，其特征在于，具备以下步骤：

眨眼数据获取步骤，获取上述对象者眨眼时的至少一只眼睛的眨眼数据；

第一特征量数据提取步骤，从在上述眨眼数据获取步骤中获取到的眨眼数据中提取与第一模式模型对应的第一特征量数据，其中，上述第一模式模型是通过第十四至第十六发明中的任一项所述的觉醒状态判断模型生成方法而生成的模式模型；

眨眼波形识别步骤，根据在上述第一特征量数据提取步骤中提取出的第一特征量数据和上述第一模式模型来识别与上述第一特征量数据对应的特定种类的眨眼波形；

第二特征量数据生成步骤，根据上述眨眼波形识别步骤对于在分析区间的系列中获取到的上述对象者的眨眼数据的识别结果来生成第二特征量数据，该第二特征量数据包含与每个上述特定种类的眨眼波形的发生比率有关的数据；以及

觉醒状态判断步骤，根据在上述第二特征量数据生成步骤中生成的第二特征量数据和第二模式模型来判断上述对象者的觉醒状态，其中，上述第二模式模型是通过第十四至第十六发明中的任一项所述的觉醒状态判断模型生成方法而生成的模式模型。

并且，为了达到上述目的，第十八发明所述的觉醒状态判断方法是第十七发明所述觉醒状态判断方法，其特征在于，与上述发生比率有关的数据是发生比率的时间变化或者发生次数的时间变化。

并且，为了达到上述目的，第十九发明所述的觉醒状态判断模型生成程序是生成判断对象者的觉醒状态的统计模型，其特征在于，包含用于使计算机执行由以下步骤构成的处理的程序：

学习数据存储步骤，存储第一特征量数据和眨眼波形识别信息数据，其中，上述第一特征量数据是从各对象者眨眼时的至少一只眼睛的眨眼数据中提取出的数据，上述眨眼波形识别信息数据是对上述眨眼数据的各眨眼赋予表示特定种类的眨眼波形的眨眼波形识别信息而得到的数据；

眨眼波形模式模型生成步骤，将在上述学习数据存储步骤中存储的上述第一特征量数据和上述眨眼波形识别信息数据作为学习数据来学习统计模型，生成第一模式模型，该第一模式模型将上述第一特征量数据作为输入，将对于该第一特征量数据的眨眼波形识别信息的似然性作为输出；

特征量数据生成步骤，根据在上述学习数据存储步骤中存储的上述眨眼波形识别信息数据来生成第二特征量数据，该第二特征量数据包含与分析区间中的每个上述特定种类的眨眼波形的发生比率有关的数据；以及

觉醒状态模式模型生成步骤，将上述第二特征量数据和觉醒状态信息数据作为学习数据来学习统计模型，生成第二模式模型，其中，上述第二特征量数据是在上述特征量数据生成步骤中生成的数据，上述觉醒状态信息数据是对上述分析区间的每个系列赋予表示上述各对象者的觉醒状态的觉醒状态信息而得到的数据，上述第二模式模型将上述第二特征量数据作为输入，将对于该第二特征量数据的觉醒状态信息的似然性作为输出。

并且，为了达到上述目的，第二十发明所述的觉醒状态判断模型生成程序是第十九发明所述的觉醒状态判断模型生成程序，其特征在于，与上述发生比率有关的数据是发生比率的时间变化或者发生次数的时间变化。

并且，为了达到上述目的，第二十一发明所述的觉醒状态判断模型生成程序是第十九或第二十发明所述的觉醒状态判断模型生成程序，其特征在于，

上述觉醒状态判断模型生成程序还具备以下步骤：

眨眼数据存储步骤，将各上述对象者眨眼时的至少一只眼睛的上述眨眼数据存储在眨眼数据存储单元中；

特征量数据提取步骤，从存储在上述眨眼数据存储单元中的眨眼数据中提取上述第一特征量数据；

第一模式模型存储步骤，存储在上述眨眼波形模式模型生成步骤中生成的第一模式模型；

第二特征量数据存储步骤，存储在上述特征量数据生成步骤中生成的上述第二特征量数据；以及

第二模式模型存储步骤，存储在上述觉醒状态模式模型生成步骤中生成的第二模式模型。

并且，为了达到上述目的，第二十二发明所述的觉醒状态判断程序判断对象者的觉醒状态，其特征在于，包含用于使计算机执行由以下步骤构成的处理的程序：

眨眼数据获取步骤，获取上述对象者眨眼时的至少一只眼睛的眨眼数据；

第一特征量数据提取步骤，从在上述眨眼数据获取步骤中获取到的眨眼数据中提取与第一模式模型对应的第一特征量数据，其中，上述第一模式模型是通过第十九至二十一发明中的任一项所述的觉醒状态判断模型生成程序而生成的模式模型；

眨眼波形识别步骤，根据在上述第一特征量数据提取步骤中提取出的第一特征量数据和上述第一模式模型来识别与上述第一特征量数据对应的特定种类的眨眼波形；

第二特征量数据生成步骤，根据上述眨眼波形识别步骤对于在分析区间的系列中获取到的上述对象者的眨眼数据的识别结果来生成第二特征量数据，该第二特征量数据包含与每个上述特定种类的眨眼波形的发生比率有关的数据；以及

觉醒状态判断步骤，根据在上述第二特征量数据生成步骤中生成的第二特征量数据和第二模式模型来判断上述对象者的觉醒状态，其中，上述第二模式模型是通过第十九至二十一发明中的任一项所述的觉醒状态判断模型生成程序而生成的模式模型。

并且，为了达到上述目的，第二十三发明所述的觉醒状态判断程序是第二十三发明所述觉醒状态判断程序，其特征在于，与上述发生比率有关的数据是发生比率的时间变化或者发生次数的时间变化。

发明的效果

如上所述，根据本发明所涉及的第一发明所述的生理状态判断模型生成装置，能够生成通过统计模型进行了模型化的生理状态模式模型，该生理状态模式模型是根据生理状态信息数据(觉醒状态、疲劳度、紧张状态等)和生理现象特征量数据而生成的，其中，上述生理状态信息数据是根据生理数据求出的数据，上述生理现象特征量数据包含与生理现象(脑波、皮肤电活动、心跳、眨眼等)的各分类项目的发生比率有关的数据。并且，能够使用该生理状态模式模型来判断对象者的生理状态。

另外，根据本发明所涉及的第二发明所述的觉醒状态判断模型生成装置，能够根据觉醒状态信息数据和眨眼种类特征量数据来生成通过统计模型进行了模型化的觉醒状态模式模型，其中，上述觉醒状态信息数据是根据生理数据求出的数据，上述眨眼种类特征量数据包含与眨眼波形的各分类项目的发生比率数据有关的数据。并且，能够使用该觉醒状态模式模型来判断对象者的觉醒状态。

另外，根据本发明所涉及的第三、七发明所述的觉醒状态判断模型生成装置、第六发明所述的觉醒状态判断装置、第十四、十六发明所述的觉醒状态判断模型生成方法、第十五、十七发明所述的觉醒状态判断方法、第十九、二十一发明所述的觉醒状态判断模型生成程序、以及第二十二发明所述的觉醒状态判断程序，除了根据在生理学的观点中视为对觉醒状态的判断有效的、特定种类的眨眼的发生频率、特定种类的眨眼的一连串发生等的规定时间内的特定种类的眨眼的发生频率的变化以外，还能够根据与分析区间的系列中的各特定种类的眨眼的发生频率有关的数据来高精确度地判断觉醒状态。

由于从第二特征量数据(第七发明)得出与分析区间的系列中的对象者的特定种类的眨眼的发生比率有关的数据，因此能够得到以下效果：预先进行实验等、例如通过事先得到与特定种类的眨眼的发生比率有关的数据、与从高觉醒时转变为瞌睡为止的各种觉醒程度(状态)相对应的觉醒状态信息数据，根据第二特征量数据，能够生成用于判断对象者的各种觉醒程度(状态)的第二模式模型。

也就是说，除了根据在生物体/生理学的观点中视为对觉醒状态的判断有效的特定种类的眨眼的发生频率、特定种类的眨眼的一连串发生等的规定时间内的特定种类的眨眼的发生频率的变化以外，还能够根据与分析区间的系列中的各特定种类的眨眼的发生比率有关的数据来高精确度地判断觉醒状态。

另外，根据本发明所涉及的第七发明所述的觉醒状态判断模型生成装置以及第七发明所述的觉醒状态判断装置，使用能够高精确度地获取眼睑睁开度的时间变化的眼电图(EOG)来作为眨眼数据，因此能够生成可高精确度地对眨眼波形的种类进行识别的模式模型。另外，由于使用不在对象者上安装电极而能够以非接触的方式获取眨眼数据的眼睛的动态图像，因此能够提高对象者的便利性。

另外，根据本发明所涉及的第五发明所述的觉醒状态判断模型生成装置、第十发明所述的觉醒状态判断装置、第十五发明所述的觉醒状态判断模型生成方法、第十六发明所述的觉醒状态判断方法、第二十发明所述的觉醒状态判断模型生成程序以及第二十二发明所述的觉醒状态判断程序，使用发生比率的时间变化或者发生次数的时间变化作为与发生比率有关的数据，因此根据与分析区间的系列中的各特定种类的眨眼的发生比率或者发生次数的局部时间变化，能够更高精确度地判断觉醒状态。

另外，根据本发明所涉及的第六发明所述的觉醒状态判断模型生成装置以及第十一发明所述的觉醒状态判断装置，使用公知的HMM作为统计模型，因此能够得到以下效果：能够生成模式模型，该模式模型能够对眨眼那样伴随时间概念的动作内容进行眨眼波形的种类的识别。

在此，上述“HMM”是时间序列信号的统计模型，通过在多个稳定信号源之间转变，能够将不稳定的时间序列信号进行模型化。例如，由于说话速度而语音的时间长度发生变化，根据说话内容而在频率上示出特征性的形状(称为频谱包络)，但是该形状依赖于说话的人、环境、内容等而产生波动。HMM是能够吸收这种波动的统计模型。

另外，根据本发明所涉及的第十二发明所述的警告装置以及第十三发明所述的车辆，通过警告单元，能够根据上述觉醒状态判断装置中的上述觉醒状态判断结果对上述对象者提供警告。

因而，例如，通过实时地生成包含汽车内的驾驶员的每个规定时间单位的上述特定种类的每个眨眼波形的发生比率、发生次数的时间变化的第二特征量数据，根据该第二特征量数据，例如能够判断完全成为瞌睡状态之前向瞌睡状态转移中的驾驶员的觉醒程度(状态)、对抗睡意的觉醒程度(状态)等。

因而，通过对要睡着的状态下的对象者提供警告音、光闪烁等警告，得到能够预先防止事故发生的效果。

附图说明

图1是表示本发明所涉及的觉醒状态判断模型生成装置800的概要的框图。

图2是表示本发明所涉及的觉醒状态判断模型生成装置100的结构的框图。

图3是表示觉醒状态判断模型生成装置100的硬件结构的框图。

图4是表示觉醒状态判断模型生成装置100中的第一模式模型生成处理以及第二模式模型生成处理的流程图。

图5是从眼电图(EOG)波形数据中提取的参数的说明图。

图6是表示通过使用了k-平均法的聚类方法进行的眼电图(EOG)波形的分类结果的图。

图7是表示固定时间区间内的各眨眼种类的发生频率随着时间经过而变化的情形的说明图。

图8是第二特征量的说明图。

图9是觉醒状态信息数据的说明图。

图10是从眼睛的动态图像中提取的特征量数据的说明图。

图11是表示本发明所涉及的觉醒状态判断装置900的结构的框图。

图12是表示本发明所涉及的警告装置200的结构的框图。

图13是表示警告装置200的硬件结构的框图。

图14是表示警告装置200中的第一特征量数据的提取处理的流程图。

图15是表示警告装置200中的第二特征量数据生成处理的流程图。

图16是表示警告装置200中的觉醒状态判断处理以及警告处理的流程图。

图17是表示HMM的一例的图。

图18是表示警告装置200中的第二特征量数据用的储存区域的图。

图19是表示在眨眼波形数据为眼电图(EOG)波形数据、使用了特定对象者A的眨眼波形模式模型的情况下固定时间区间内的各眨眼种类的发生频率的一例以及判断该特定对象者A的觉醒状态的结果的图。

图20是表示在眨眼波形数据为眼睛的动态图像、使用了特定对象者A的眨眼波形模式模型的情况下固定时间区间内的各眨眼种类的发生频率的一例以及判断该特定对象者A的觉醒状态的结果的图。

图21是表示在眨眼波形数据为眼睛的动态图像、使用了不特定对象者的眨眼波形模式模型的情况下固定时间区间内的各眨眼种类的发生频率的一例以及利用现有技术和本发明来判断对象者A的觉醒状态的结果的图。

图22是表示在眨眼波形数据为眼睛的动态图像、使用了不特定对象者的眨眼波形模式模型的情况下固定时间区间内的各眨眼种类的发生频率的一例以及利用现有技术和本发明来判断对象者B的觉醒状态的结果的图。

附图标记说明

100：觉醒状态判断模型生成装置；200：警告装置；10：眨眼数据存储部；11：第一特征量数据提取部；12：第一学习数据存储部；13：眨眼波形模式模型生成部；14：第一模式模型存储部；15：特征量数据生成部；16：第二学习数据存储部；17：觉醒状态模式模型生成部；18：觉醒状态模式模型存储部；20：眨眼数据获取部；21：眨眼波形模式模型存储部；22：特征量数据提取部；23：眨眼种类识别部；24：特征量数据生成部；25：觉醒状态模式模型存储部；26：觉醒状态判断部；27：警告部；800：觉醒状态判断模型生成装置；80：觉醒状态数据存储部；81：觉醒状态模式模型生成部；900：觉醒状态判断装置；90：眨眼种类获取部；91：特征量数据生成部；92：觉醒状态模式模型存储部；93：觉醒状态判断部。

具体实施方式

[第一实施方式]

下面，根据附图说明本发明的第一实施方式。图1～图10是表示本发明所涉及的觉醒状态判断模型生成装置、觉醒状态判断模型生成程序以及觉醒状态判断模型生成方法的实施方式的图。

首先，根据图1说明本发明所涉及的觉醒状态判断模型生成装置的概要。

图1是表示本发明所涉及的觉醒状态判断模型生成装置800的结构的概要的框图。

觉醒状态数据存储部80存储觉醒状态信息数据和眨眼种类特征量数据作为学习数据。为了制作该学习数据，例如，首先对多个对象者进行测量，收集多种眨眼眼电图(EOG)的波形数据。

并且，对所收集的各眨眼赋予识别眨眼的分类项目的眨眼波形识别信息来制作生理现象分类项目信息数据。

根据该生理现象分类项目信息数据，对各分析区间求出眨眼的每个分类项目的发生比率、发生次数，对每个分析区间制作发生比率、发生次数成为要素的数据。

与连续的分析区间的系列对应的该数据的系列是眨眼种类特征量数据。

另外，对分析区间的每个系列赋予了表示各对象者的觉醒状态的生理状态信息而得到的数据是觉醒状态信息数据。例如，使用根据收集眼电图(EOG)波形数据时的脑波、皮肤表面电位、心跳数、呼吸数等生理/生物体数据的判断或根据脸部表情的判断、观察记录或考察等来判断各对象者的觉醒状态。

在觉醒状态模式模型生成部81中，将存储在觉醒状态数据存储部80中的眨眼种类特征量数据作为学习数据而存储到后述的存储装置80的规定区域。

并且，将对分析区间的每个系列赋予了表示各对象者的觉醒状态的生理状态信息而得到的觉醒状态信息数据作为学习数据而存储到存储装置40的规定区域。

然后，觉醒状态模式模型生成部81将存储在存储装置40中的眨眼种类特征量数据和觉醒状态信息数据作为学习数据来学习统计模型，生成觉醒状态用的模式模型(觉醒状态模式模型)。

根据图2说明本发明所涉及的觉醒状态判断模型生成装置的结构。

图2是表示本发明所涉及的觉醒状态判断模型生成装置100的结构的框图。

眨眼数据存储部10将对多个对象者进行测量得到的多种眨眼的眼电图(EOG)波形数据作为学习数据存储到后述的存储装置40的规定区域。

具体地说，例如存储对象者左眼和右眼中的至少一个的眨眼的眼电图(EOG)波形数据。另外，也能够将表示眼睑睁开度的时间变化的眨眼数据设为眨眼的动态图像，由包含对象者眨眼时的左眼和右眼中的至少一个的动态图像数据构成。另外，还存储各眨眼波形的发生时刻。

第一特征量数据提取部11从由眨眼数据存储部10所存储的眨眼数据中提取特征量数据作为第一特征量数据。

在本实施方式中，将根据眼电图(EOG)波形的峰高(peakheight)的距离数据、从眨眼开始到峰高为止的时间数据、从峰高到眨眼结束为止的时间数据这三个参数而得到的后述的数据设为特征量数据。

此外，作为特征量数据，另外还存在从开始到峰高为止的最大上升角度、从峰高到结束为止的最大下降角度、峰高的50％高度以上的持续时间、峰高的75％以上的持续时间等以及它们的组合等。

另外，在眨眼数据为眨眼的动态图像的情况下，对眨眼的动态图像数据的各帧的每个帧算出规定区域的各线的每条线的亮度合计，将各眨眼影像数据的亮度合计的数据设为特征量数据。

此外，作为特征量数据，另外还存在对眼睛区域图像进行频率变换得到的频率频谱成分、该频率频谱成分与前后帧之间的帧间差分成分、眼睛区域图像的梅尔频标倒谱系数(MFCC：Mel-Frequency Cepstrum Coefficients)成分、眼睛区域图像的帧内力矩成分、帧间力矩成分等以及它们的组合等。

第一学习数据存储部12将由第一特征量数据提取部11提取出的第一特征量数据作为学习数据而存储到后述的存储装置40的规定区域。

并且，学习数据存储部12将眨眼波形识别信息数据作为学习数据存储到后述的存储装置40的规定区域，其中，上述眨眼波形识别信息数据是对存储在眨眼数据存储部10中的眼电图(EOG)波形数据或者眨眼的动态图像中的各眨眼赋予了识别眨眼种类的眨眼波形识别信息而得到的数据。

眨眼波形模式模型生成部13根据眨眼波形模式模型的生成指示，将存储在第一学习数据存储部12中的第一特征量数据和眨眼波形识别信息数据作为学习数据来学习统计模型，生成作为眨眼波形用的模式模型(眨眼波形模式模型)的第一模式模型。

此外，在本实施方式中，使用HMM(Hidden Markov Model)作为统计模型。

眨眼波形模式模型存储部14将在眨眼波形模式模型生成部13中所生成的第一模式模型存储到后述的存储装置40的规定区域。

特征量数据生成部15根据存储在第一学习数据存储部12中的眨眼波形识别信息数据，生成第二特征量数据，该第二特征量数据包含分析区间的系列中的上述特定种类的每个眨眼波形的发生比率、发生次数的时间变化。

第二学习数据存储部16将在特征量数据生成部15中生成的第二特征量数据作为学习数据而存储到后述的存储装置40的规定区域。

并且，第二学习数据存储部16将觉醒状态信息数据作为学习数据存储到后述的存储装置40的规定区域，其中，上述觉醒状态信息数据是对分析区间的每个系列赋予表示各对象者的觉醒状态的觉醒状态信息而得到的数据。

觉醒状态模式模型生成部17根据觉醒状态模式模型的生成指示，将存储在第二学习数据存储部16中的第二特征量数据和觉醒状态信息数据作为学习数据来学习统计模型，生成作为觉醒状态用的模式模型(觉醒状态模式模型)的第二模式模型。

此外，在本实施方式中，使用HMM(Hidden Markov Model)作为统计模型。

觉醒状态模式模型存储部18将在觉醒状态模式模型生成部17中生成的第二模式模型存储到后述的存储装置40的规定区域。

并且，觉醒状态判断模型生成装置100具备用于在软件上实现上述各部的控制的计算机系统，如图3所示，该硬件结构如下：通过由PCI(Peripheral Component Interconnect：外部设备互连)总线、ISA(Industrial Standard Architecture：工业标准结构)总线等构成的各种内外总线38连接承担各种控制和运算处理的作为中央运算处理装置的CPU(Central Processing Unit：中央处理器)30、构成主存储装置(Main Storage：主存储器)的RAM(Random Access Memory：随机存取存储器)32以及作为读取专用的存储装置的ROM(Read Only Memory：只读存储器)34之间，并且通过输入输出接口(I/F)36将HDD(Hard Disk Drive：硬盘驱动器)等内部或外部存储装置(Secondary Storage：辅助存储器)40、打印单元、CRT、LCD显示器等输出装置42、操作面板或鼠标、键盘、扫描仪等输入装置44以及未图示的用于与外部装置等进行通信的网络等连接在该总线38上。

并且，当接通电源时，存储在ROM 34等中的BIOS等系统程序，将预先存储在ROM 34中的各种专用计算机程序、或者通过CD？ROM、DVD？ROM、软盘(FD)等存储介质或通过因特网等通信网络L被安装在存储装置40中的各种专用计算机程序加载到RAM 32中，CPU 30按照加载到该RAM 32中的程序所记述的命令，驱使各种资源进行规定的控制以及运算处理，由此能够在软件上实现如上所述的各单元的各功能。

(第一实施方式的动作)

接着，根据图4说明具有上述结构的觉醒状态判断模型生成装置100中的从眨眼波形数据中提取特征量数据的处理的流程。

图4是表示觉醒状态判断模型生成装置100中的第一模式模型(眨眼波形模式模型)生成处理以及第二模式模型(觉醒状态模式模型)生成处理的流程图。

第一模式模型生成处理以及第二模式模型生成处理如图4的流程图所示，首先，在步骤S100中，在眨眼波形模式模型生成部13中判断是否存在通过输入装置44等的来自用户的眨眼波形模式模型的生成指示，在判断为存在生成指示的情况下(是)，转移到步骤S102，在不存在生成指示的情况下(否)，转移到步骤S108。

在转移到步骤S102的情况下，在眨眼波形模式模型生成部13中，从第一学习数据存储部12中获取第一特征量数据和眨眼波形识别信息数据，转移到步骤S104。

在步骤S104中，在眨眼波形模式模型生成部13中，将在步骤S102中获取到的数据作为学习数据来学习统计模型，生成作为眨眼波形模式模型的第一模式模型，转移到步骤S106。

在步骤S106中，在眨眼波形模式模型生成部13中，通过眨眼波形模式模型存储部14将在步骤S104中生成的第一模式模型存储到存储装置40的规定区域内，转移到步骤S108。

在步骤S108中，在觉醒状态模式模型生成部17中，判断是否存在通过输入装置44等的来自用户的觉醒状态模式模型的生成指示，在判断为存在生成指示的情况下(是)，转移到步骤S110，在判断为不存在生成指示的情况下(否)，结束处理。

在转移到步骤S110的情况下，从第一学习数据存储部12中获取眨眼波形识别信息数据，转移到步骤S112。

在步骤S112中，根据在步骤S110中获取到的眨眼波形识别信息数据来生成第二特征量数据，转移到步骤S114，其中，上述第二特征量数据包含分析区间的系列中的上述特定种类的每个眨眼波形的发生比率、发生次数的时间变化。

在步骤S114中，在觉醒状态模式模型生成部17中，通过第二学习数据存储部16将在步骤S112中生成的第二特征量数据存储到存储装置40的规定区域内，转移到步骤S116。

在步骤S116中，在觉醒状态模式模型生成部17中，从第二学习数据存储部16中获取第二特征量数据和觉醒状态信息数据，转移到步骤S118。

在步骤S118中，在觉醒状态模式模型生成部17中，将在步骤S116中获取到的数据作为学习数据来学习统计模型，生成作为觉醒状态用的模式模型的第二模式模型，转移到步骤S120。

在步骤S120中，在觉醒状态模式模型生成部17中，通过第二模式模型存储部18将在步骤S118中生成的第二模式模型存储到存储装置40的规定区域内，结束处理。

接着，根据图5～图10更具体地说明本实施方式的动作。

在觉醒状态判断模型生成装置100中进行上述的第一特征量数据的提取处理、眨眼波形模式模型的生成处理时，首先，需要预先准备多个对象者的多种眨眼的眼电图(EOG)波形数据(眨眼波形数据)。

另外，在进行上述的第二特征量数据的生成处理、觉醒状态模式模型的生成处理时，也使用眨眼波形数据。

在本实施方式中，预先，对由多名得到知情同意的各种年龄的健康男女构成的对象者进行从高觉醒状态经过对睡意的对抗状态、低觉醒状态而进入到入眠为止的各种眨眼的眼电图(EOG)波形的测量，收集眨眼波形数据。

另外，作为眼电图(EOG)波形(EOG波形)，在对象者的右眼睑的上下安装电极，使用生物体测量用交流放大器(B-OPAC、时间常数3.2[sec]、GAIN5000倍、35[Hz]截止低通滤波器)，利用采样频率250Hz来测量垂直EOG波形。然后，从该垂直EOG波形中检测眨眼部分。

关于眨眼部分的检测方法，与公知的方法(湯瀨裕昭、田多英興：まばたきの自動検出とまばたき波形解析，人間工学，vol30，No5，p.331-337(1994))同样地，利用EOG波形的微分值(一次差分)，将该微分值超过预先设定的开始阈值的时刻设为眨眼的开始点，将上述微分值再次超过预先设定的结束阈值的时刻设为眨眼的结束点，检测从开始点至结束点的波形作为眨眼波形。

将上述那样收集到的眨眼波形数据存储到眨眼数据存储部10。另外，将检测出的各眨眼波形的发生时刻也存储到眨眼数据存储部10。

接着，说明在第一特征量数据提取部11中作为第一特征量数据而被提取的特征量数据。将从上述获取到的眼电图(EOG)波形数据中提取出的参数如后述那样变换为特征量数据。

图5是作为眨眼数据而使用眼电图(EOG)波形数据的情况下的从眨眼波形数据中提取的参数的说明图。

从眨眼波形数据中提取波形的峰值点的高度(距离)数据、从眨眼的开始点到峰值点为止的时间数据、从峰值点到眨眼的结束点为止的时间数据这三种参数。

例如，在眨眼波形数据是表示将闭眼方向设为向上的如图5所示的波形的情况下，将峰值点的高度x1设为眨眼的开始点的电平(电压或电流)与波形的峰值点的电平之间的差分值。在图5的例子中，波形的峰值为“x1[mm]”，从眨眼开始点到峰值点的时间x2(下面是上升时间x2)为28[m sec]，从峰值点到眨眼结束点的时间x3(下降时间x3)为52[m sec]。

在本实施方式中，峰值点的高度(距离)数据x1直接使用测量得到的值，上升和下降时间数据x2和x3使用对数变换得到的值。从上述获取到的眨眼波形数据中依次提取这些x1、x2以及x3这三种参数。

然后，对收集眨眼波形数据而得到的每个对象者的测量数据，使用Z分数法(Z-Score)将由上述x1～x3这三种参数构成的特征参数归一化。

通过对上述x1～x3这三种特征参数进行分布的加工使得各自的平均值变成0、标准偏差变成1来进行使用Z分数法的归一化。

具体地说，求出x1～x3的各自的特征参数中的平均值μ。另外，同时求出x1～x3的各自的特征参数中的标准分散σ。

在此，在x1～x3的各自中将各参数设为X，按照下式(1)将参数X变换成z。

$z=\frac{X-\mu }{\sigma }···\left(1\right)$

当表示具体数值例时，某个对象者的所有眨眼波形的x1～x3的各自的平均值为(2.2239，1.3542，1.5693)、x1～x3的各自的标准偏差为(0.7396，0.1000，0.0709)的情况下，如下式(2)这样算出z。

$z=(\frac{2.9653-2.2239}{0.7396},\frac{1.3222-1.3542}{0.1000},\frac{1.5682-1.5693}{0.0709})---\left(2\right)$

$=(1.0024,-0.3200,-0.0155)$

对收集到的每个眨眼波形数据算出的z为第一特征量数据，对于存储在眨眼数据存储部10中的眼电图(EOG)波形数据中的各眨眼，该z作为学习数据被存储到第一学习数据存储部12。

进一步，说明作为学习数据被存储在第一学习数据存储部12中的眨眼波形识别信息数据。

眨眼波形识别信息数据是对存储在眨眼数据存储部10中的眼电图(EOG)波形数据中的各眨眼赋予识别眨眼种类的眨眼波形识别信息而得到的数据。

在此，所谓眨眼波形识别信息，具体地说，例如是指识别后述的被分类的眨眼种类的编号。不仅能够特定存储在数据存储部10中的各眨眼的眨眼波形识别信息，还能够特定其发生时刻。

在本实施方式中，根据生理学的观点，将与对象者的觉醒程度相应的眨眼种类分类成如下。

图6是表示对于某一个对象者的第一特征量数据z，利用作为公知的聚类分析法(clustering method)的k--平均法对聚类数设为12的情况下的眼电图(EOG)波形进行分类的结果的图。

如本例所示那样，将聚类数设为比通常所知的眨眼分类数还多，由此能够将混入到眨眼EOG波形数据的眼球运动等的误检测、过度检测分类为与眨眼不同的聚类来进行排除。

Class1(类1)：高觉醒时的标准眨眼

Class2(类2)：由于睡意眼睑下垂而波高稍微变小的眨眼

Class3(类3)：为了对抗睡意而有意识的明确的较大眨眼

Class4(类4)：在低觉醒状态下发生的波高变得非常小的眨眼

Class5～7(类5～7)：低觉醒状态时的持续时间较长的眨眼

Class8(类8)：从低觉醒状态中暂时瞬间觉醒时的眨眼

Class9(类9)：一连串的眨眼

Class10(类10)～Class12(类12)：在检测眨眼波形时误检测、过度检测到的眨眼(受到眨眼以外的眼球运动的影响的波形，难以判断是眼球运动还是眨眼的波形等)

在上述例子中，十二个聚类被分类成八个眨眼种类，眨眼波形识别信息表示在眼电图(EOG)波形数据中的各眨眼被分类到哪种眨眼种类。

眨眼波形模式模型生成部13在收到眨眼波形模式模型的生成指示的情况下(步骤S100的“是”的分支)，通过第一学习数据存储部12从存储装置40中获取第一特征数据和眨眼波形识别信息数据(步骤S102)。

然后，将所获取的该第一特征量数据和眨眼波形识别信息数据作为学习数据来学习统计模型，生成眨眼波形模式模型(第一模式模型)(步骤S104)，其中，上述眨眼波形模式模型将第一特征数据作为输入，将对于所输入的第一特征数据的相对于眨眼种类(八种)的似然性作为输出。

在本实施方式中，使用HMM作为统计模型。

HMM是时间序列信号的概率模型，通过在多个稳定信号源之间转变而将不稳定的时间序列信号模型化。

例如，由于眨眼的检测状况等，引起一次眨眼时间的眨眼开始点和结束点多少有些不同等情况，因此与其相应的时间方向的特征参数也发生变化。

因而，具体地说，如图17所示，例如，确定状态数8的HMM，根据上述获取到的特征参数来计算状态的次数，根据该计算结果最大似然估计(maxium likelihood estimation)从某个状态向下一个状态的转变概率和在某个状态下的特征参数的输出概率，由此进行HMM的学习。

并且，通过该学习而得到的具有转变概率以及输出概率的HMM成为眨眼波形模式模型(第一模式模型)。

如上述那样生成的眨眼波形模式模型(第一模式模型)通过眨眼波形模式模型存储部14存储到存储装置40的规定区域(步骤S106)。

特征量数据生成部15在收到了觉醒状态模式模型的生成指示的情况下(步骤S108的“是”的分支)，通过第一学习数据存储部12从存储装置40中获取眨眼波形识别信息数据(步骤S110)。

另外，还能够特定存储在数据存储部10中的各眨眼的发生时刻。

接着，说明在特征量数据生成部15中作为第二特征量数据而生成的特征量数据。

在此，图7是表示在从一名对象者收集到的眨眼波形数据中固定时间区间内的各眨眼种类的发生频率随着时间经过而变化的情形的说明图。

当对每个眨眼种类的发生频率的经过变化进行分析时，从实验开始至中盘(20分钟前后)，作为标准眨眼种类的Class1减少，并且峰高较小的Class2的眨眼种类和明确的较大Class3的眨眼种类的比率增加。

以20分钟为界限，几乎看不到Class1和Class3的眨眼种类，之后Class4～7的缓慢的眨眼种类占据大半。

能视为Class8、Class9的快而小的眨眼种类断续地增减，但是相对地在实验的后半增加。

根据实验时的考察、观察记录，本对象者从实验初期起感到较轻的睡意，从中盘至后半感到更强的睡意。

另外，由于外部因素等还发生过暂时的觉醒，但是觉醒状态继续下降，实验结束之后马上进入睡眠。

根据与眨眼种类的特征的经时变化的对应以及与动态图像记录的对应，Class2的眨眼中的睁眼状态与觉醒时的标准的Class1的眨眼中的半睁眼状态类似，认为是由于睡意而眼睑下垂的状态。

与此相对，认为在实验中盘随着Class2的眨眼的增加而增加的Class3的明确的较大的眨眼是为了对抗睡意而有意识的眨眼。

从实验的中盘以后到终盘，估计为对象者的觉醒状态显著下降，因此认为被分类成Class4～7的眨眼是低觉醒时的波形。

因而，通过将固定时间区间内的各眨眼种类的发生比率、发生次数随着时间经过而变化的情形作为模式识别的对象，能够判断对象者的觉醒程度。

在本实施方式中，作为使用于模式识别的特征量数据，在分析区间的系列中求出各眨眼种类的发生比率，使用该发生比率在某个时间区间内的时间性变化。

图8的(a)是表示作为上述特征量的第二特征量数据的说明图。

作为分析区间，定义单位时间(图中的T)、规定的眨眼次数等。然后，使分析区间按每个固定的时间间隔(图中的t_s)与相邻的分析区间重叠(overwrap)并求出各眨眼种类的发生比率。

并且，通过将这样求出的各眨眼种类的发生比率汇总规定次数(图中的N)来生成第二特征量数据。

如上述那样汇总规定次数而得到的分析区间是分析区间的系列。例如，在图8的(b)中示出对于八种眨眼种类的第二特征量数据。

在此，8的(b)的R_i，j表示第j分析区间中的眨眼种类i的发生比率。在本实施方式中，使用了各眨眼种类的发生比率，但是由于眨眼的发生频率也赋予到特征量，因此能够使用各眨眼种类的发生次数(步骤S112)。

进一步，说明作为学习数据而存储在第二学习数据存储部16中的觉醒状态信息数据。觉醒状态信息数据是对存储在第二学习数据存储部16中的第二特征量数据赋予表示对象者的觉醒状态的觉醒状态信息而得到的数据。

在本实施方式中，基于根据实验时的生物体/生理数据的判断、根据考察或观察记录推测出的结果，用高觉醒状态、睡意对抗状态、低觉醒状态这三种状态来表示实验中的对象者的觉醒状态，并使用了图9所示的觉醒状态信息数据。在此，眨眼种类的分类数是9。

另外，在本实施例中将对象者的觉醒状态设为高觉醒状态、睡意对抗状态、低觉醒状态这三种状态，将眨眼种类的分类数设为9，但是能够根据应用程序来改变状态数、分类数。

觉醒状态模式模型生成部17通过第二学习数据存储部16将所生成的第二特征量数据存储到存储装置40的规定区域(步骤S114)。

接着，觉醒状态模式模型生成部17通过第二学习数据存储部16从存储装置40中获取第二特征量数据和觉醒状态信息数据(步骤S116)。

然后，将所获取到的该第二特征量数据和觉醒状态信息数据作为学习数据来学习统计模型，生成眨眼觉醒状态模式模型(第二模式模型)(步骤S118)，其中，上述觉醒状态模式模型将第二特征量数据作为输入，将相对于觉醒状态信息的似然性作为输出。

在本实施方式中，与眨眼波形模式模型(第一模式模型)的情况同样地，使用HMM作为统计模型。

使用眼电图(EOG)波形数据作为上述眨眼波形数据，但对代替它而使用眼睛的动态图像的情况进行说明。

作为具体例，如图10的(a)所示，以眼睛的动态图像中的眼球部分为中央切出横11像素×纵30像素的提取区域图像，算出构成所切出的提取区域图像的各线(横11像素)的亮度合计值，例如，生成示出图10的(b)所示的特性的提取区域图像的30条线的各线的每条线的亮度合计值的数据。

在本实施方式中，对与一次眨眼对应的眨眼波形数据生成该亮度合计值的数据，成为从各眨眼波形数据中提取的第一特征量数据。

此外，作为第一特征量数据，另外还存在对眼睛区域图像进行频率变换得到的频率频谱成分、该频率频谱成分与前后帧的帧间差分成分、眼睛区域图像的梅尔频标倒谱系数(MFCC)成分、眼睛区域图像的帧内力矩成分、帧间力矩成分等以及它们的组合等。

另外，构成各眨眼波形数据的眨眼图像数据的帧数根据拍摄单元的性能、眨眼种类等而改变(在使用通常的CCD照相机(30帧/每秒)的情况下，例如，对于一次眨眼为8～11帧左右)。

在上述第一实施方式中，眨眼数据存储部10与权利要求7所述的眨眼数据存储单元对应，第一特征量数据提取部11与权利要求7所述的特征量数据单元对应，第一学习数据存储部12与权利要求3所述的学习数据存储单元对应，眨眼波形模式模型生成部13与权利要求3所述的眨眼波形模式模型生成单元对应，眨眼波形模式模型存储部16与权利要求7所述的第一模式模型存储单元对应，特征量数据生成部15与权利要求3所述的特征量数据生成单元对应，第二学习数据存储部16与权利要求7所述的第二特征量数据存储单元对应，觉醒状态模式模型生成部17与权利要求1所述的觉醒状态模式模型生成单元对应，觉醒状态模式模型存储部18与权利要求7所述的第二模式模型存储单元对应，觉醒状态模式模型生成部81与权利要求2所述的觉醒状态判断模型生成装置对应。

另外，在上述第一实施方式中，步骤S100～S104与权利要求14或权利要求19所述的眨眼波形模式模型生成步骤对应，步骤S106与权利要求16或权利要求21所述的第一模式模型存储步骤对应，步骤S108～S112与权利要求14或权利要求19所述的特征量数据生成步骤对应，步骤S114与权利要求16或权利要求21所述的第二特征量数据存储步骤对应，步骤S116～S118与权利要求12或权利要求17所述的觉醒状态模式模型生成步骤对应，步骤S120与权利要求14或权利要求19所述的第二模式模型存储步骤对应。

[第二实施方式]

接着，根据附图说明本发明的第二实施方式。图11～图21是表示本发明所涉及的觉醒状态判断装置、觉醒状态判断程序以及觉醒状态判断方法的实施方式的图。

首先，根据附图说明本发明所涉及的觉醒状态判断装置的结构。图11是表示本发明所涉及的觉醒状态判断装置900的结构的框图。

眨眼种类获取部90获取发生表示各眨眼波形发生的时刻等的发生时刻信息，其中，上述眨眼波形是伴随着对象者的觉醒状态的变化的、各分析区间中的被分类为每个特定种类的眨眼波形。

特征量数据生成部91根据由眨眼种类获取部90获取到的各眨眼波形的发生时刻信息，对各分析区间求出每个眨眼分类项目的发生比率、发生次数，对每个分析区间制作发生比率、发生次数成为要素的数据。该数据是眨眼种类特征量数据。

觉醒状态模式模型存储部92存储在上述第一实施方式的觉醒状态判断模型生成装置800中生成的觉醒状态模式模型。

觉醒状态判断部93根据在特征量数据生成部91中生成的眨眼种类特征量数据和存储在觉醒状态模式模型存储部92中的觉醒状态模式模型来判断对象者的觉醒状态。

作为上述进行判断的觉醒状态包含以下状态：在从意识明确的高觉醒状态经过对抗睡意的状态、低觉醒状态等直到瞌睡为止的期间内阶段性地变化。

例如，包含正常的高觉醒状态、感到睡意的状态、对抗睡意的状态、感到较强睡意的低觉醒状态、瞌睡状态等。

接着，本实施方式的警告装置具备在上述第一实施方式的觉醒状态判断模型生成装置100中生成的眨眼波形模式模型以及觉醒状态模式模型，使用这些模式模型，对驾驶员的分析区间的每个系列的觉醒状态进行识别。

首先，根据附图说明本发明所涉及的警告装置的结构。

图12是表示本发明所涉及的警告装置200的结构的框图。

如图12所示，警告装置200为包括以下部分的结构：眨眼数据获取部20，其获取眨眼数据，该眨眼数据包含驾驶员的至少一只眼睛的眼睑睁开度的时间变化；眨眼波形模式模型存储部21，其存储在上述第一实施方式的觉醒状态判断模型生成装置100中生成的眨眼波形模式模型；特征量数据提取部22，其从由眨眼数据获取部20获取到的眨眼数据中提取第一特征量数据；眨眼种类识别部23，其根据存储在眨眼波形模式模型存储部21中的眨眼波形模式模型和由特征量数据提取部22提取出的第一特征量数据来识别眨眼波形的种类；特征量数据生成部24，其根据由眨眼种类识别部23识别的眨眼波形种类的识别结果来生成第二特征量数据；觉醒状态模式模型存储部25，其存储在上述第一实施方式的觉醒状态判断模型生成装置100中所生成的觉醒状态模式模型；以及觉醒状态判断部26，其根据在特征量数据生成部24中生成的第二特征量数据和存储在觉醒状态模式模型存储部25中的觉醒状态模式模型来判断对象者的觉醒状态。

眨眼数据获取部20具有生物体测量用交流放大器，通过安装在驾驶员的眼睑的上下的电极，实时地测量垂直EOG(眼电图(EOG)波形)。

眨眼波形模式模型存储部21将在上述第一实施方式的觉醒状态判断模型生成装置100中生成的眨眼波形模式模型存储到后述的存储装置60的规定区域。

与上述第一实施方式同样地，特征量数据提取部22从由眨眼数据获取部20获取到的眨眼的眼电图(EOG)波形数据(眨眼波形数据)中提取第一特征量数据作为特征量数据，该第一特征量数据是根据眨眼波形的峰高(距离)x1、从眨眼开始到峰高为止的上升时间x2、从峰高到眨眼结束为止的下降时间x3这三种特征参数而求出的数据。

眨眼种类识别部23根据存储在眨眼波形模式模型存储部21中的眨眼波形模式模型和由特征量数据提取部22提取出的第一特征量数据来识别眨眼波形的种类。

特征量数据生成部24根据由眨眼种类识别部23识别的眨眼波形种类的识别结果来生成第二特征量数据，并输出到觉醒状态判断部26。

即，首先，在分析区间的系列中求出各眨眼种类的识别结果的发生比率、发生次数，作为第二特征量数据，使用该发生比率、发生次数的某个时间区间内的时间性变化。

觉醒状态模式模型存储部25将在上述第一实施方式的觉醒状态判断模型生成装置100中生成的觉醒状态模式模型存储到后述的存储装置60的规定区域。

觉醒状态判断部26根据在特征量数据生成部24中生成的第二特征量数据和存储在觉醒状态模式模型存储部25中的觉醒状态模式模型来判断对象者的觉醒状态。

作为上述进行判断的觉醒状态包含以下状态：在从意识明确的高觉醒状态经过对抗睡意的状态、低觉醒状态等直到瞌睡为止的期间内阶段性地变化的状态。

例如，包括正常的高觉醒状态、感到睡意的状态、对抗睡意的状态、感到较强睡意的低觉醒状态、瞌睡状态等。

警告装置200为还包含警告部27的结构，该警告部27根据觉醒状态判断部26的判断结果对驾驶员提供警告。

警告部27根据觉醒状态判断部26的判断结果对驾驶员提供与觉醒状态的内容相应的警告。

具体地说，例如，在判断为感到较轻睡意的情况下输出建议休息的语音消息，在判断为对抗睡意的状态的情况下，用稍大的音量输出警告音，在判断为感到较强睡意的低觉醒状态或者瞌睡状态的情况下，用非常大的音量、较强的消息内容输出警告音。

并且，警告装置200具备用于在软件上实现上述各部的控制的计算机系统，如图13所示，该硬件结构为如下：通过由PCI(Peripheral Component Interconnect)总线、ISA(IndustrialStandard Architecture)总线等构成的各种内外总线58连接承担各种控制和运算处理的作为中央运算处理装置的CPU(CentralProcessing Unit)50、构成主存储装置(Main Storage)的RAM(Random Access Memory)52和作为读取专用的存储装置的ROM(Read Only Memory)54之间，并且通过输入输出接口(I/F)56将HDD(Hard Disk Drive)等内部或外部存储装置(Secondary Storage)60、LCD显示器等输出装置62、操作面板或遥控器等输入装置64以及未图示的用于与外部装置等进行通信的网络L等连接在该总线58上。

然后，当接通电源时，存储在ROM 54等中的BIOS等系统程序，将预先存储在ROM 54中的各种专用计算机程序、或者通过CD-ROM、DVD-ROM、软盘(FD)等存储介质或通过因特网等通信网络L而安装在存储装置60中的各种专用计算机程序加载到RAM 52中，CPU 50按照加载在该RAM 52中的程序中所记述的命令驱使各种资源进行规定的控制以及运算处理，由此能够在软件上实现上述那样的各单元的各功能。

(第二实施方式的动作)

接着，根据图14说明具有这种结构的警告装置200中的第一特征量数据的提取处理的流程。

在此，图14是表示警告装置200中的第一特征量数据的提取处理的流程图。

第一特征量数据的数据提取处理如图14所示，首先转移到步骤S200，在特征量数据提取部23中获取由眨眼数据获取部21获取到的眨眼的眼电图(EOG)波形数据(眨眼波形数据)，转移到步骤S202。

在步骤S202中，在特征量数据提取部22中，与上述第一实施方式同样地，从在步骤S200中获取到的眨眼波形数据中提取第一特征量数据作为特征量数据，转移到步骤S204，其中，上述第一特征量数据是根据不同单位的多个特征参数而求出的数据。

在步骤S204中，在眨眼种类识别部23中，从眨眼波形模式模型存储部21中获取眨眼波形模式模型，根据所获取到的该眨眼波形模式模型和在步骤S202中提取出的第一特征量数据，对与该第一特征量数据对应的眨眼种类进行识别，然后结束处理。

在本实施方式中使用HMM作为眨眼波形模式模型，该眨眼波形模式模型将第一特征量数据作为输入，将相对于驾驶员的眨眼种类的似然性作为输出。

图18的(a)是表示第二特征量数据的说明图。作为分析区间，定义单位时间(图中的T)、规定的眨眼次数等。

并且，使分析区间按每个固定时间间隔内(图中的t_s)与相邻的分析区间重叠，并求出各眨眼种类的发生比率。

并且，通过将这样求出的各眨眼种类的发生比率汇总规定次数(图中的N)来生成第二特征量数据。

上述被汇总规定次数的分析区间是分析区间的系列。例如，在图18的(b)中示出对于八种眨眼种类的第二特征量数据。

在本实施方式中，使用了各眨眼种类的发生比率，但是还能够使用各眨眼种类的发生次数。

接着，根据图15说明警告装置200中的第二特征量数据生成处理的流程。

在此，图15是表示警告装置200中的第二特征量数据生成处理的流程图。

第二特征量数据生成处理如图15的流程图所示，首先在步骤S300中，在特征量数据生成部25中判断第二特征量数据生成处理是否结束，在判断为结束的情况下(是)，结束处理，在判断为未结束的情况下(否)，转移到步骤S302。

在转移到步骤S302的情况下，在特征量数据生成部24中判断是否从眨眼种类识别部23中获取到了识别结果，在判断为获取到的情况下(是)，转移到步骤S304，在判断为未获取到的情况下(否)，待机到获取为止。

在本实施方式中，识别结果包含识别结果的眨眼种类的信息和与第一特征量数据对应的眨眼波形数据的发生时刻的信息。

在转移到步骤S304的情况下，在特征量数据生成部25中将识别结果存储到RAM 62或者存储装置60的规定区域中，转移到步骤S306。

在本实施方式中，优先使用RAM 52，根据RAM 52的存储容量而适当地变更存储目的地。

在步骤S306中，在特征量数据生成部24中判断识别结果的时刻时间是否超过了第二特征量数据更新时刻(t_update＝nt_s)，在判断为超过的情况下(是)，转移到步骤S310，在判断为未超过的情况下(否)，转移到步骤S308。其中，n是0以上的整数，t_s是更新时间间隔。

在本实施方式中，在警告装置200的动作开始时，复位时间t以及t_update(t＝0、t_update＝0)。

在转移到步骤S308的情况下，在特征量数据生成部24中使用在步骤S304中存储的识别结果更新第二特征量数据用的存储区域，转移到步骤S302。

在图18的(b)中示出该第二特征量数据用的储存区域。第二特征量数据整体被存储到存储区域70，在构成存储区域70的一部分的存储区域71中，对与该识别结果所表示的眨眼种类一致的眨眼种类的识别结果的发生次数加1。

在转移到步骤S310的情况下，在特征量数据生成部24中，根据存储在存储区域中的各眨眼种类的识别结果的发生次数，求出各自的发生比率、发生次数，用该发生比率、该发生次数来覆盖存储区域，转移到步骤S312。

在步骤S312中，在特征量数据生成部24中，根据存储在储存区域中的各眨眼种类的识别结果的发生比率的时间变化、发生次数的时间变化来生成第二特征量数据，转移到步骤S314。

在步骤S314中，在特征量数据生成部24中，将在步骤S312中生成的第二特征量数据存储到RAM 52或者存储装置60的规定区域，转移到步骤S300。

接着，根据图16说明警告装置200中的觉醒状态判断处理以及警告处理的流程。

在此，图16是表示警告装置200中的觉醒状态判断处理以及警告处理的流程图。

觉醒状态判断处理以及警告处理如图16的流程图所示，首先转移到步骤S400，在觉醒状态判断部26中判断觉醒状态判断处理是否结束，在判断为结束的情况下(是)，结束处理，在判断为未结束的情况下(否)，转移到步骤S402。

在转移到步骤S402的情况下，在觉醒状态判断部26中判断是否从特征量数据生成部24中获取了第二特征量数据，在判断为获取到的情况下(是)，转移到步骤S404，在判断为未获取到的情况下(否)，待机到获取为止。

在转移到步骤S404的情况下，在觉醒状态判断部26中根据在步骤S402中获取的第二特征量数据和存储在觉醒状态模式模型存储部25中的觉醒状态模式模型来判断驾驶员的觉醒状态，转移到步骤S406。

在本实施方式中，使用HMM作为觉醒状态模式模型，该觉醒状态模式模型将第二特征量数据作为输入，将相对于表示驾驶员的觉醒状态的觉醒状态信息的似然性作为输出。

在步骤S406中，在警告部27中根据步骤S404的判断结果来判断驾驶员是否为感到睡意的状态，在判断为是感到睡意状态的情况下(是)，转移到步骤S408，在判断为不是感到睡意状态的情况下(否)，转移到步骤S410。

在转移到步骤S408的情况下，在警告部28中执行警告处理(1)，转移到步骤S400。在此，当执行警告处理(1)时，输出建议休息的语音消息。

另一方面，在转移到步骤S410的情况下，在警告部27中判断驾驶员是否为对抗睡意的状态，在判断为是对抗睡意状态的情况下(是)，转移到步骤S412，在判断为不是对抗睡意状态的情况下(否)，转移到步骤S414。

在转移到步骤S412的情况下，在警告部27中执行警告处理(2)，转移到步骤S400。在此，当执行警告处理(2)时，从设置在车内的扬声器以稍大的音量(例如50％的音量)输出警告音以及警告消息。

另一方面，在转移到步骤S414的情况下，在警告部27中判断是否为感到较强睡意的低觉醒状态或者瞌睡状态，在判断为是感到较强睡意的低觉醒状态或者瞌睡状态的情况下(是)，转移到步骤S416，在判断为不是感到较强睡意的低觉醒状态或者瞌睡状态的情况下(否)，转移到步骤S400。

在转移到步骤S416的情况下，在警告部27中执行警告处理(3)，转移到步骤S402。在此，当执行警告处理(3)时，从设置在车内的扬声器以极大的音量(例如70％以上的音量)输出警告音以及警告消息。

使用了眼电图(EOG)波形数据作为上述眨眼波形数据，但对代替它而使用眼睛的动态图像的情况进行说明。

眨眼数据获取部20利用设置在汽车内的内视镜上的CCD照相机以帧单位实时地拍摄坐在驾驶座上的驾驶员的脸部图像。

此外，将所拍摄到的脸部影像作为数字脸部影像数据而输出。此外，CCD照相机的设置位置并不限于内视镜上，只要是能够拍摄到包含摄像对象者的脸部整体的图像的位置，也可以为转向柱位置、中央面板位置、前柱位置等其它位置。

特征量数据提取部22使用SVM从由眨眼数据获取部20拍摄得到的驾驶员的脸部影像数据中提取眼部的影像数据，并且从所提取出的该眼部影像数据中提取特征量数据。

在上述例子中，在从驾驶员的脸部图像中提取眼部的影像数据时使用SVM，但是也可以使用其它的脸部器官检测算法进行眼部的提取。

然后，关于特征量数据的提取，具体地说，与已述第一实施方式同样地，从构成右眼部的影像数据的各眨眼图像数据中，以眼球为中央切出横11像素×纵30像素的提取区域图像，算出该提取区域图像的各像素线(横11像素)的每个像素线的亮度合计值，将该算出的亮度合计值数据(一次的眨眼影像)作为特征量数据。

此外，作为特征量数据，另外还存在对眼睛区域图像进行频率变换而得到的频率频谱成分、该频率频谱成分与前后帧的帧间差分成分、眼睛区域图像的梅尔频标倒谱系数(MFCC)成分、眼睛区域图像的帧内力矩成分、帧间力矩成分等以及它们的组合等。

在警告装置200中，特征量数据提取部22从眨眼数据获取部21中获取眨眼波形数据(步骤S200)。

然后，与上述第一实施方式的模式模型生成装置100中的第一特征量数据提取部11同样地，从所获取到的该眨眼波形数据中提取第一特征量数据作为特征量数据(步骤S202)，该第一特征量数据是根据眨眼波形的峰高(距离)x1、从眨眼开始到峰高为止的上升时间x2、从峰高到眨眼结束为止的下降时间x3这三种特征参数而求出的数据。

当提取特征量数据时，眨眼种类识别部23通过眨眼波形模式模型存储部21获取存储在存储装置60中的眨眼波形模式模型，对所获取到的该眨眼波形模式模型输入第一特征量数据，根据从眨眼波形模式模型输出的相对于各眨眼种类(Class1～Class12)的似然性来识别眨眼种类(步骤S204)。然后，将识别结果输出到特征量数据生成部24。

特征量数据生成部24在每次获取上述识别结果时(步骤S302的“是”的分支)，将该识别结果存储到RAM 52或者存储装置60的规定区域(步骤S304)。

在此，如上所述，识别结果是包含与识别时的第一特征量数据对应的眨眼波形数据的获取时刻信息和识别得到的眨眼种类信息的信息。

然后，判断识别结果的时刻时间是否超过第二特征量数据更新时刻(t_update＝nt_s)(步骤S306)。

在判断为识别结果的时刻时间超过第二特征量数据更新时刻的情况下(步骤S306的“是”的分支)，根据存储在储存区域中的各眨眼种类的识别结果的发生次数，求出各自的发生比率、发生次数，用该发生比率、该发生次数覆盖储存区域(步骤S310)。

根据如上述那样存储在储存区域中的各眨眼种类的识别结果的发生比率的时间变化、发生次数的时间变化来生成第二特征量数据(步骤S312)。

另外，将第二特征量数据存储到RAM 52或者存储装置60的规定区域(步骤S314)。

另一方面，在判断为识别结果的时刻时间未超过第二特征量数据更新时刻的情况下(步骤S306的“否”的分支)，在特征量数据生成部24中，使用在步骤S304中存储的识别结果对第二特征量数据用的储存区域进行更新(步骤S308)。

当从特征量数据生成部24获取第二特征量数据时(步骤S402的“是”的分支)，觉醒状态判断部26根据第二特征量数据和存储在觉醒状态模式模型存储部25中的觉醒状态模式模型来判断驾驶员的觉醒状态(步骤S404)。

在附图的例子的情况下，从开始阶段起暂时判断为驾驶员感到较轻睡意(步骤S406的“是”的分支)，在警告部28中执行警告处理(1)，输出促使休息的语音消息(步骤S408)。

另外，从中途到中盘为止判断为驾驶员感到睡意(步骤S410的“是”的分支)，在警告部28中执行警告处理(2)，以最大音量50％的音量输出警告音(步骤S412)。

另外，从中盘到后半为止判断为驾驶员感到较强睡意或者是瞌睡状态(步骤S414的“是”的分支)，在警告部28中执行警告处理(3)，以最大音量70％以上的音量输出警告音(步骤S414)。

在上述例子中，使用了眼电图(EOG)波形数据作为眨眼波形数据，但对代替它而使用眼睛的动态图像的情况进行说明。

在特征量数据提取部22中，从眨眼数据获取部21中获取眼睛的动态图像(步骤S200)。并且，特征量数据提取部22使用SVM从获取到的眼睛的动态图像中检测右眼的眨眼影像数据，从所检测出的该眨眼影像数据中提取特征量数据(步骤S202)。

该特征量数据的提取使用与已述的第一实施方式的觉醒状态判断模型生成装置100中的第一特征量数据提取部11相同的方法。

即，提取构成与一次眨眼对应的眨眼影像数据的、各眨眼图像数据中的提取区域图像的30条线的各线的每条线的亮度合计值的数据作为特征量数据。

此外，作为特征量数据，另外还存在对眼睛区域图像进行频率变换的频率频谱成分、该频率频谱成分与前后帧的帧间差分成分、眼睛区域图像的梅尔频标倒谱系数(MFCC)成分、眼睛区域图像的帧内力矩成分、帧间力矩成分等以及它们的组合等。

接着，为了确认本发明的效果，在图19～图21中示出判断对象者的觉醒状态得到的结果的例子。

图19的(a)是表示在眨眼波形数据是眼电图(EOG)波形数据、使用一名特定对象者(以下称为对象者A)的眨眼波形模式模型和觉醒状态模式模型的情况下根据由眨眼种类识别部23识别的对象者A的眨眼波形种类的识别结果而得到的固定时间区间内的各眨眼种类的发生频率的一例的图。

另外，图19的(b)是表示觉醒状态判断部26基于特征量数据生成部24根据上述的眨眼波形种类的识别结果而生成的第二特征量数据和存储在觉醒状态模式模型存储部25中的觉醒状态模式模型来判断对象者A的觉醒状态所得到的结果。

另外，图20的(a)是表示在眨眼波形数据是眼睛的动态图像、使用了与图19相同的特定对象者A的眨眼波形模式模型和觉醒状态模式模型的情况下根据由眨眼种类识别部23识别的对象者A眨眼波形种类的识别结果而得到的固定时间区间内的各眨眼种类的发生频率的一例的图。

另外，图20的(b)是表示觉醒状态判断部26基于特征量数据生成部24根据上述的眨眼波形种类的识别结果而生成的第二特征量数据和存储在觉醒状态模式模型存储部25中的觉醒状态模式模型来判断对象者A的觉醒状态所得到的结果。

根据这些结果可知在作为眨眼波形数据使用眼电图(EOG)波形数据的情况和使用眼睛的动态图像的情况下，在图19的(b)和图20的(b)中示出的觉醒状态判断结果都再现了图9中的从根据实验时的生物体/生理数据的判断、考察、观察记录中推测出的对象者A的觉醒状态。

并且，示出觉醒状态判断结果判断比图9所示的从根据实验时的生物体/生理数据的判断、考察、观察记录中推测出的觉醒状态更详细的对象者A的觉醒状态的转移，能够快速地捕捉觉醒状态变化的前兆。

另一方面，图21的(a)是表示在眨眼波形数据是与眼睛的动态图像有关的数据、使用了不特定对象者的眨眼波形模式模型和觉醒状态模式模型的情况下根据由眨眼种类识别部23识别的对象者A的眨眼波形种类的识别结果而得到的固定时间区间内的各眨眼种类的发生频率的一例的图。

用于觉醒状态判断模型生成装置100生成该不特定对象者的眨眼波形模式模型而使用的学习数据是从四名对象者(对象者A、B、C、以及D)的眨眼波形数据(眼睛的动态图像)中提取出的第一特征量数据和这些四名对象者的眨眼波形识别信息数据。

另外，图21的(d)是表示觉醒状态判断部26基于特征量数据生成部24根据上述的眨眼波形种类的识别结果而生成的第二特征量数据和存储在觉醒状态模式模型存储部25中的不特定对象者的觉醒状态模式模型来判断对象者A的觉醒状态所得到的结果。

觉醒状态判断模型生成装置100使用与四名对象者(对象者A、B、C、以及D)有关的学习数据来生成该不特定的对象者的觉醒状态模式模型。

可知在使用了不特定对象者用的眨眼波形模式模型和觉醒状态模式模型的情况下，图21的(d)中示出的觉醒状态判断结果再现了表示从根据实验时的生物体/生理数据的判断、考察、观察记录而推测出的对象者A的觉醒状态的图21(b)。

因而，通过在眨眼波形模式模型和觉醒状态模式模型中使用不特定对象者用模型，不需要预先准备与每个对象者对应的专用模型就能够判断觉醒状态的转变。

在上述例子中，在眨眼波形模式模型和觉醒状态模式模型这两个模型中都使用了特定对象者模型或者不特定对象者模型，但是还可以是在一个模型中使用特定对象者模型、在另一个模型中使用不特定对象者模型的组合。

并且，在图21的(c)、图21的(d)、图22中示出将利用本发明的对象者的觉醒状态的判断结果与专利文献1的现有技术进行比较的情况下的例子。在作为比较对象的现有技术中，对多个特定种类的眨眼波形模式的发生频率设置规定的阈值指标来判断对象者的觉醒状态。

图21的(c)示出使用现有技术来判断对象者A的觉醒状态的例子。对象者A的眨眼波形数据是眼睛的动态图像。另外，使用上述的不特定对象者的眨眼波形模式模型作为眨眼波形模式模型。

通过对固定时间区间内的各眨眼种类的发生频率设置规定的阈值指标来进行觉醒状态的判断。

具体地说，规定阈值指标使得与从根据实验时的生物体/生理数据的判断、考察、观察记录中推测出的对象者A的觉醒状态即图21的(b)最接近。

其结果，21的(d)示出与利用本发明进行的对象者A的觉醒状态的判断结果即图21的(c)进行比较时有若干差异、但类似的结果。

图22的(a)是表示在眨眼波形数据是眼睛的动态图像、使用了不特定对象者的眨眼波形模式模型和觉醒状态模式模型的情况下根据由眨眼种类识别部23识别的对象者B的眨眼波形种类的识别结果而得到的固定时间区间内的各眨眼种类的发生频率的一例的图。

图22的(b)示出从根据实验时的生物体/生理数据的判断、考察、观察记录中推测出的对象者B的觉醒状态。

图22的(c)表示使用现有技术、使用对对象者A使用的阈值指标来判断对象者B的觉醒状态的例子。

图22的(d)表示利用本发明来判断对象者B的觉醒状态的例子。

在现有技术中，不仅存在觉醒状态信息数据中的高觉醒状态区间和低觉醒状态区间两者中分别误判断为低觉醒状态和高觉醒状态的情况，而且在睡意对抗状态区间中对睡意对抗状态的判断失败。

即，表示无法将对特定对象者所使用的阈值指标使用于其它对象者。

另一方面，在本发明中，在觉醒状态信息数据中的高觉醒状态区间内仅极短时间误判断为睡意对抗状态，在低觉醒状态区间内仅极短时间误判断为高觉醒状态。

另外，在睡意对抗状态区间的后半中判断为睡意对抗状态。这样，本发明的觉醒状态的判断结果与现有技术相比更接近觉醒状态信息数据。即，表示能够进行使用了不特定对象者用模型的判断。

另外，作为使用以HMM为代表的统计模式模型的识别的应用而已知有语音识别，但是在本发明的觉醒状态判断和语音识别中，作为对象的特征量在本质上不同。

具体地说，通常语音识别的识别对象是人发出的音素，作为音素之间的特征量的差由于发声人、发声状况的差异而即使是相同音素也分布比较宽，但是每个音素的特征量是离散的。

与此相对，由于眨眼数据是生理/生物体数据，因此成为识别对象的眨眼波形的变化从与对象者的觉醒状态的变化相应地从某种种类连续地变化到另外的种类，眨眼种类间的差在本质上是连续的。

在作为两者的识别对象的特征量中存在这种本质上的差，本发明的觉醒状态判断在以从与对象者的觉醒状态相应地连续的从某个种类向其它种类变化的眨眼波形作为对象、使用模式模型对固定时间区间内的各眨眼波形种类的发生频率进行识别这一点上与语音识别的模式识别存在本质上不同。

在上述第二实施方式中，眨眼数据获取部20与权利要求6所述的眨眼数据获取单元对应，存储在眨眼波形模式模型存储部21中的眨眼波形模式模型与权利要求6所述的第一模式模型对应，特征量数据提取部22与权利要求6所述的第一特征量数据提取单元对应，眨眼种类识别部23与权利要求6所述的眨眼波形识别单元对应，特征量数据生成部24与权利要求6所述的第二特征量数据生成单元对应，存储在觉醒状态模式模型存储部25中的觉醒状态模式模型与权利要求6所述的第二模式模型对应，觉醒状态判断部26与权利要求6所述的觉醒状态判定单元对应，警告部27与权利要求10所述的警告单元对应。

另外，在上述第二实施方式中，步骤S200与权利要求15或权利要求20所述的眨眼数据获取步骤对应，步骤S202与权利要求15或权利要求20所述的第一特征量数据提取步骤对应，步骤S204与权利要求15或权利要求20所述的眨眼波形识别步骤对应，步骤S300～S314与权利要求15或权利要求20所述的第二特征量数据生成步骤对应，步骤S400～S404与权利要求15或权利要求20所述的觉醒状态判断步骤对应。

此外，在上述第一实施方式中，对由HMM构成模式模型的例子进行了说明，但是并不限于此，也可以由SVM、神经网络等其它统计模型构成。

另外，在上述第一以及第二实施方式中，提取从眼睛的动态图像中切出的提取部分图像的每条线的亮度合计来作为第一特征量数据，但是并不限于此，也可以对眨眼图像数据进行傅立叶变换并提取其频率频谱成分作为特征量等提取其它特征量。

另外，在上述第二实施方式中，根据第二特征量数据判断对象者(驾驶员)的觉醒状态，但是并不限于此，也可以根据第二特征量数据判断对象者的紧张状态、疲劳状态等对象者的其它状态。

另外，在上述第一以及第二实施方式中，第二特征量数据仅由分析区间的系列中的特定种类的每个眨眼波形的发生比率、发生次数的时间变化构成，但是也可以进一步增加分析区间的系列中的眨眼次数的时间变化或者闭眼时间的累计值的时间变化等与觉醒状态有关的特征量。

产业上的可利用性

本发明除了被视为对觉醒状态的判断有效的特定种类的眨眼的发生频率、特定种类的眨眼的一连串的发生等规定时间内的特定种类眨眼的发生频率的变化以外，还能够根据与分析区间的系列中的各特定种类的眨眼的发生比率有关的数据来进行高精确度的觉醒状态的判断。

因此，能够判断成为完全瞌睡状态之前的向瞌睡状态转移的驾驶员的觉醒程度(状态)、对抗睡意的觉醒程度(状态)等。

因而，适合于以下技术领域：通过对要睡着的状态下的对象者提供警告音、光的闪烁等警告来预先防止事故发生。

并且，同样地，还能够根据与特定种类的眨眼的发生频率信息有关的数据来判断驾驶员的紧张状态、疲劳状态等，辅助驾驶员的驾驶。

权利要求书(按照条约第19条的修改)

基于条约第19条(1)修改时的声明

关于原权利要求1以及2的内容，考虑到根据国际检索报告的结果难以得到对新颖性以及创造性的肯定，因此通过修改删除权利要求1、2。

关于原权利要求19、20、21、22以及23，符合PCT第39.1(vi)，根据PCT第17条(a)(i)的规定，没有制作国际检索报告。

然而，这些原权利要求19、20、21、22以及23是与被国际报告的结果肯定了新颖性以及创造性的权利要求3、5、7、8以及10分别对应的程序权利要求，因此认为这些权利要求包括得到新颖性以及创造性的肯定的可能性比较高的内容。

因此，通过修改，将这些原权利要求中的独立形式的权利要求19、21以及22分别进行修改，将其表现明确为使用硬件资源具体地实现由软件进行的信息处理。

1.(删除)

2.(删除)

3.一种觉醒状态判断模型生成装置，生成判断对象者的觉醒状态的统计模型，其特征在于，具备：

学习数据存储单元，其存储第一特征量数据和眨眼波形识别信息数据，其中，上述第一特征量数据为从各对象者眨眼时的至少一只眼睛的眨眼数据中提取出的数据，上述眨眼波形识别信息数据为对上述眨眼数据的各眨眼赋予表示特定种类的眨眼波形的眨眼波形识别信息而得到的数据；

眨眼波形模式模型生成单元，其将存储在上述学习数据存储单元中的上述第一特征量数据和上述眨眼波形识别信息数据作为学习数据来学习统计模型，生成第一模式模型，该第一模式模型将上述第一特征量数据作为输入，将对于该第一特征量数据的眨眼波形识别信息的似然性作为输出；

特征量数据生成单元，其根据存储在上述学习数据存储单元中的上述眨眼波形识别信息数据来生成第二特征量数据，该第二特征量数据包含与分析区间中的每个上述特定种类的眨眼波形的发生比率有关的数据；以及

觉醒状态模式模型生成单元，其将上述第二特征量数据和觉醒状态信息数据作为学习数据来学习统计模型，生成第二模式模型，其中，上述第二特征量数据是由上述特征量数据生成单元生成的数据，上述觉醒状态信息数据是对上述分析区间的每个系列赋予表示上述各对象者的觉醒状态的觉醒状态信息而得到的数据，上述第二模式模型将上述第二特征量数据作为输入，将对于该第二特征量数据的觉醒状态信息的似然性作为输出。

4.根据权利要求3所述的觉醒状态判断模型生成装置，其特征在于，

上述眨眼数据是眼电图(EOG)波形的数据或者眼睛的动态图像。

5.根据权利要求3或4所述的觉醒状态判断模型生成装置，其特征在于，

与上述发生比率有关的数据是发生比率的时间变化或者发生次数的时间变化。

6.根据权利要求3至5中的任一项所述的觉醒状态判断模型生成装置，其特征在于，

上述统计模型是HMM(Hidden Markov Model)。

7.根据权利要求3至6中的任一项所述的觉醒状态判断模型生成装置，其特征在于，

上述觉醒状态判断模型生成装置还具备：

眨眼数据存储单元，其存储各上述对象者眨眼时的至少一只眼睛的上述眨眼数据；

特征量数据提取单元，其从眨眼数据中提取上述第一特征量数据，其中，从上述眨眼数据存储单元中获取该眨眼数据；

第一模式模型存储单元，其存储由上述眨眼波形模式模型生成单元生成的第一模式模型；

第二特征量数据存储单元，其存储由上述特征量数据生成单元生成的上述第二特征量数据；以及

第二模式模型存储单元，其存储由上述觉醒状态模式模型生成单元生成的第二模式模型。

8.一种觉醒状态判断装置，判断对象者的觉醒状态，其特征在于，具备：

眨眼数据获取单元，其获取上述对象者的眨眼时的至少一只眼睛的眨眼数据；

第一模式模型，其是由权利要求3至7中的任一项所述的觉醒状态判断模型生成装置生成的模式模型；

第一特征量数据提取单元，其从眨眼数据中提取与上述第一模式模型对应的第一特征量数据，其中，上述眨眼数据是由上述眨眼数据获取单元获取到的眨眼数据；

眨眼波形识别单元，其根据由上述第一特征量数据提取单元提取出的第一特征量数据和上述第一模式模型来识别与上述第一特征量数据对应的特定种类的眨眼波形；

第二特征量数据生成单元，其根据上述眨眼波形识别单元对于在分析区间的系列中获取到的上述对象者的眨眼数据的识别结果来生成第二特征量数据，该第二特征量数据包含与每个上述特定种类的眨眼波形的发生比率有关的数据；

第二模式模型，其是由权利要求1至5中的任一项所述的觉醒状态判断模型生成装置生成的模式模型；以及

觉醒状态判断单元，其根据由上述第二特征量数据生成单元生成的第二特征量数据和上述第二模式模型来判断上述对象者的觉醒状态。

9.根据权利要求8所述的觉醒状态判断装置，其特征在于，

上述眨眼数据是眼电图(EOG)波形的数据或者眼睛的动态图像。

10.根据权利要求6或7所述的觉醒状态判断装置，其特征在于，

与上述发生比率有关的数据是发生比率的时间变化或者发生次数的时间变化。

11.根据权利要求6至8中的任一项所述的觉醒状态判断装置，其特征在于，

上述第一模式模型和上述第二模式模型是HMM(HiddenMarkov Model)。

12.一种警告装置，其特征在于，具备：

权利要求8至11中的任一项所述的觉醒状态判断装置；以及

警告单元，其根据上述觉醒状态判断装置中的上述觉醒状态的判断结果来对上述对象者提供警告。

13.一种车辆，其特征在于，

具备权利要求12所述的警告装置。

14.一种觉醒状态判断模型生成方法，生成判断对象者的觉醒状态的统计模型，其特征在于，包括以下步骤：

学习数据存储步骤，存储第一特征量数据和眨眼波形识别信息数据，其中，上述第一特征量数据是从各对象者的眨眼时的至少一只眼睛的眨眼数据中提取出的数据，上述眨眼波形识别信息数据是对上述眨眼数据的各眨眼赋予表示特定种类的眨眼波形的眨眼波形识别信息而得到的数据；

眨眼波形模式模型生成步骤，将在上述学习数据存储步骤中存储的上述第一特征量数据和上述眨眼波形识别信息数据作为学习数据来学习统计模型，生成第一模式模型，该第一模式模型将上述第一特征量数据作为输入，将对于该第一特征量数据的眨眼波形识别信息的似然性作为输出；

特征量数据生成步骤，根据在上述学习数据存储步骤中存储的上述眨眼波形识别信息数据，生成第二特征量数据，该第二特征量数据包含与分析区间中的每个上述特定种类的眨眼波形的发生比率有关的数据；以及

觉醒状态模式模型生成步骤，将上述第二特征量数据和觉醒状态信息数据作为学习数据来学习统计模型，生成第二模式模型，其中，上述第二特征量数据是在上述特征量数据生成步骤中生成的数据，上述觉醒状态信息数据是对上述分析区间的每个系列赋予表示各上述对象者的觉醒状态的觉醒状态信息而得到的数据，上述第二模式模型将上述第二特征量数据作为输入，将对于该第二特征量数据的觉醒状态信息的似然性作为输出。

15.根据权利要求14所述的觉醒状态判断模型生成方法，其特征在于，

与上述发生比率有关的数据是发生比率的时间变化或者发生次数的时间变化。

16.根据权利要求14或15所述的觉醒状态判断模型生成方法，其特征在于，

上述觉醒状态判断模型生成方法还具备以下步骤：

眨眼数据存储步骤，将各上述对象者的眨眼时的至少一只眼睛的上述眨眼数据存储在眨眼数据存储单元中；

特征量数据提取步骤，从存储在上述眨眼数据存储单元中的眨眼数据中提取上述第一特征量数据；

第一模式模型存储步骤，存储在上述眨眼波形模式模型生成步骤中生成的第一模式模型；

第二特征量数据存储步骤，存储在上述特征量数据生成步骤中生成的上述第二特征量数据；以及

第二模式模型存储步骤，存储在上述觉醒状态模式模型生成步骤中生成的第二模式模型。

17.一种觉醒状态判断方法，判断对象者的觉醒状态，其特征在于，具备以下步骤：

眨眼数据获取步骤，获取上述各对象者的眨眼时的至少一只眼睛的眨眼数据；

第一特征量数据提取步骤，从在上述眨眼数据获取步骤中获取到的眨眼数据中提取与第一模式模型对应的第一特征量数据，其中，上述第一模式模型是通过权利要求14至16中的任一项所述的觉醒状态判断模型生成方法而生成的模式模型；

眨眼波形识别步骤，根据在上述第一特征量数据提取步骤中提取出的第一特征量数据和上述第一模式模型来识别与上述第一特征量数据对应的特定种类的眨眼波形；

第二特征量数据生成步骤，根据上述眨眼波形识别步骤对于在分析区间的系列中获取到的上述对象者的眨眼数据的识别结果来生成第二特征量数据，该第二特征量数据包含与每个上述特定种类的眨眼波形的发生比率有关的数据；以及

觉醒状态判断步骤，根据在上述第二特征量数据生成步骤中生成的第二特征量数据和第二模式模型来判断上述对象者的觉醒状态，其中，上述第二模式模型是通过权利要求14至16中的任一项所述的觉醒状态判断模型生成方法而生成的模式模型。

18.根据权利要求17所述的觉醒状态判断方法，其特征在于，

与上述发生比率有关的数据是发生比率的时间变化或者发生次数的时间变化。

19.(修改后)一种觉醒状态判断模型生成程序，生成判断对象者的觉醒状态的统计模型，其特征在于，使计算机作为如下单元发挥作用：

学习数据存储单元，其存储第一特征量数据和眨眼波形识别信息数据，其中，上述第一特征量数据是从各对象者的眨眼时的至少一只眼睛的眨眼数据中提取出的数据，上述眨眼波形识别信息数据是对上述眨眼数据的各眨眼赋予表示特定种类的眨眼波形的眨眼波形识别信息而得到的数据；

眨眼波形模式模型生成单元，其将存储在上述学习数据存储单元中的上述第一特征量数据和上述眨眼波形识别信息数据作为学习数据来学习统计模型，生成第一模式模型，该第一模式模型将上述第一特征量数据作为输入，将对于该第一特征量数据的眨眼波形识别信息的似然性作为输出；

特征量数据生成单元，其根据存储在上述学习数据存储单元中的上述眨眼波形识别信息数据来生成第二特征量数据，该第二特征量数据包含与分析区间中的每个上述特定种类的眨眼波形的发生比率有关的数据；以及

觉醒状态模式模型生成单元，将上述第二特征量数据和觉醒状态信息数据作为学习数据来学习统计模型，生成第二模式模型，其中，上述第二特征量数据是由上述特征量数据生成单元生成的数据，上述觉醒状态信息数据是对上述分析区间的每个系列赋予表示各上述对象者的觉醒状态的觉醒状态信息而得到的数据，上述第二模式模型将上述第二特征量数据作为输入，将该对于第二特征量数据的觉醒状态信息的似然性作为输出。

20.根据权利要求19所述的觉醒状态判断模型生成程序，其特征在于，

与上述发生比率有关的数据是发生比率的时间变化或者发生次数的时间变化。

21.(修改后)根据权利要求19或20所述的觉醒状态判断模型生成程序，其特征在于，

还使计算机作为如下单元发挥作用：

眨眼数据存储单元，其存储各上述对象者的眨眼时的至少一只眼睛的上述眨眼数据；

特征量数据提取单元，其从存储在上述眨眼数据存储单元中的眨眼数据中提取上述第一特征量数据；

第一模式模型存储单元，其存储由上述眨眼波形模式模型生成单元生成的第一模式模型；

第二特征量数据存储单元，其存储由上述特征量数据生成单元生成的上述第二特征量数据；以及

第二模式模型存储单元，其存储由上述觉醒状态模式模型生成单元生成的第二模式模型。

22.(修改后)一种觉醒状态判断程序，判断对象者的觉醒状态，其特征在于，使计算机作为如下单元发挥作用：

眨眼数据获取单元，其获取上述对象者的眨眼时的至少一只眼睛的眨眼数据；

第一特征量数据提取单元，其从由上述眨眼数据获取单元获取到的眨眼数据中提取与第一模式模型对应的第一特征量数据，其中，上述第一模式模型是通过权利要求19至21中的任一项所述的觉醒状态判断模型生成程序而生成的模式模型；

眨眼波形识别单元，其根据由上述第一特征量数据提取单元提取出的第一特征量数据和上述第一模式模型来识别与上述第一特征量数据对应的特定种类的眨眼波形；

第二特征量数据生成单元，根据上述眨眼波形识别单元对于在分析区间的系列中获取到的上述对象者的眨眼数据的识别结果来生成第二特征量数据，该第二特征量数据包含与每个上述特定种类的眨眼波形的发生比率有关的数据；以及

觉醒状态判断单元，根据由上述第二特征量数据生成单元生成的第二特征量数据和第二模式模型来判断上述对象者的觉醒状态，其中，上述第二模式模型是通过权利要求19至21中的任一项所述的觉醒状态判断模型生成程序而生成的模式模型。

23.根据权利要求22所述的觉醒状态判断程序，其特征在于，

与上述发生比率有关的数据是发生比率的时间变化或者发生次数的时间变化。