状态推算装置、状态推算方法和存储介质

摘要

本发明的目的在于提供能够更恰当地推算成为有可能对使用者的操作造成影响的状态的前兆的状态推算装置、状态推算方法和存储介质。本发明的状态推算装置包括：生物信息获取部，其用于获取使用者的生物信息；和前兆检测部，其使用将与规定的身体状况异常相关的所述生物信息的前兆数据作为示教数据进行了学习的学习完成模型，判断使用者的生物信息是否符合规定的身体状况异常的前兆，来检测前兆。

说明书

技术领域

本发明涉及状态推算装置、状态推算方法和存储有状态推算程序的存储介质。

背景技术

作为背景技术，有日本特开2018-127112号公报(下面称为专利文献1)。专利文献1中公开了，“[要解决的技术问题]提供一种清醒度推算装置，其能够高精度地推算存在自动驾驶模式和手动驾驶模式的车辆的驾驶员的清醒度。[用于解决技术问题的手段]车辆可在自动驾驶模式与手动驾驶模式之间切换，具有：检测车辆的驾驶信息的车辆行为检测部；从检测到的驾驶信息来识别驾驶员的第一清醒度的第一清醒度识别部；检测驾驶员的1个以上生物信息的生物信息检测部；从检测到的1个以上生物信息来识别驾驶员的第二清醒度的第二清醒度识别部；和从识别出的第一清醒度和第二清醒度中的至少一者来推算驾驶员的第三清醒度的清醒度推算部。清醒度推算部在手动驾驶模式下根据第一清醒度和第二清醒度来推算第三清醒度，在自动驾驶模式下根据第二清醒度来推算第三清醒度。”

现有技术文献

专利文献

专利文献1：日本特开2018-127112号公报

发明内容

发明要解决的技术问题

在专利文献1中，例如，仅在使用者已经感到困倦并且车辆的行为或驾驶操作发生了异常之后才能够推算清醒度。因此，本发明的目的是提供一种能够更恰当地推算成为有可能对使用者操作造成影响的状态的前兆的技术。

用于解决技术问题的手段

本发明包括用于解决上述技术问题中的至少一部分的多种方案，举例如下。为了解决上述技术问题，本发明的状态推算装置的特征在于，包括：生物信息获取部，其用于获取使用者的生物信息；和前兆检测部，其使用将与规定的身体状况异常相关的所述生物信息的前兆数据作为示教数据进行了学习的学习完成模型，判断所述使用者的生物信息是否符合所述规定的身体状况异常的前兆，来检测前兆。

发明效果

采用本申请发明，能够更恰当地推算成为有可能对使用者的动作造成影响的状态的前兆。上述以外的技术问题、方案和效果，通过下面的实施方式的说明将会变得明确。

附图说明

图1是表示应用了本发明的实施方式的状态推算装置的结构的例子的图。

图2是表示前兆模型存储部的数据结构例的图。

图3是表示生物信息存储部的数据结构例的图。

图4是表示示教数据存储部的数据结构例的图。

图5是表示示教数据学习比例存储部的数据结构例的图。

图6是表示控制器的功能构成例的图。

图7是表示前兆检测处理的流程的例子的图。

图8是表示清醒异常通知画面的例子的图。

图9是表示身体状况异常检测处理的流程的例子的图。

图10是表示示教数据生成处理的流程的例子的图。

图11是表示训练处理的流程的例子的图。

图12是表示模型更新处理的流程的例子的图。

图13是表示修正处理的流程的例子的图。

图14是表示应用了第二实施方式的状态推算装置的结构的例子的图。

图15是表示第三实施方式中的示教数据设定信息的例子的图。

附图标记说明

1……控制器，2……显示器，3……存储装置，4……声音输入输出装置，5……输入装置，10……生物信息获取装置，11……网络通信装置，12……状态检测装置，21……处理器，22……存储器，23……I/F，24……总线，41……麦克风，42……扬声器，51……触摸面板，52……拨盘开关，100……状态推算装置，200……前兆模型存储部，300……生物信息存储部，400……示教数据存储部，500……示教数据学习比例存储部。

具体实施方式

下面，参照附图对将本发明的状态推算装置100应用于车载装置的例子进行说明。但是，本发明并不限于车载装置，也可以应用于在对操作时需要小心的物体进行操作时使用的装置。作为装置的例子，例如为飞机、火车、轮船等移动体的驾驶、操作、登乘时使用的装置，或者铲车、起重机、挖掘机等重型机械。

图1～图14并没有表示出状态推算装置100的全部构成要素，为了容易理解，适当地省略了一部分构成要素。在用于对实施方式进行说明的所有附图中，对于相同的部件，原则上标注相同的附图标记，有时省略其重复说明。此外，在下面的实施方式中，除了特别明确表示的情况和在原理上可认为显然是必须的情况等以外，其构成要素(包括要素步骤等)不一定是必需的，这是不言而喻。

此外，当说到“由A构成”、“由A组成”、“具有A”、“包括A”时，除特别明确表示仅为该要素的情况等以外，并不是将其以外的要素排除在外，这是不言而喻的。同样地，在下面的实施方式中，当提及构成要素等的形状、位置关系等时，除了特别明确表示的情况和在原理上可认为显然并非如此的情况以外，也包含实质上与其形状等近似或类似的情况等。

此外，作为本发明的表述，“状态信息”基本上表示通过从外部视觉上观察使用者的人体而获得的信息，“身体状况异常”表示在通过从外部视觉上观察获得的状态而综合判断出的状态中，偏离预期的正常状态的状态。例如，“状态信息”包括“眨眼频率”、“打哈欠”、“视点移动量”、“身体摇动、倾斜”、“打鼾”、“僵直(无姿势变化)”、“痉挛”等所有可以通过客观观察生物体来量化的信息。

作为“身体状况异常”，包括“低清醒(包括困倦)”、“高清醒(包括异常的精神高昂等)”、“失去意识(包括癫痫、昏厥等不自主运动)”、“心脏病发作”、“自主神经失调(包括代谢紊乱等)”等有可能对操作或运动动作造成不良影响的全部综合性的身体状况异常。这样的各种生物状态或其信息，除了特别明确表示仅为该要素的情况等以外，并不是将其以外的要素排除在外，这是不言而喻的。

此外，“生物信息”表示通过从外部测量使用者的人体而获得的信息。例如，作为“生物信息”，包括脑波、脉波、血压、体温等。这样的各种生物信息，除了特别明确表示仅为该要素的情况等以外，并不是将其以外的要素排除在外，这是不言而喻的。

而且，通常，显而易见的是，当某种身体状况异常发作时，在此之前，生物信息会出现特征性的变化。例如，关于“低清醒(困倦)”，已知眨眼频率增加或哈欠增加是视觉上可观察到的症状，在事前(大概几十分钟前)，作为前兆，心率会降低。

此外，关于“癫痫”的发作，已知是脑波紊乱增加这一难以通过视觉观察到的身体状况异常，在事前(大概8分钟前)，作为前兆，心跳会紊乱(HRV：Heart Rate Variability(心率变异，RR间隔的以毫秒为单位的变化))。

即，如果能够根据生物信息来推算这样的身体状况异常发作之前的前兆，则能够在发作之前进行警告或采取各种对策。

图1是表示应用了本发明的实施方式的状态推算装置的结构的例子的图。可拆装地搭载在移动体上的状态推算装置100是能够获取生物信息和状态信息的信息处理装置。但是，作为本申请发明的对象的状态推算装置100并不限于图1所示的状态推算装置100。例如，也可以是组装在移动体或重型机械中的各种控制设备。

状态推算装置100包括控制器1、显示器2、存储装置3、声音输入输出装置4(包括作为声音输入装置的麦克风41和作为声音输出装置的扬声器42)、输入装置5、生物信息获取装置10、网络通信装置11和状态检测装置12。

控制器1是执行各种处理的中央单元。例如，基于从未图示的车速传感器、加速度传感器、GPS(Global Positioning System:全球定位系统)接收装置输出的信息来计算当前位置。基于所获得的当前位置的信息，从存储装置3读取显示所需要的地图数据等。

此外，控制器1将所读取的地图数据进行图形展开，在其上叠加表示当前位置的标记并显示在显示器2上。此外，使用存储在存储装置3中的地图数据等，搜索推荐路线，即连结当前位置或使用者指示的出发地与目的地(或经由地、顺路地)的最佳路线。另外，使用扬声器42、显示器2等对使用者进行引导。

状态推算装置100的控制器1是利用总线24将各器件间连接的结构。控制器1具有：处理器21，其用于执行数值运算和控制各器件的各种处理；存储器22，其用于存储从存储装置3读取的地图数据、运算数据等；I/F(接口)23，其用于将各种硬件与控制器1连接。

显示器2是显示由控制器1等生成的图形信息的单元。显示器2由液晶显示器、有机EL(Electro Luminescence：电致发光)显示器等构成。显示器2包括平视显示器、仪表板、中央控制台等。此外，也可以是显示器2经由通信将信息显示在智能手机(smart phone)等通信终端上。

存储装置3由HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态驱动器)、非易失性存储卡等至少可读写的存储介质构成。

该存储介质中存储有：通常的路线搜索装置所需要的作为基准的地图数据(包括构成地图上的道路的路段的路段数据和作为基准的路段成本)；前兆模型存储部200；生物信息存储部300；示教数据存储部400；和示教数据学习比例存储部500。

图2是表示前兆模型存储部200的数据结构例的图。前兆模型存储部200将身体状况异常名称201和前兆模型参数202对应地存储。身体状况异常名称201是用于确定作为使用者的检测对象的身体状况异常的信息，例如包括“低清醒(包括困倦)”、“高清醒(包括异常的精神高昂等)”、“失去意识(包括癫痫、昏厥等不自主运动)”、“心脏病发作”、“自主神经失调(包括代谢紊乱等)”等有可能对操作或驾驶造成不良影响的全部综合性的“身体状况异常”。

前兆模型参数202是将由生物信息获取装置10获取的种类的生物信息的变化的特征，按每种身体状况异常对前兆部分进行建模而得到的参数。在此，前兆模型是使用被称为深度学习的机器学习方法构成的被称为神经网络的学习完成模型，但是并不限于此。例如，也可以使用贝叶斯分类器、支持向量机的各种AI(人工智能)等来检测前兆。

图3是表示生物信息存储部300的数据结构例的图。生物信息存储部300将使用者ID 301、时刻(开始、结束)302、数据长度(记录时间、采样周期)303、检出身体状况异常304和生物信息305对应地存储。

使用者ID 301是用于确定使用者的信息。时刻(开始、结束)302是用于确定生物信息的记录开始时刻和结束时刻的信息。数据长度(记录时间、采样周期)303是用于确定从生物信息的记录开始到结束的时间和采样周期的信息。检出身体状况异常304是用于确定与生物信息建立了关联的身体状况异常的信息。生物信息305是将规定的生物信息的记录与用于确定该信息的生物信息ID建立关联而得到的信息。

图4是表示示教数据存储部400的数据结构例的图。示教数据存储部400将生物信息ID 401和标记(label(标签))402对应地存储。生物信息ID 401是用于确定生物信息的信息。如果由生物信息ID 401确定的生物信息是表示规定的身体状况异常的前兆的生物信息，则标记402是确定该身体状况异常的信息。在生物信息不是表示规定的身体状况异常的前兆的生物信息的情况下，即，在生物信息是没有身体状况异常的健康的生物信息的情况下，标记402为空(null)。

图5是表示示教数据学习比例存储部500的数据结构例的图。示教数据学习比例存储部500将身体状况异常名称501和带标记数据学习比例(标记/总数)502对应地存储。身体状况异常名称501是用于确定身体状况异常的信息。带标记数据学习比例(标记/总数)502是按由身体状况异常名称501确定的每种身体状况异常，表示用于前兆模型的机器学习的示教数据的细分比例的信息。

被赋予了标记的数据是发生了身体状况异常的情况下的该身体状况异常发生前的规定期间的生物信息数据，是与所发生的身体状况异常建立了关联的数据。没有被赋予标记的数据是在其后没有发生身体状况异常的情况下的规定期间的生物信息数据。例如，在用于构建“低清醒”的身体状况异常的前兆模型的示教数据的带标记数据学习比例(标记/总数)502为“1:2”的情况下，表示“低清醒”的带标记数据占用于学习的示教数据的总数的大致一半。

返回到图1进行说明。声音输入输出装置4包括作为声音输入装置的麦克风41和作为声音输出装置的扬声器42。麦克风41用于获取使用者或其它乘客发出的声音等状态推算装置100外部的声音。

扬声器42将由控制器1生成的给使用者的消息作为声音输出。麦克风41和扬声器42分别设置在移动体的规定的部位。但是，也可以是被收纳在一体的壳体中。状态推算装置100可以分别包括多个麦克风41和多个扬声器42。

也可以是状态推算装置100不包括麦克风41和扬声器42，而是从所连接的其它装置(例如，通过USB(Universal Serial Bus：通用串行总线)线缆等进行有线连接的智能手机等，通过Wifi、蓝牙(Bluetooth)(注册商标)等进行无线连接的智能手机等)的麦克风和扬声器输出声音。

输入装置5是通过使用者的操作来接收使用者的指示的装置。输入装置5由触摸面板51、拨盘开关52、作为其它硬开关(未图示)的滚动键、缩放比例键、检测使用者手势的手势传感器等构成。另外，输入装置5包括能够远程对状态推算装置100进行操作指示的遥控器。遥控器包括拨盘开关、滚动键、缩放比例键等，能够将操作了各键或开关的信息发送至状态推算装置100。

触摸面板51安装在显示器2的显示面侧，能够透视显示画面。触摸面板51能够确定与显示在显示器2上的图像的XY坐标对应的触摸位置，将触摸位置转换为坐标进行输出。触摸面板51由压敏式或静电式的输入检测元件等构成。也可以是触摸面板51能够实现能够同时检测多个触摸位置的多点触摸。

拨盘开关52构成为可顺时针和逆时针旋转，并且每旋转规定角度就生成脉冲信号并将其输出至控制器1。控制器1根据脉冲信号的数量求取旋转角度。

生物信息获取装置10是用于获取使用者的脉波等生物信息的装置。关于脉波信息的获取，例如，可以采用反射型脉波测定等光电脉波法，但是并不限于此，也可以采用透射型脉波测定、心音图法、心电图法等各种测定方法。

此外，作为生物信息获取装置10，例如可使用多普勒传感器、垫片(压电)传感器等与使用环境相应的恰当的传感器。生物信息获取装置10的硬件也可以是将传感器安装到智能手表、座椅、方向盘、立柱等上，经由蓝牙(Bluetooth)或USB线缆等无线或有线的通信路径发送至状态推算装置100。

网络通信装置11是将状态推算装置100连接到与未图示的移动体内的控制网络标准即CAN(Controller Area Network:控制器局域网)等对应的网络，与连接到网络的移动体内的其它控制装置即ECU(Electronic Control Unit:电子控制部)交换CAN消息等从而进行通信的装置。此外，网络通信装置11还能够将状态推算装置100连接到未图示的移动电话网络，并与连接到移动电话网络的其它装置进行通信。

状态检测装置12是用于从使用者的面部图像等获取规定的身体状况异常的发作状态的信息的装置。关于规定的身体状况异常的发作状态的信息的获取，状态检测装置12例如通过摄影等来获取面部等可从外部视觉观察的部位的图像信息，并对该图像进行解析而获取。例如，状态检测装置12检测眨眼频率、打哈欠、单位时间内闭眼时间比例(PERCLOSE)(睁眼时间比例)、微扫视(microsaccade)(眼球的不自主运动)、摇头等，判断所检测到的信息是否对应于“低清醒”的症状，检测“低清醒”的状态。作为由该状态检测装置12获取发作状态的信息的具体机制和算法，可采用现有技术。

图6是表示控制器1的功能构成的图。控制器1包括基本控制部111、输入接收部112、输出处理部113、生物信息获取部114、前兆检测部115、通知部116、状态检测部117、示教数据生成部118和前兆模型生成部119。

基本控制部111是执行各种处理的中心的功能部，与处理内容相应地控制其它的功能部(输入接收部112、输出处理部113、生物信息获取部114、前兆检测部115、通知部116、状态检测部117、示教数据生成部118和前兆模型生成部119)的动作。另外，基本控制部111还承担获取各种传感器、GPS接收装置等的信息，进行地图匹配处理等以确定当前位置的处理。

输入接收部112接收经由输入装置5或麦克风41输入的来自使用者的输入指示，并将其和与该输入指示相关的信息即触摸的坐标位置、声音信息等一起传送至基本控制部111，以执行与请求内容对应的处理。例如，当使用者请求了执行某个处理时，输入接收部112向基本控制部111请求所被请求的指示。即，可以说输入接收部112是通过使用者的操作来接收指示的指示接收部。

输出处理部113接收例如多边形信息等构成要显示的画面的信息，将其转换为用于在显示器2上进行描绘的信号，并指示显示器2进行描绘。

生物信息获取部114建立与生物信息获取装置10的通信，并进行连续通信或间歇通信，以获取作为由生物信息获取装置10获取的生物信息的脉波等信息，并将其与一定期间的历史信息一起保存在RAM 22或存储装置3中。

生物信息获取部114在获取的生物信息偏离规定范围的情况下，使通知部116发出通知，并删除该生物信息。从而，能够在早期发现由异常引起的使用者的病势严重性，并且能够避免异常数据混入示教数据而导致前兆的检测精度降低。

前兆检测部115使用将与规定的身体状况异常相关的生物信息的前兆数据作为示教数据进行了学习的学习完成模型(前兆模型)，判断由生物信息获取部114获取的生物信息是否对应于规定的身体状况异常的前兆，来检测前兆。

更具体而言，前兆检测部115当获取到生物信息时，对生物信息进行离群值的去除、数据的插补等来进行数据的整形，计算出规定的指标值(例如，间隔的频率分解、HRV等)。然后，前兆检测部115使作为学习完成模型的前兆模型检测身体状况异常的前兆，在检测到前兆的情况下，使通知部116通知检测到(检出)前兆。

通知部116从前兆检测部115等功能部接收指示，将规定的消息语句等进行声音输出或显示，输出警报声音，发送电子邮件，利用包含SNS(Social Network Service：社交网络服务)等的各种消息发送，从而利用所设定的规定方法对规定对象进行通知。或者，也可以是通知部116使使用者所使用的座椅的表面、靠背、扶手、方向盘等短促地振动来进行通知。

状态检测部117检测使用者的所述规定的身体状况异常的发作状态。状态检测部117获取由状态检测装置12从使用者的面部图像等获取的规定的身体状况异常的发作状态的信息。例如，状态检测部117检测“低清醒(包括困倦)”、“高清醒(包括异常的精神高昂等)”、“失去意识(包括癫痫、昏厥等不自主运动)”、“心脏病发作”、“自主神经失调(包括代谢紊乱等)”等有可能对操作或驾驶造成不良影响的全部综合性的身体状况异常。

在状态检测部117检测到发作状态的情况下，示教数据生成部118使用第一信息和第二信息来生成示教数据，其中，所述第一信息是对在即将到达所述发作状态之前的规定期间的使用者的生物信息赋予了标记的信息，所述第二信息是在没有检测到发作状态的规定期间的使用者的生物信息。示教数据生成部118以使第一信息和第二信息成为规定比例(希望为1:1)的方式生成示教数据。

此外，示教数据生成部118与身体状况异常相应地确定第一信息和第二信息各自的数据长度(记录期间、采样周期)。

另外，示教数据生成部118在接收到对前兆检测部115检测到的前兆表示异议的输入时，例如，在通知了“低清醒”的前兆之后接收到来自使用者的“不困”的输入时，在之后的规定期间内状态检测部117没有检测到发作状态的情况下，为了提高前兆的检测精度，生成将检测到该前兆时的生物信息作为第二信息的示教数据，其中，第二信息即不是异常状态时的生物信息。

前兆模型生成部119将由示教数据生成部118生成的示教数据用于机器学习，将学习完成模型生成为前兆模型。该前兆模型的生成处理本身是与现有的机器学习基本相同的处理。

上述的控制器1的各功能部，即基本控制部111、输入接收部112、输出处理部113、生物信息获取部114、前兆检测部115、通知部116、状态检测部117、示教数据生成部118和前兆模型生成部119，可通过由处理器21读取并执行规定程序来构建。为此，存储器22存储有用于实现各功能部的处理的程序。

上述的各构成要素是为了使得容易理解状态推算装置100的构成而与主要的处理内容相应地进行分类而得到的。因此，本申请发明不受构成要素的分类方法及其名称的限制。状态推算装置100的构成也可以是与处理内容相应地分类为更多的构成要素。此外，也可以是以1个构成要素执行更多的处理的方式进行分类。

也可以是各功能部由硬件(ASIC、GPU(Graphics Processing Unit：图形处理单元)、FPGA(Field-Programmable Gate Array:现场可编程门阵列)等PLD(ProgrammableLogic Device:可编程逻辑器件)构建。此外，各功能部的处理可以是由一个硬件执行，也可以是由多个硬件执行。此外，也可以是各功能部和存储装置3经由网络通信装置11将处理移交至外部的云服务器等，或者在外部的云服务器等中存储数据。

[动作说明]接下来，对与前兆检测处理相关的动作进行说明。图7是表示前兆检测处理的流程的例子的图。当状态推算装置100启动时，以规定的间隔(例如，每1秒一次、每5秒一次或每1分钟一次等规定的间隔)开始前兆检测处理。

首先，生物信息获取部114获取生物信息(步骤S001)。具体而言，生物信息获取部114与生物信息获取装置10建立通信，并进行连续通信或间歇通信，以获取作为由生物信息获取装置10获取的生物信息的脉波的信息，并将其与一定期间的历史信息一起保存在RAM22或存储装置3中。

然后，前兆检测部115计算生物信息的规定的指标值(步骤S002)。具体而言，前兆检测部115从生物信息获取部114获取生物信息，对生物信息进行离群值的去除、数据的插补等来进行数据的整形，计算出规定的指标值(例如，间隔的频率分解、HRV等)。

然后，前兆检测部115利用前兆模型来检测身体状况异常的前兆(步骤S003)。具体而言，前兆检测部115使用学习完成模型(前兆模型)，判断由生物信息获取部114获取的生物信息是否对应于规定的身体状况异常的前兆，来检测前兆，其中，所述学习完成模型(前兆模型)是按前兆模型存储部200的每个身体状况异常名称201将对应的生物信息的前兆数据作为示教数据进行学习而得到的。

然后，前兆检测部115判断是否检测到了前兆(步骤S004)。具体而言，前兆检测部115当从按每种身体状况异常的前兆模型检测到每种身体状况异常的前兆时，判断为检测到了前兆。但是，本发明并不限于此，也可以是根据某些身体状况异常的检测的组合是否满足规定条件来判断检测到了前兆。在没有检测到前兆的情况下(步骤S004中为“否”的情况下)，前兆检测部115使前兆检测处理结束。

在检测到了前兆的情况下(步骤S004中为“是”的情况下)，前兆检测部115利用通告、显示、警报声、邮件、消息等来进行通知(步骤S005)。具体而言，前兆检测部115使通知部116通知检测到前兆。

上面是前兆检测处理的流程的例子。采用前兆检测处理，能够更恰当地推算成为有可能对使用者操作造成影响的状态、即身体状况异常的前兆。

在上述的前兆检测处理中，是进行检测到前兆还是没有检测到前兆的二值判断，但是并不限定于此，也可以是使用前兆模型的似然度来分多个阶段进行判断。例如，也可以是分多个阶段来判断清醒程度。

图8是表示清醒异常通知画面的例子的图。清醒异常通知画面600是在前兆检测处理的步骤S005中输出的画面的例子。

清醒异常通知画面600包括所谓的导航画面，该导航画面包括以表示本车位置的标记601和表示预定行驶道路的推荐路线显示602为中心的周边地图。

该导航画面是当状态推算装置100启动时被启动的应用软件的画面。因此，并不限于导航画面，也可以是其它的应用软件的画面。例如，也可以是动画显示画面，也可以是用于音乐播放的操作画面、或者基本控制部111表示的状态推算装置100的菜单画面或设定画面等。

在清醒异常通知画面600中，显示用于显示消息的消息框603，而且输出相同内容的消息的声音604。希望该消息例如是“预计您有点困了。休息一下？”那样，包括检测到身体状况异常的前兆这一点、检测到前兆的身体状况异常、和应对该身体状况异常的发作的应对行动。

此外，该消息框603包括用于接收对所通知的内容输入异议的按钮。例如，在检测到困倦的前兆的清醒异常通知画面600的情况下，包括用于接收“不困”这一异议的输入的区域。

当对接收异议输入的区域进行了触摸输入时，在其后的规定期间没有发生与该前兆相关的身体状况异常的情况下，认为该前兆是误检测，可以实施对示教数据进行改变的后述的修正处理。

图9是表示身体状况异常检测处理的流程的例子的图。当状态推算装置100启动时，以规定的间隔(例如，每1秒一次、每5秒一次或每1分钟一次)开始身体状况异常检测处理。

首先，状态检测部117获取状态(面部图像)信息(步骤S101)。具体而言，状态检测部117与状态检测装置12建立通信，并进行连续通信或间歇通信，以获取作为由状态检测装置12获取的状态信息的面部图像的信息，并将其与一定期间的历史信息一起保存在RAM 22或存储装置3中。

然后，状态检测部117对状态(面部图像)信息进行整形(步骤S102)。具体而言，状态检测部117对状态信息进行噪声的去除、数据的插补等以进行图像的整形。

然后，状态检测部117判断是否符合某一身体状况异常(步骤S103)。具体而言，状态检测部117从状态检测装置12获取眨眼频率、打哈欠、单位时间内闭眼时间比例(睁眼时间比例)、微扫视(眼球的不自主运动)、摇头等，和是否对应于身体状况异常的症状的判断结果，判断是否符合某一身体状况异常。在不是身体状况异常的情况下(步骤S103中为“否”的情况下)，状态检测部117使身体状况异常检测处理结束。

在是身体状况异常的情况下(步骤S103中为“是”的情况下)，状态检测部117输出与身体状况异常相应的规定信号(步骤S104)。具体而言，状态检测部117将与身体状况异常的内容、即已发作的身体状况异常相应的信号，作为身体状况异常的检测信号输出至示教数据生成部118等。

上面是身体状况异常检测处理的流程。采用身体状况异常检测处理，能够使用从状态检测装置12获得的状态信息，将身体状况异常通知给示教数据生成部118。

图10是表示示教数据生成处理的流程的例子的图。当状态推算装置100启动时，以规定的间隔(例如，每1秒一次、每5秒一次或每1分钟一次等规定的间隔)开始示教数据生成处理。

首先，生物信息获取部114获取生物信息(步骤S201)。具体而言，生物信息获取部114与生物信息获取装置10建立通信，并进行连续通信或间歇通信，以获取作为由生物信息获取装置10获取的生物信息的脉波的信息，并将其与规定期间(例如，从处理时刻的40分钟前到处理时刻的期间)的历史信息一起保存在RAM 22或存储装置3中。

然后，前兆检测部115计算生物信息的规定的指标值(步骤S202)。具体而言，前兆检测部115从生物信息获取部114获取生物信息，对生物信息进行离群值的去除、数据的插补等来进行数据的整形，计算出规定的指标值(例如，间隔的频率分解、心率、HRV等)。

然后，示教数据生成部118判断所计算出的指标值是否偏离了标准范围(步骤S203)。例如，示教数据生成部118判断所计算出的指标值是否偏离正常的健康状态。

在计算出的指标值偏离标准范围的情况下(在步骤S203中为“是”的情况下)，生物信息获取部114废弃该生物信息，对通知部116发出指示以利用通告、显示、警报声、邮件、消息等来通知偏离了标准范围(步骤S204)。从而，能够防止存储装置3的存储容量被压缩，并且防止前兆的推算精度降低。

在计算出的指标值没有偏离标准范围的情况下(在步骤S203中为“否”的情况下)，示教数据生成部118判断构成示教数据所需要的生物信息量(示教数据长度)是否不足(步骤S205)。具体而言，示教数据生成部118判断在步骤S201中由生物信息获取部114保存的脉波的历史信息的数据长度是否比与身体状况异常相应的示教数据的数据长度(记录时间、采样周期)303短。在构成示教数据所需要的生物信息量(示教数据长度)不足的情况下(步骤S205中为“是”的情况下)，示教数据生成部118存储所获取的生物信息(步骤S2051)，使控制返回到步骤S201。该生物信息的存储位置例如是临时存储器(未图示)等。

在构成示教数据所需要的生物信息量(示教数据长度)不是不足的情况下(步骤S205中为“否”的情况下)，示教数据生成部118判断是否检测到身体状况异常的信号(步骤S206)。具体而言，示教数据生成部118判断是否从状态检测部117输出了身体状况异常的检测信号。在没有检测到的情况下(步骤S206中为“否”的情况下)，示教数据生成部118使控制前进到步骤S208。

在检测到身体状况异常的信号的情况下(步骤S206中为“是”的情况下)，示教数据生成部118将与身体状况异常相应的标记赋予生物信息的历史(步骤S207)。具体而言，示教数据生成部118从未图示的临时存储器读取生物信息，并且将标记与生物信息ID对应地保存。生物信息ID例如是生物信息的哈希值。示教数据生成部118通过与生物信息建立关联，来将与身体状况异常的信号相应的标记赋予示教数据。

然后，示教数据生成部118判断带标记数据学习比例是否小于规定值(步骤S208)。具体而言，示教数据生成部118参照与状态相应的身体状况异常的带标记数据学习比例(标记/总数)502，来判断是否小于例如45％(百分比)。在带标记数据学习比例小于规定值的情况下(步骤S208中为“是”的情况下)，示教数据生成部118使控制前进到步骤S210。

在带标记数据学习比例不小于规定值的情况下(步骤S208中为“否”的情况下)，示教数据生成部118从现有示教数据中删除具有相同标记的两个最早的数据(FIFO：先进先出(First In,First Out)方式)(步骤S209)。

例如，在示教数据的总数是100个，其中带标记数据是50个(50％)，并且带标记数据学习比例的阈值是45％的情况下，示教数据生成部118从带标记数据中删除两个最早的数据，使示教数据的总数为98个，使其中的带标记数据为48个。

然后，示教数据生成部118将规定期间的生物信息的历史与标记一起存储为示教数据(步骤S210)。具体而言，示教数据生成部118切出由步骤S201获取的生物信息中的示教数据所需要的数据长度的生物信息，求取该生物信息的哈希值作为生物信息ID，如果该生物信息被赋予了标记信息则带着标记信息，作为1个数据存储在示教数据存储部400中。

然后，示教数据生成部118重新计算带标记数据学习比例。例如，在被赋予了标记的示教数据被作为1个数据追加存储了的情况下，示教数据的总数成为99个，其中带标记数据成为49个，带标记数据学习比例成为49/99＝约49.4％。示教数据生成部118将其存储在示教数据学习比例存储部500中。

上面是示教数据生成处理的流程的例子。采用示教数据生成处理，在获取了新的生物信息的情况下，能够生成以规定比例(大致1:1)包括带标记(被赋予了标记)的生物信息、即成为发生身体状况异常时的前兆的生物信息和不是发生身体状况异常时的生物信息的示教数据。

此外，采用身体状况异常检测处理和示教数据生成处理，能够使用作为与生物信息获取装置不同的传感器的状态检测装置来检测身体状况异常的发生，生成对生物信息进行了标记的示教数据，能够使用对其进行了机器学习的学习完成模型，来检测仅根据生物信息难以判断的前兆。

示教数据生成处理可以实时地执行，但是并不限于此，例如也可以在状态推算装置100的结束处理时集中地进行批处理。

图11是表示训练处理的流程的例子的图。训练处理在状态推算装置100启动时开始。或者，也可以是训练处理在状态推算装置100的处理负荷成为规定值以下的时刻等不定期地实施。

首先，前兆模型生成部119对已经生成的示教数据分别计算生物信息的指标值(步骤S301)。更具体而言，前兆模型生成部119利用规定方法从示教数据中提取生物信息，对生物信息进行离群值的去除、数据的插补等来进行数据的整形，计算出规定的指标值(例如，间隔的频率分解、HRV等)。

然后，前兆模型生成部119利用生物信息的指标值来进行前兆模型的训练。具体而言，前兆模型生成部119使用作为训练对象的现有的前兆模型，使前兆检测部115推算在步骤S301中提取的生物信息的解(例如，具有前兆的身体状况异常)，获得推算出的解。例如，前兆模型生成部119将在步骤S301中提取的生物信息的指标值输入到前兆模型中(步骤S302)。所输入的生物信息以前兆模型的内部参数传播，前兆模型输出推算结果。例如，在前兆模型输出“0.8”作为推算结果并且赋予示教数据的生物信息的标记为“1”的情况下，前兆模型的推算结果与实际的标记之差为“1-0.8”即“0.2”。在前兆模型的推算结果与实际的标记之差小于规定值的情况下(步骤S303中为“否”的情况下)，前兆模型生成部119不改变前兆模型的内部参数而使训练处理结束。

在前兆模型的推算结果与实际的标记之差为规定值以上的情况下(步骤S303中为“是”的情况下)，前兆模型生成部119改变前兆模型的内部参数(步骤S304)。例如，前兆模型生成部119可以使用误差反向传播法来改变前兆模型的内部参数。根据需要，前兆模型生成部119也可以选择与用于生成前兆模型的生物信息相同类型但不用于生成模型的生物信息，并将其输入到前兆模型中，基于前兆模型输出的推算结果与实际被赋予的标记之差，来改变前兆模型的内部参数。将在这样输入某个生物信息来改变前兆模型的内部参数之后，输入不是该生物信息的其它生物信息来改变前兆模型的内部参数的过程，称为循环。循环的次数可根据学习数据的大小和模型的构成适当地改变。

接下来说明模型更新处理。图12是表示模型更新处理的流程的例子的图。模型更新处理的目的是从进行多次训练处理而生成的多个模型中选择恰当的模型。模型更新处理在状态推算装置100启动时开始。或者，也可以是在进行了训练处理后接着开始。

首先，前兆模型生成部119基于存储在前兆模型存储部200中的数据来判断是否存储了多个模型(步骤S311)。当在前兆模型存储部200中没有存储多个前兆模型的情况下(步骤S311中为“否”的情况下)，前兆模型生成部119使模型更新处理结束。

当在前兆模型存储部200中存储有多个前兆模型的情况下(在步骤S311中为“是”的情况下)，前兆模型生成部119将基于生物信息的指标值分别输入到多个前兆模型中(步骤S312)。在该处理中，输入到各前兆模型中的指标值是相同的数据。输入到前兆模型中的生物信息是已经存储的示教数据，并且是没用于各前兆模型的训练的数据。

然后，前兆模型生成部119计算输入了相同数据的多个前兆模型各自的精度，并将它们进行比较(步骤S313)。作为该精度比较的计算方法，例如有使用正确答案率的方法和使用再现率的方法，可以采用任一方法。

然后，设定前兆检测部115，使得前兆检测部115使用在步骤S313中被判断为精度更高的前兆模型来进行前兆检测处理(步骤S314)。

上面是训练处理和模型更新处理的流程的例子。采用训练处理和模型更新处理，在获取了新的生物信息的情况下，能够使用包括被赋予了标记的生物信息的示教数据，来生成能够以更高的精度推算前兆的前兆模型。训练处理除了上述的时刻以外，也可以实时地执行，或者也可以在状态推算装置100的结束处理时集中地进行批处理。

图13是表示修正处理的流程的例子的图。当在步骤S004中判断为“是”时，开始修正处理。

首先，示教数据生成部118接收对于前兆检测的异议输入(步骤S401)。具体而言，示教数据生成部118当在前兆检测处理的步骤S005中输出了清醒异常通知画面600的情况下，接收对接收“不困”这一异议的输入的区域的触摸输入。

然后，示教数据生成部118判断在规定期间内是否发生了身体状况异常(步骤S402)。具体而言，在步骤S401中接受了异议输入之后，示教数据生成部118开始规定期间的计时。在计时期间，监视在身体状况异常检测处理中是否输出了与身体状况异常相应的规定信号。

当在规定期间内发生了身体状况异常的情况下(步骤S402中为“是”的情况下)，示教数据生成部118使修正处理结束。这是因为异议是不正确的，是应该检测到身体状况异常的症状的状况，不需要改变前兆模型。

当在规定期间内没有发生身体状况异常的情况下(步骤S402中为“否”的情况下)，示教数据生成部118将检测到前兆的生物信息改变为不赋予标记的示教数据，来生成示教数据(步骤S403)。这是因为异议是正确的，不是应该检测到身体状况异常的症状的状况，需要根据个性(具体情况)来调整前兆模型。

上面是修正处理的流程的例子。采用该修正处理，能够修正为适合于使用者的模型，对于用于应对因使用者不同而存在基于体质等的个体差异的生物信息的前兆模型，能够从通用的模型进行个性化，能够提高前兆的检测精度。

上面是应用了本发明的实施方式的状态推算装置100。采用状态推算装置100，能够更恰当地推算成为有可能对使用者的动作造成影响的状态的前兆。

但是，本发明并不限于上述的实施方式。上述的实施方式在本发明的技术思想的范围内可以进行各种变形。例如，上述的实施方式进行前兆检测处理、身体状况异常检测处理、示教数据生成处理、训练处理、模型更新处理和修正处理，但是并不限于此。可以单独实施任一个处理，或者可以组合任一个处理来实施。

图14是表示应用了第二实施方式的状态推算装置的结构的例子的图。应用了第二实施方式的状态推算装置100'与应用了上述实施方式的状态推算装置100基本相同，但是存在一部分差异。以该差异为中心进行说明。

应用了第二实施方式的状态推算装置100'不包括状态检测装置12。此外，与此相伴，存储装置3不具有示教数据存储部400和示教数据学习比例存储部500。控制器1进行前兆检测处理，但是不进行身体状况异常检测处理、示教数据生成处理、训练处理、模型更新处理和修正处理。

即，不基于前兆模型的实际数据进行重新学习，使用学习完成的前兆模型从所获取的生物信息中检测前兆。从而，能够抑制硬件成本、软件成本等各种成本，来恰当地推算成为有可能对使用者的动作造成影响的状态的前兆。

图15是表示第三实施方式中的示教数据设定信息的例子的图。应用了第三实施方式的状态推算装置，为了同时对多个身体状况异常实现更高精度的前兆检测，以更高的精度检测状态，以更高的精度生成示教数据和前兆模型，

为了实现上述的目的，示教数据设定信息900按每个身体状况异常名称901分别设定要使用的状态检测装置902、生物信息获取装置903和示教数据使用部位904。具体而言，示教数据使用部位904是以身体状况异常检出时刻和从其开始追溯规定时间的时刻为基准而确定的期间。例如，对于“低清醒(困倦)”是“检出前30分钟内，除检出前5分钟以外的期间”，对于“癫痫”是“检出前8分钟的前后4分钟的期间”。示教数据设定信息900存储在存储装置3中，控制器1的状态检测部117参照状态检测装置902按每种身体状况异常确定要使用的状态检测装置，生物信息获取部114参照生物信息获取装置903按每种身体状况异常确定要使用的生物信息获取装置。

然后，前兆检测部115与获取的生物信息相应地，使1个或多个前兆模型并行地运行，使用对多种身体状况异常分别进行了学习的多个学习完成模型来检测前兆。从而，能够与各个身体状况异常相应地进行最佳的前兆检测，能够进行更高精度的前兆检测。

此外，示教数据生成部118参照示教数据使用部位904按每种身体状况异常确定要使用的生物信息的部位。从而，能够同时对多种身体状况异常使用更适合于身体状况异常的信息，能够进行更高精度的前兆检测。

此外，在上述的各实施方式中，在没有检测到身体状况异常的信号的情况下，作为没有对示教数据赋予的标记的情况来处理，但是并不限于此，也可以是赋予不是身体状况异常的标记。例如，对于上述的标记402，在生物信息不是表示规定的身体状况异常的前兆的情况下，即，也可以认为是没有身体状况异常的健康的生物信息，因此，可以对标记402设定虚拟变量。具体而言，虚拟变量用“0”和“1”表示两个状态，在表示身体状况异常的前兆的情况下使用虚拟变量“1”，在不是表示身体状况异常的前兆的情况下使用虚拟变量“0”。

在这样对标记402使用虚拟变量的情况下，例如，在修正处理的步骤S402中为“是”的情况下(当在规定期间内发生了身体状况异常的情况下)，示教数据生成部118对标记402赋予虚拟变量“1”，使修正处理结束。

此外，当在修正处理的步骤S402中为“否”的情况下(当在规定期间内没有发生身体状况异常的情况下)，在步骤S403中，示教数据生成部118将检测到前兆的生物信息改变为对标记赋予了虚拟变量“0”的示教数据，来生成示教数据。

通过如上所述，在不是身体状况异常的情况下也对示教数据赋予表示该意思的标记数据，能够防止由于缺少标记数据而导致无法预料的学习结果。