交互型家电系统、服务器装置、交互型家电设备、用于家电系统进行交互的方法、对用于使计算机实现该方法的程序进行保存的非易失性的计算机可读取数据记录介质

摘要

本发明提供一种能够缓解用户的压力或疲劳的家电系统。交互型的家电系统(20)具备：发声部(21)；用于受理针对声音的回答的输入的声音输入部(22)；对用于基于与发声者的会话来判定压力或者疲劳的判定基准、用于输出减少压力或者疲劳的声音的数据进行保存的存储部(24)；用于基于判定基准和回答，来判断该发声者的压力或者疲劳的判断部(23)；和进行用于支援发声者的生活的动作的驱动机构(25)，发声部(21)构成为输出基于判断的结果和数据的发声。

说明书

技术领域

本公开涉及可识别声音的家电设备，更特定地涉及可交互的家电设备。

背景技术

作为压力或精神疲劳的减少、或者抑郁症等精神疾病的改善手法之一，已知一种认知行为疗法。认知行为疗法被定义为“依靠认知来使心情轻松的精神疗法(心理疗法)的一种”(例如，参照非专利文献1)。该认知行为疗法是不依靠物理/化学手段、而主要通过基于语言的启示或交互来改善症状的方法。

在英国，由英国国立医疗技术评价机构(National Institute for Health andClinical Excellence)，以用于抑制抑郁/不安的被计算机化的认知行为疗法治疗(Computerised cognitive behavior therapy for depression and anxiety：http：//publications.nice.org.uk/computerised-cognitive-behaviour-therapy-for-depression-and-anxiety-ta97/guidance)这一标题，表示了使用计算机的认知行为疗法的导引，其中也记载了其效果。

此外，由英国的Beating the Blues公司(http：//www.beatingtheblues.co.uk/)，实现了实质上使用计算机的线上的认知行为疗法，其效果也被记载于前面的指南。

另一方面，在日本国内，作为轻度的抑郁症的简易筛选，作为仅回答简单的调查问卷的筛选，例如SRQ-D东邦大式的检查被应用于自治体和医院等(例如，参照专利文献2)。其是通过对于例如问题1：身体容易疲倦疲劳吗？、问题2：注意到噪声吗？等18个问题，从“从不”、“有时”、“经常”、“一直”这4种回答进行选择，来简单地诊断抑郁症的嫌疑。

已知这种通过简单的语言性的调查问卷来进行简易的诊断，此外，通过使用了计算机的线上的交互来缓解其症状。

对此，日本特开2003-108674号公报(专利文献1)公开了一种进行使用个人计算机的心里咨询(counseling)的系统。此外，日本特开2013-109656号公报(专利文献2)公开了一种即使利用者未有意识地受到检查，也根据利用者向通常利用的计算机的文章输入来判断为具有压力的状态的装置。

另一方面，与压力或疲劳减少不同地，例如存在通过声音来进行交互的家电。例如，从夏普公司销售的机器人吸尘器(RX-V200)搭载有进行声音识别和声音合成并与使用者之间进行会话的功能(非专利文献3)。

在先技术文献

专利文献

专利文献1：日本特开2003-108674号公报

专利文献2：日本特开2013-109656号公报

非专利文献

非专利文献1：独立行政法人国立精神/神经医疗研究中心认知行为疗法中心主页(http：//www.ncnp.go.jp/cbt/about.html)

非专利文献2：成增厚生医院主页(http：//narimasukosei-hospital.jp/check/utsu/index.php)

非专利文献3：夏普株式会社主页(http：//www.sharp.co.jp/cocorob o/product/v200/)

发明内容

-发明要解决的课题-

已经进行了在机器人吸尘器搭载有通过声音识别来与设备控制(打扫的开始、停止等)进行会话(天气预报、菜单提出、问候等)的功能的实验。具体来讲，进行了12名被检者使用该机器人吸尘器2个月的实验。根据该事件结果可知，相对于与该机器人吸尘器的发声整体，用于进行打扫功能的控制的会话(作为用户的被检者的发声)保留在20％以下，发声的大半是：被检者表明感情或状态的发声、询问天气等其他的信息的发声、用于得到地理或动植物的名称等知识的发声、将表示对于设备网络服务中揭示的内容的共感的所谓“好啊”这样的反馈赋予给该内容的发声、向机器人吸尘器的问候、用于谜语等其他游戏的发声等。

换句话说，可知在具有支持日常生活中的活动(以下，称为家务)的功能的装置(所谓家电设备)中，在使用语言信息来进行功能的实施的指示的情况下，不仅该指示，还会自然进行除此以外的问候、天气预报等其他的信息获取、感情的交互(累了、开心等)等。

另一方面，由于社会环境的变化等，需要精神支持的人正在增加，但能够提供支持的人的供给并没有跟上。因此，需要一种用于提供精神支持的技术。

本公开为了解决上述的问题点而作出，某个方面的目的在于，提供一种如下的交互型家电系统或者交互型家电设备：在具有支持家务的功能的装置中，具有能够通过语言信息来进行指示的功能，并且通过语言信息，进行减少使用者的疲劳或压力等其他的精神负担的支持。其他方面的目的在于，提供一种通过语言信息，进行减少使用者的疲劳或压力等其他精神负担的支持的服务器装置。

其他方面的目的在于，提供一种具有支持家务的功能的装置通过语言信息来接受指示，并且通过语言信息，进行减少使用者的疲劳或压力等其他精神负担的支持的方法。进一步其他方面的目的在于，提供一种用于使计算机执行该方法的程序。

-解决课题的手段-

根据一实施方式的交互型家电系统具备：声音输出部，其用于输出声音；声音输入部，其构成为受理声音的输入；判定基准存储部，其构成为保存基于与发声者的会话来判定压力或者疲劳的判定基准；交互数据存储部，其构成为保存用于输出减少压力或者疲劳的声音的数据；和判断部，其构成为基于判定基准和发声者的响应，判断该发声者的压力或者疲劳。声音输出部构成为输出基于判断的结果和数据的发声。

在根据某个方面的一实施例中，通过用户与家电设备进行交互，能够减少该用户的疲劳或压力。

该发明的上述以及其他目的、特征、方面以及优点根据与添加的附图相关联地理解的涉及本发明的接下来的详细说明变得更加清楚明了。

附图说明

图1是表示本实施方式所涉及的交互型的家电系统20的结构的图。

图2是表示使用了交互型的家电系统20的方面的图。

图3是表示构成家电系统20的服务器与家电设备的详细结构的框图。

图4是表示家电系统20中的处理的一部分的流程图。

图5是表示构成家电系统20的家电设备350与服务器310所执行的处理的一部分的流程图。

图6是表示家电系统20中为了理解针对家电设备350的发声的意思而服务器310所执行的处理的一部分的流程图。

图7是表示用于实现信息处理通信装置的计算机700的硬件的框图。

图8是表示吸尘器机器人211、221的硬件结构的框图。

图9是表示作为服务器310而起作用的计算机700所执行的声音识别处理的一个例子的流程图。

图10是表示服务器310中的数据库的构造的一方式的图。

图11是表示服务器310在诊断模式时执行的处理的一个例子的流程图。

图12是示意性地表示硬盘5中用于诊断的数据的保存的一方式的图。

图13是表示CPU1所执行的诊断模式处理的一个例子的流程图。

图14是示意性地表示硬盘5中数据的保存的一方式的图。

图15是示意性地表示硬盘5中数据的保存的一方式的图。

图16是表示电视机215与用户交互的方面的图。

具体实施方式

以下，参照附图来对本发明的实施方式进行说明。在以下的说明中，对同一部件付与同一符号。其名称以及功能也相同。因此，不重复其详细的说明。

[技术思想]

参照图1来对本实施方式的技术思想进行说明。图1是表示本实施方式所涉及的交互型的家电系统20的结构的图。家电系统20具备：发声部21、声音输入部22、存储部24、驱动机构25、通信部26。控制部27包含判断部23。控制部家电系统20能够与一人以上的用户10、11、12等进行交互。

在以下的说明中，家电系统20能够通过进行日常支持的设备来实现。在某个方面，该设备能够包含：被称为所谓的“家电设备”的可私人使用的家庭用电气机械器具、业务上使用的办公设备。家电设备例如能够包含：吸尘器、冰箱、空调设备(以下称做空调)、电视机、照明、血压计、电饭煲、电磁烹调器、洗脸台、体重计、家用天象仪等其他的器具。

此外，本实施方式中的设备并不仅限于在室内使用，也能够包含如汽车、自行车、两轮摩托车、电动椅等那样在室外使用的设备。办公设备例如能够包含如复印机、传真装置、碎纸机、电话会议系统、电视会议那样能够由运营商使用的器具。

例如，在某个方面，家电系统20经由发声部21来输出声音(第1发声)。用户11响应其声音并回答。声音输入部22受理基于用户11的回答的输入。

声音输入部22将该回答转换为声音信号。通信部26能够与互联网30连接，并与信息通信终端40进行通信。通信的方式并不被特别限定。控制部27对家电系统20的动作进行控制。在控制部27中，判断部23基于该信号和保存于存储部24的数据，判断用户11的心理状态。该判断例如是基于预先保存于存储部24的数据而进行的。在其他方面，判断部23经由通信部26来与互联网30连接并与信息通信终端40进行通信，信息通信终端40也可以进行该判断。

判断部23将基于其判断的结果的信号发送给发声部21。发声部21基于该信号来输出声音(第2发声)。若用户11听到由家电系统20输出的声音(第2发声)，则也能够根据其内容而心理状态稳定。

在某个方面，家电系统20能够被实现为一个以上的家电设备。在其他方面，家电系统20能够通过家电设备和能够与该家电设备进行通信的服务器来实现。

用户10、11、12的鉴定例如能够使用分配给每个用户的专用开关的操作、脸部图像、指纹或者声纹等其他生物体信息来进行。另外，鉴定的精度不需要为100％，例如在4人家庭成员中，是能够知道用户是谁的程度即可。另一方面，在其它方面，也可以使用要求100％的精度的认证技术。例如，在有多名入院患者的医院等其他医疗设施、或者在有多名入住者的福利设施中，也可以使用100％的认证技术。或者，在又一方面，鉴定的精度也可以是可变的。

作为用于判断用户的精神状态的数据，例如，能够使用与家电设备的会话的内容(声音识别结果)、声音(声音的频率分析结果)、拍摄的用户的脸部图像、用户的发汗量、用户的体温、用户的呼吸等。关于会话，能够根据回答内容来推断精神状态。关于脸部图像，例如若用户的脸部变红，则能够推断为该用户是兴奋的状态。关于发汗量，若其量超过预先规定的量，则能够推断为该用户处于兴奋状态。关于呼吸，若用户的呼吸变得比通常的呼吸次数快，则能够推断为该用户处于兴奋状态。

或者，作为又一实施方式，也可以根据用户的声音的音调的高低，来推断用户的精神状态。例如，在声音的音调比通常低的情况下，能够推断为该用户处于比平常状态疲惫的状态。相反地，在声音的音调比通常高的情况下，能够推断为该用户处于兴奋状态。

[家电系统的使用方式]

参照图2来对本实施方式的技术思想进一步进行说明。图2是表示使用交互型的家电系统20的方面的图。在某个方面，家电系统20被实现为家电设备的一方式即吸尘器机器人211、221。

在本人的家210中，吸尘器机器人211经由路由器212，与冰箱213、照明214、电视机215和空调216分别可通信地连接。冰箱213、照明214、电视机215和空调216分别具备网络功能，基于从吸尘器机器人211发送的信号来执行固有的动作。该固有的动作例如能够包含：显示冰箱213的内装物的处理、调节照明214的亮度的处理、调节电视机215的频道或者音量的处理、和空调216的温度的调节等。

家210与互联网30连接。互联网30进一步分别与他人的家220、医疗机关服务器230、自治体服务器240、运营商服务器250、智能电话260、270、汽车280可通信地连接。

他人的家220例如是家210的居住者的亲戚的家。家220中存在吸尘器机器人221。吸尘器机器人221经由路由器222，分别与冰箱223、照明224、电视机225和空调226可通信地连接。冰箱223、照明224、电视机225和空调226分别具有与冰箱213、照明214、电视机215和空调216同样的功能。因此，不重复其详细的说明。

医疗机关服务器230例如被本人或者亲戚所看的医院等其他医疗机关使用。自治体服务器240被本人或者亲戚居住的自治体使用。运营商服务器250被用于向吸尘器机器人211、221分别发送送息的信息提供运营商运营并使用。医疗机关服务器230、自治体服务器240和运营商服务器250分别通过例如具有公知的结构的计算机装置而实现。

智能电话260、270作为信息处理通信终端，被向本人的家庭成员或者本人提供医疗服务的事件者的成员使用。另外，信息处理通信终端并不局限于智能电话，也可以平板终端、PDA(Personal Digital Assistant，个人数字助理)等其他终端被家庭成员或者运营商的成员使用。智能电话260、270的结构是本领域的技术人员能够容易理解的。因此，不重复该结构的说明。

汽车280具备网络通信功能，能够被吸尘器机器人211、221等其他具有通信功能的设备控制。

(场景的示例)

以下，对本实施方式中能够假定的场景进行说明。在以下的各场景中，作为家电设备的一个例子，使用了吸尘器机器人211，但本实施方式的技术思想的应用对象并不局限于吸尘器机器人211。该技术思想能够应用于例如冰箱213、照明214、电视机215、空调216、汽车280等其他设备、即至少具备声音识别功能和信息处理功能的设备。

(场景1)＜第1实施方式＞

作为第1实施方式，具有交互功能的家电设备能够基于来自用户的会话，进行担心该用户的发声。例如，用户回到家210。用户发出“我回来了”的声音。若吸尘器机器人211识别出其发声，则基于预先登录的声音信息，检测该用户是吸尘器机器人211中已经登录的用户。吸尘器机器人211发出所保持的回答“欢迎回家”，作为预先准备的信息。然后，若用户发出“请打扫”的声音，则吸尘器机器人211回答“知道了”，并开始打扫功能的执行。吸尘器机器人211根据预先规定的程序而行驶，打扫起居室等其他居室。

若预定的条件成立，则吸尘器机器人211询问“最近，是不是累了？”。这里，预定的条件例如能够包含：从用户最后的发声起经过了预先规定的时间、检测到与吸尘器机器人211交互的用户是预先登录的用户等。在其他方面，也可以基于在吸尘器机器人211中产生的随机数，随机地进行询问的发声。

用户响应于该询问，对吸尘器机器人211回答“是的。因为工作忙。”。若吸尘器机器人211识别该回答，则在吸尘器机器人211的内部进行该用户的诊断并获取诊断结果。或者，在其他方面，吸尘器机器人211向与互联网30连接的运营商服务器250发送该回答的声音信号。运营商服务器250基于该声音信号来进行诊断，并将诊断结果返回到吸尘器机器人211。

若吸尘器机器人211获取到诊断结果，则发出“不要勉强哟。”的声音。用户响应于该发声并回答“好好，谢谢。”。若吸尘器机器人211识别到该回答，则回答“别客气”。

通过这样的交互，若用户识别到被吸尘器机器人211担心，则用户的压力或疲劳可能被缓解。

(场景2)＜第2实施方式＞

作为第2实施方式，吸尘器机器人211能够参照与用户的交互履历，进行担心该用户的发声。

吸尘器机器人211参照与声音识别出的用户的交互履历，识别用户正在进行忙碌的生活。该交互履历例如能够包含：进行发声的时间段、发声的内容等。吸尘器机器人211发出“最近是不是累了？”的声音。用户识别该发声并回答“是的。因为工作很忙。”。若吸尘器机器人211识别出该回答，则进行用户的诊断。如上所述，该诊断能够在吸尘器机器人211的内部、或者能够从吸尘器机器人211接收声音信号的外部的服务器装置(例如，运营商服务器250)进行。

若吸尘器机器人211检测到该用户在最近的两周，比该用户以前更过度疲劳，则发出“休息2/3天，比如旅行怎么样？”的声音。用户响应于该发声，回答”好好，谢谢。”。对于用户被从吸尘器机器人211规劝旅行，则该用户的疲劳或压力能够被缓解。

(场景3)＜第3实施方式＞

作为第3实施方式，吸尘器机器人211与用户的交互也能够用于与医疗机关的关联。在一实施例中，与场景2的情况同样地，吸尘器机器人211发出“最近是不是累了？”的声音。用户识别该发声并回答“是的。因为工作很忙。”。若吸尘器机器人211识别出该回答，则发出“不要勉强哟。”的声音。用户对该发声回答“好好。谢谢。”。

若吸尘器机器人211识别出该回答，则将与该用户的最近两周的疲劳有关的交互信息发送给医疗机关服务器230。医疗机关服务器230是存在于该用户的家210的自治体或者处于其附近的医院等其他诊疗/治疗设施。另外，也可以取代吸尘器机器人211将交互信息发送给医疗机关服务器230的方式，而响应于来自吸尘器机器人211的请求，蓄积交互信息的运营商服务器250将该用户的交互信息发送给医疗机关服务器230。此外，该交互信息的发送请求也可以不由吸尘器机器人211发送，而由接收到来自吸尘器机器人211的许可的医疗机关服务器230发送。

医疗机关服务器230基于该交互信息，诊断该用户。若医疗机关服务器230判断为该用户需要基于医师的诊断，则将这样的判断结果发送给吸尘器机器人211。判断结果例如通过对预先规定的一个以上的模板追加该用户的主治医的名称、诊察的日期等，由医疗机关服务器230来作成。吸尘器机器人211基于这样的判断结果，发出“心疗内科的山田先生说请来检查一次。”的声音。用户对于该发声，响应“是啊。”。

若吸尘器机器人211识别出该响应，则参照预先保持的数据，作为该主治医的诊察的日期，发出“预约下周的周三6点？”的声音。用户响应于该发声，回答“拜托。”。吸尘器机器人211响应于该回答，与医疗机关服务器230进行通信，作为基于该主治医的诊疗，申请下周的周三(例如2月12日)的下午6点的预约。若该预约被医疗机关服务器230受理，则吸尘器机器人211对用户发出“预约了2月12日周三，下午6点哟。”的声音。若用户识别出该发声，则回答“谢谢。”。

这样，在一实施例中，吸尘器机器人211也根据用户的需要，取代用户，安排与医疗机关的预约。用户通过上述的交互，心情放松，并且对于吸尘器机器人211为了用户预约了诊察，能够感觉到谢意。另外，在其他方面，也可能有在吸尘器机器人211所提出的时间不能预约的情况。在该情况下，吸尘器机器人211也可以对医疗机关服务器230询问可预约的时间的候补，将询问的的结果作为替代案，通知给用户。

(场景4)＜第4实施方式＞

作为第4实施方式，也可以取代家电设备，具有交互功能的汽车280与作为用户的驾驶员进行交互。作为一个方面，对空调的控制装置具备交互功能和诊断功能的情况进行说明。

若该控制装置检测到空调的开关被接通，则使用内置于汽车280的话筒(未图示)，发出“今天花粉较多，所以也一起运行空气净化器吧。”的声音。花粉较多例如是汽车280的控制装置根据经由互联网30而接收的天气信息而能够获取的。驾驶员响应于该发声，回答“谢谢。”。若空调识别到该回答，则参照保持于控制装置的内置存储器的驾驶员的属性，发出“今天花粉症没事吧？”的声音。驾驶员响应于该发声，回答“今天挺严重的。”。若空调识别到该回答的意思内容，则发出“请多多保重。”的声音。若驾驶员识别到该发声，则回答“谢谢。”。

这样，能够从空调对驾驶员的对话，能够缓解驾驶员的压力或疲劳。此外，根据会话的内容，空气净化器进行工作也能够对压力或疲劳的缓解作出贡献。另外，驾驶员的回答的识别并不局限于空调识别的方式。例如，也可以是汽车280与互联网30连接，运营商服务器250等其他外部的信息处理装置识别回答的方式。也可以汽车280和驾驶员所具有的智能电话260通过WiFi(Wireless Fidelity，无线保真)、Bluetooth(注册商标)等其他通信手段构成通信会话，智能电话260识别驾驶员的会话。

另外，作为其他方式，也可以使用搭载于汽车280的传感器的输出。例如，根据由车速传感器得到的车速，能够推断为用户的精神状态高昂。或者，在加速器的踩踏速度超过通常的速度的情况下，或者在进行了紧急制动或紧急转向的操作的情况下，能够推断为用户的精神状态不是通常的情况。在这样的情况下，汽车280也可以进行使用户的精神稳定的发声。或者，在其他方面，汽车280能够进行为此的音乐的再生或芳香剂的送出。

(场景5)＜第5实施方式＞

作为第5实施方式，汽车280也可以基于与用户的会话，进行工作时的促进用户动作。

作为一实施例，若汽车280的控制器检测到驾驶座的安装带被系着，则发出“今天花粉症好像很严重啊。”的声音。若驾驶员识别到该发声，则回答“是的。”。若控制器通过内部的声音识别以及解析处理，或者根据与互联网30连接的外部的信息处理装置所进行的识别处理，获取到该回答的意思内容，则经由扬声器(未图示)，发出“请关闭窗户。使空气净化器工作。”的声音。若驾驶员识别到该发声，则回答“谢谢。”。或者，也可以扬声器发出“请关闭窗户，使空气净化器工作。”的声音，并且控制器自动关闭窗户并使空气净化器工作。

这样，通过汽车280开始对驾驶员发声，驾驶员能够感到汽车280的关心，因此能够减少驾驶员的疲劳或压力。

(场景6)＜第6的实施方式＞

作为第6的实施方式，设置于家210的各家电设备也可以经由互联网30，与其他的家220的家电设备或者其他的智能电话270进行通信。以下，对家210的居住者(奶奶)和家220的居住者(妈妈)是家庭成员的情况进行说明。

在某个方面，住在家210的奶奶对吸尘器机器人211进行开关操作或者发声。吸尘器机器人211响应于奶奶的这种动作，自行开始打扫。

吸尘器机器人211为了减小动作声音，在打扫的期间暂时停止，发出“感谢总是使用。”的声音。奶奶响应于该发声，回答“我才要谢谢。”。吸尘器机器人211鉴定发声者是奶奶，响应于该回答的意思内容的识别结果并参照与奶奶的交互的履历。吸尘器机器人211根据该履历，检测奶奶到此为止的发声中频繁使用“累了”这一语言。因此，吸尘器机器人211发出“奶奶。刚才经常说累了呢。”的声音。若奶奶识别到该发声，则回答“是的。虽然没干什么但是累了。”。吸尘器机器人211获取该回答的意思内容的识别结果，从回答提取“累了”这一关键词。在某个方面，这种关键词是吸尘器机器人211等其他家电系统本身能够存储的。在其他方面，关键词能够登录于提供所谓的“看护服务”的运营商或自治体。

吸尘器机器人211响应于关键词“累了”的检测，参照保持于内置存储器的数据库，计算使用关键词“累了”的频率。吸尘器机器人211对“累了”这一语言的使用次数在预先规定的期间(例如，两周)内超过了一定数(例如，30次)进行检测。吸尘器机器人211响应于这种检测结果，与家220的交互型家电系统的中央控制部进行通信。在某个方面，中央控制部在设置于家220中的家庭服务器装置中，或者，由吸尘器机器人221等其他家电设备的控制装置能够实现。在其他方面，中央控制部也可以设置于自治体服务器240。

例如，若吸尘器机器人221作为中央控制部，接受到该检测结果，则与家220的居住者的一人即“妈妈”的智能电话260开始通信。吸尘器机器人221将消息发送给智能电话260。若智能电话260经由互联网30接收到该消息，则取代吸尘器机器人211，发出“我是奶奶的吸尘器，奶奶在这两周期间，已经说了30次‘累了’。”、以及“奶奶现在好像在家，要不要和奶奶说说话？”的声音。若妈妈识别到该发声并回答“拜托。”，则智能电话260向能够构成互联网电话的吸尘器机器人211，例如使用VoIP(Voice over Internet Protocol，基于互联网协议的语音)来打电话。若奶奶响应于该电话，则妈妈能够与奶奶进行交互。

这样，由于以吸尘器机器人211的动作为触发，进行吸尘器机器人211的用户(奶奶)与住在远程位置的家庭成员(妈妈)的交互，因此奶奶的寂寞或疲劳等能够缓解。

＜第7实施方式＞

另外，在其他方面，作为第7实施方式，被提供所谓的看护服务的自治体使用的自治体服务器240也可以作为中央控制部而起作用。在该情况下，吸尘器机器人211将包含关键词“累了”和发声者(住在家210的奶奶)的标识符的消息发送给自治体服务器240。

若自治体服务器240的处理器接收到该消息，则访问居住者的数据库，向住在家210的奶奶的记录追加消息的内容。处理器对“累了”等其他关键词的接收次数进行计数，并对“累了”这一语言的使用次数在预先规定的期间(例如，两周)内超过了一定数(例如，30次)进行检测。处理器响应于这种检测结果，作为看护服务的申请人，向登录于自治体服务器240的妈妈的智能电话260发送发声用的消息。若智能电话260接收到该消息，则如上述那样，发出“我是奶奶的吸尘器，奶奶在这两周期间，已经说了30次‘累了’。”、以及“奶奶现在好像在家，要不要和奶奶说说话？”的声音。这样，奶奶的寂寞、疲劳感等也能够缓解。

另外，如上所述，用户发出的声音的识别以及意思内容的提取等其他的信息处理能够在吸尘器机器人211这样个别的家电设备的内部进行。或者，在其他方面，该信息处理也可以在医疗机关服务器230、自治体服务器240、运营商服务器250等其他的外部的服务器装置中进行。

[家电系统的结构]

参照图3，对本实施方式的交互型的家电系统20的结构进行说明。图3是表示构成家电系统20的服务器和家电设备的详细结构的框图。在某个方面，家电系统20具备：服务器310和家电设备350。

在一实施方式中，服务器310具备：通信部311、设备控制信号发送部312、设备控制部313、设备状态/控制指示接收部314、整体控制部315、声音识别部316、交互控制部317、声音合成部318、个人鉴定部319、设备状态发声生成部320、信息发声生成部321、疲劳判定发声生成部322、疲劳判定部323、判定通知部324、个人信息存储部325。

在某个方面，服务器310通过例如具有公知的结构的计算机来实现。在服务器310中，通信部311例如包含用于与家电设备350进行通信的接口。设备控制信号发送部312生成用于控制家电设备350的信号，经由通信部311来将该信号发送给家电设备350。

设备控制部313构成为在预先设定的条件成立的情况下，或者在接收到命令的情况下，控制家电设备350。该条件例如是用户的发声内容中，预先登录的关键词(例如，“累了”)在一定期间内使用了一定次数等。该命令能够由能够与服务器310进行通信的其他信息通信终端(例如，吸尘器机器人211、221、智能电话260等)来发送。

设备状态/控制指示接收部314从外部服务接收用于控制家电设备350的指示。例如，设备状态/控制指示接收部314接收用于使吸尘器机器人211发声的声音信号。在其他方面，设备状态/控制指示接收部314接收表示由家电设备350发送的设备的状态的信号。

整体控制部315控制服务器310的动作。在其他方面，整体控制部315基于提供给服务器310的信号，对家电设备350等其他能够与服务器进行通信的家电设备的动作进行控制。

声音识别部316对从家电设备350接收到的声音信号进行解析，基于解析结果，识别意思内容。该声音信号例如包含表示用户或驾驶员对吸尘器机器人211或汽车280的会话的信号。

交互控制部317对针对家电设备350进行的发声和与发声者的交互进行控制。更具体来讲，交互控制部317基于由声音识别部316得到的识别结果，从预先准备的数据库选择家电设备350接下来应输出的发声的内容，并将用于实现所选择的发声的数据(声音信号、发声的识别编号等)发送给家电设备350。

声音合成部318基于从交互控制部317送来的信号，生成用于使家电设备350发声的声音。生成的信号经由通信部311而被送到家电设备350。

个人鉴定部319基于从家电设备350接收的信号，或者基于被从外部服务提供的数据，判断家电设备350的用户是否是在服务器310中预先登录的用户。判断的结果被送到交互控制部317。交互控制部317基于该判断的结果，控制经由家电设备350的与用户的交互。

设备状态发声生成部320根据家电设备350的状态来生成用于使家电设备350发声的内容。该状态是基于被提供给家电设备350的命令而确定的。

信息发声生成部321基于从外部服务送来的数据，生成用于使家电设备350发声的内容。例如，信息发声生成部321包含：家电设备350的询问身体状况的发声、用于得到与身体状况有关的信息(例如，花粉症的症状)的发声等。

疲劳判定发声生成部322基于预先保持于服务器310的数据，生成用于判定家电设备350的用户是否疲劳的发声(例如，“最近是不是累了？”等)。

疲劳判定部323基于针对由疲劳判定发声生成部322发声的内容的回答(例如，“是的。因为工作很忙。”)和被保持于服务器310的交互履历数据，判定该回答的发声者是否疲劳。疲劳判定部323将判定的结果与该用户建立关联，并保存于个人信息存储部325。

个人信息存储部325保存家电设备350等其他的用户的信息。该信息例如包含：基于疲劳判定部323的判定的结果、各用户的声纹、指纹、图像信息等其他的数据、每个用户的交互履历。交互履历包含：家电设备350所发声的内容的识别信息、针对该发声的用户的回答、进行该交互的时间数据。

判定通知部324将保持于个人信息存储部325的判定结果发送到外部服务。

实现服务器310的各结构能够通过一个以上的处理器、用于实现各结构的命令、和通信接口来实现。在其他方面，服务器310也可以通过用于实现各结构的电路元件来实现。

[家电设备的结构]

再次参照图3，家电设备350具备：通信部351、整体控制部352、控制指示接收部353、状态获取部354、个人信息获取部355、设备控制部356、声音获取控制部357、发声控制部358、和状态显示部359。

通信部351构成为能够与服务器310的通信部311进行通信。整体控制部352控制家电设备350的动作。控制指示接收部353接受由家电设备350的用户进行的操作的输入。在其他方面，控制指示接收部353接收从服务器310送来的控制信号。

状态获取部354获取家电设备350的动作的状态。获取到的信息能够通过整体控制部352，从通信部351发送到服务器310。

个人信息获取部355基于针对家电设备350的操作或者输入，获取家电设备350的用户的个人信息。个人信息能够包含：用户的声纹、脸部图像、指纹等其他的该用户所固有的生物体信息、和用户的名字等其他的文字信息。在某个方面，个人信息获取部355为了获取用户的声纹，能够通过话筒和声音识别处理程序来实现。在其他方面，个人信息获取部355能够通过照相机和脸部识别程序来实现。进一步地，在其他方面，个人信息获取部355能够通过指纹传感器来实现。

设备控制部356根据基于从服务器310送来的信号而进行工作的整体控制部352的控制，来控制家电设备350的动作。在其他方面，设备控制部356响应于由家电设备350的用户进行的操作或者发声的内容，按照每个该操作或者内容，执行预先规定的动作。

声音获取控制部357获取针对家电设备350的用户的发声，对该发声进行声音处理并获取声音信号。声音获取控制部357将获取到的信号发送给整体控制部352。整体控制部352能够经由通信部351，向服务器310发送针对家电设备350进行的发声的内容。

发声控制部358基于通过通信部351而接收到的信号，响应于服务器310的命令，执行发声。在其他方面，发声控制部358如上述的场景1～场景6所示，实现由吸尘器机器人211等其他的家电设备350所进行的最初的询问。

状态显示部359基于整体控制部352的命令，执行表示家电设备350的动作的显示。该显示例如能够包含：基于LED(Light Emitting Diode，发光二极管)的显示、或者液晶显示器中的显示等。显示的内容能够包含：表示家电设备350实现通常的家电功能的显示、表示与用户交互的显示、表示家电设备350开始向用户的交互并且动作模式是诊断压力或疲劳的状态的模式的显示等。

[家电系统的控制构造]

参照图4，对本实施方式的家电系统20的控制构造进行说明。图4是表示家电系统20中的处理的一部分的流程图。

在步骤S410中，家电系统20在云侧，例如在服务器310，受理设备(例如吸尘器机器人211、冰箱213等其他的家电设备350)的登录。

在步骤S420中，家电系统20在云侧(服务器310)，或者在家电设备350，受理外部设备的登录。外部设备例如能够包含：智能电话260、270、汽车280等其他的家电设备、医疗机关服务器230、自治体服务器240、运营商服务器250等其他的信息处理通信装置等。

在步骤S430中，家电系统20等待事件的发生。在某个实施例中，该事件能够包含：在家电系统20的内部产生的事件、用于控制家电设备350的事件、在家电系统20被输入的声音输入的至少一个。在家电系统20的内部产生的事件能够包含：在家电设备350产生的事件(例如，作为交互履历的参照结果，吸尘器机器人211必须与用户说话这一条件成立等)。用于控制家电设备350的事件能够包含：对从医疗机关服务器230、自治体服务器240、运营商服务器250等送来的控制信号进行检测、汽车280的驾驶员开始驾驶等。声音输入例如能够包含用户与吸尘器机器人211说话等。

(内部事件的发生)

在步骤S440中，家电系统20响应于内部事件的产生，判断对应处理。例如，若作为家电设备350的吸尘器机器人211检测到从与用户说话起经过了一定天数，则吸尘器机器人211进行用于确认用户的状态的发声。例如，吸尘器机器人211对用户进行“最近是不是累了？”等询问(参照场景3)。家电系统20基于用户针对该询问的回答，参照过去的交互履历，决定接下来的对应。

在步骤S442中，家电系统20选择对应发声。该选择例如通过从预先准备的交互发声中选择来进行。例如，如场景2所示，家电系统20选择“心疗内科的山田先生说请来检查一次。”这一消息。

在步骤S444中，家电系统20执行发声。例如，吸尘器机器人211通过声音来输出上述消息的内容。

在步骤S446中，家电系统20响应于该发声并执行规定的处理。例如，家电系统20与医疗机关服务器230进行通信，获取用于用户的诊察的预约。

(设备控制)

在步骤S450中，家电系统20响应于设备控制的信号，判断对应处理。例如，如场景4所示，家电系统20对用户打开了汽车280的空调开关进行检测。家电系统20响应于该信号，开始空调的动作。

在步骤S452中，家电系统20从预先规定的对应发声中选择与设备控制相应的对应发声。例如，在场景4的情况下，作为空调的动作中能够进行的发声，选择发出“今天花粉较多，所以也一起运行空气净化器吧。”的声音。

在步骤S454中，家电系统20基于被选择的发声来执行发声。进一步地，家电系统20对针对该发声而回复的户的回答(“谢谢”)进行检测。

在步骤S456中，家电系统20根据该发声，执行规定的处理(例如，打开空气净化器的开关)。进一步地，作为接下来的发声，家电系统20发出“今天花粉症没事吧？”的声音。

(声音输入)

在步骤S460中，家电系统20对针对家电设备350输入的声音(场景1的情况下为“我回来了”)进行识别。

在步骤S462中，家电系统20对发声的内容意思进行理解。家电系统20判断发声内容是否是预先登录于数据库的发声。

在步骤S464中，家电系统20基于判断的结果，判断对应处理。例如，在进行登录于数据库的发声的情况下，基于与该用户的交互履历，进一步判断是否进行诊断。

在步骤S466中，家电系统20选择对应发声。例如，家电系统20选择“最近是不是累了？”这一发声。

在步骤S468中，家电系统20基于被选择的发声，执行发声。例如，吸尘器机器人211发出“最近是不是累了？”的声音。

在步骤S470中，家电系统20根据该发声来执行被规定的处理。例如，若用户回答“是的。因为工作很忙。”，则家电系统20执行声音识别处理和意思内容的解析处理，对提取到“忙”这一关键词进行检测。在该关键词的预定的一定期间内的使用次数超过预定的数字的情况下，家电系统20发出“不要勉强哟。”的声音。

参照图5，进一步说明家电系统20的控制构造。图5是表示构成家电系统20的家电设备350和服务器310所执行的处理的一部分的流程图。

(设备侧)

在步骤S510中，家电设备350的整体控制部352受理设备的登录。作为登录的对象的设备也包含家电设备350本身。更具体来讲，在一实施例中，整体控制部352例如受理设置于家210中的冰箱213、照明214、电视机215、空调216等其他的家电设备、和能够由家210的居住者使用的汽车280的登录。整体控制部352将各家电设备的识别编号保存于家电设备350的内置存储器。

在步骤S512中，整体控制部352受理外部设备的登录。外部设备例如像医疗机关服务器230、自治体服务器240、运营商服务器250、服务器310那样，包含能够与家电设备350进行通信的设备。

在步骤S514中，整体控制部352等待家电设备350中事件的发生。该事件的发生能够包含内部事件、设备控制、声音输入的任意一种。

在步骤S516中，整体控制部352检测内部事件的发生。家电设备350将通知发生了内部事件的信号发送给服务器310。若服务器310接收到这样的信号，则对在家电设备350发生了内部事件这一情况进行检测。然后，家电设备350从服务器310接收与该内部事件相应的发声信息。

在步骤S518中，整体控制部352基于设备控制来检测事件的发生。家电设备350将对发生了基于该设备的控制的事件进行通知的信号发送给服务器310。若服务器310接收到这样的信号，则检测在家电设备350中发生了基于家电设备350的控制的事件。然后，家电设备350从服务器310接收与基于家电设备350的控制的事件相应的发声信息。

在步骤S520中，整体控制部352基于声音输入来检测事件的发生。家电设备350将对发生了基于声音输入的事件进行通知的信号发送给服务器310。若服务器310接收到这样的信号，则检测发生了基于针对家电设备350的声音输入的事件。然后，家电设备350从服务器310接收与基于该声音输入的事件相应的发声信息。

在步骤S522中，家电设备350基于从服务器310接收的发声信息，经由发声控制部358来发声。例如，发声的内容如所述场景所示，例如是“最近是不是累了？”、“今天花粉较多，所以也一起运行空气净化器吧。”等。

在步骤S524中，家电设备350基于从服务器310接收的处理信息的内容，经由设备控制部356，根据处理信息来执行家电设备350的动作。

(云侧)

在步骤S540中，服务器310的整体控制部315受理家电设备350的登录。服务器310接受家电设备350的识别信息、名称等的输入，保存于内置存储器。

在步骤S542中，整体控制部315受理外部设备的登录。外部设备是医疗机关服务器230、自治体服务器240等其他的信息处理通信装置，是能够与服务器310进行通信的装置。

在步骤S544中，整体控制部315经由通信部311，接收对由家电设备350送来的事件的发生进行通知的信号(步骤S516、S518、S520)。

在步骤S546中，整体控制部315执行与表示在家电设备350发生的事件的信号相应的对应。

(内部事件或者设备控制)

例如，在步骤S550中，整体控制部315对接收到家电设备350中的内部事件或者设备控制的信号进行检测。然后，控制移至步骤S570。

(向家电设备350的声音输入)

另一方面，在步骤S560中，整体控制部315经由通信部311和声音识别部316，接收与对家电设备350进行的发声对应的声音。

在步骤S562中，整体控制部315经由声音识别部316，识别所接收的声音。

在步骤S564中，整体控制部315基于该声音的意思内容的解析结果，对发声的意思进行理解。控制移至步骤S570。

在步骤S570中，整体控制部315基于从家电设备350接收到的信号的解析结果，判断对应处理。例如，整体控制部315决定使家电设备350执行的发声的种类。发声的种类能够包含：询问用户的身体状况等的发声、询问气候的发声、督促旅行的发声等。

在步骤S572中，整体控制部315经由交互控制部317，选择与该事件对应的发声。

在步骤S574中，整体控制部315经由通信部311，将与所选择的发声相应的发声信息发送给家电设备350。家电设备350的通信部351接收该发声信息(步骤S522)。

在步骤S576中，整体控制部315经由通信部311，将用于使家电设备350执行动作的处理信息发送给家电设备350。家电设备350的通信部351接收该处理信息(步骤S524)。

[控制构造]

参照图6，来进一步说明家电系统20的控制构造。图6是表示家电系统20中为了理解针对家电设备350的发声的意思而服务器310所执行的处理的一部分的流程图。在某个方面，家电设备350与服务器310经由互联网30来一直连接。

在步骤S610中，整体控制部315选择服务器310的动作模式。动作模式能够包含：一般发声的模式、和用于诊断疲劳压力的发声模式。

在步骤S620中，整体控制部315选择疲劳压力诊断发声模式。例如，若整体控制部315检测到一般发声的模式持续了预先规定的一定时间，则选择疲劳压力诊断发声模式。

在步骤S622中，整体控制部315经由通信部311，将疲劳压力诊断发声发送给家电设备350(例如，参照场景3)。疲劳判定发声生成部322生成用于诊断疲劳压力的发声。该生成参照保存于例如个人信息存储部325的交互履历等来进行。

在步骤S624中，整体控制部315选择交互处理。例如，整体控制部315能够选择用于根据家电设备350的用户的工作寿命来接受医师的诊断的交互(参照场景3)。

在步骤S626中，整体控制部315将与被选择的处理对应的信息发送给家电设备350。

在步骤S628中，整体控制部315经由通信部311，从家电设备350接收包含针对家电设备350的用户的发声在内的声音信号。

在步骤S630中，整体控制部315经由声音识别部316，识别从家电设备350送来的信号。

在步骤S632中，整体控制部315基于由声音识别部316进行的识别结果来理解意思。例如，整体控制部315检测用户的发声包含关键词“累了”。

在步骤S634中，疲劳判定部323判定疲劳压力程度。该判定能够基于保存于个人信息存储部325的数据和从整体控制部315送来的数据而进行。在某个方面，若疲劳判定部323检测到在预先规定的一定期间内从最近的用户的发声检测到的关键词“累了”被使用的次数超过了预先规定的次数，则能够判断为用户的压力程度是需要医师的诊察的程度。

在步骤S636中，疲劳判定部323将疲劳压力交互信息存储于个人信息存储部325。例如，检测到关键词“累了”的使用的时间信息被保持于个人信息存储部325。

在步骤S638中，疲劳判定部323基于从家电设备350送来的发声和保存于个人信息存储部325的数据，综合地判断向家电设备350的发声者的疲劳压力的程度。例如，在关键词“累了”的使用频率和关键词“累了”被检测到的间隔变短的情况下，疲劳判定部323判断为疲劳压力的程度变高。在该间隔变长的情况下，疲劳判定部323判断为疲劳压力的程度变低。

在步骤S640中，整体控制部315重新选择服务器310的动作模式。例如，作为服务器310的动作模式，整体控制部315能够继续选择疲劳压力诊断发声模式。

在步骤S642中，整体控制部315选择向家电设备350的用户进行的回答的对应发声。

在步骤S644中，整体控制部315根据对应发声的选择结果，将发声信息经由通信部311来发送给家电设备350。

在步骤S646中，整体控制部315将基于被选择的对应发声来使家电设备350进行动作的处理信息发送给家电设备350。

另一方面，在步骤S660中，整体控制部315选择一般发声的模式。若用户对家电设备350发声，则家电设备350识别该发声，将发声所对应的信号发送给服务器310。服务器310解析该发声的意思内容，将与解析的结果相应的信号发送给家电设备350。若家电设备350接收到该信号，则输出与该信号相应的声音。通过用户识别声音，能够实现家电设备350与用户的通常的交互。

[硬件结构]

参照图7，来对本实施方式的信息处理通信装置的结构进行说明。图7是表示用于实现信息处理通信装置的计算机700的硬件的框图。在本实施方式中，信息处理通信装置例如相当于医疗机关服务器230、自治体服务器240、运营商服务器250、服务器310。

作为主要构成要素，计算机700具备：执行程序的CPU(Central Processing Unit，中央处理单元)1、接受由计算机700的用户进行的指示的输入的鼠标2以及键盘3、将通过基于CPU1的程序的执行而生成的数据、或者经由鼠标2或键盘3而被输入的数据易失性地保存的RAM4、将数据非易失性地保存的硬盘5、光盘驱动装置6、显示器8、和通信IF(Interface，接口)7。各构成要素相互通过总线来连接。在光盘驱动装置6安装CD-ROM9等其他的光盘。通信接口7包含：USB(Universal Serial Bus，通用串行总线)接口、有线LAN(Local AreaNetwork，局域网)、无线LAN、Bluetooth(注册商标)接口等，但并不局限于这些。

计算机700中的处理能够通过各硬件以及由CPU1执行的软件来实现。这种软件可能预先保存于硬盘5。此外，软件也可能保存于CD-ROM9等其他的计算机可读取非易失性的数据记录介质，并作为程序产品而流通。或者，该软件也可能作为能够被与互联网等其他的网络连接的信息提供运营商下载的程序产品而被提供。这种软件在通过光盘驱动装置6等其他的数据读取装置而被从数据记录介质读取，或者经由通信接口7而被下载后，被暂时保存于硬盘5。该软件由CPU1从硬盘5读取，以可执行的程序的形式被保存于RAM4。CPU1执行该程序。

图7所示的构成计算机700的各构成要素是一般的构成要素。因此，也可以说实现本实施方式所涉及的技术思想的本质部分是保存于计算机700的程序。由于计算机700的各硬件的动作是公知的，因此不重复详细的说明。

另外，作为数据记录介质，并不局限于CD-ROM、FD(Flexible Disk，软磁盘)、硬盘，也可以是磁带、盒带、光盘(MO(Magnetic Optical Disc，磁光盘)/MD(Mini Disc，迷你盘)/DVD(Digital Versatile Disc，数字通用光盘))、IC(Integrated Circuit，集成电路)卡(包含存储卡)、光卡、掩模ROM、EPROM(Electronically Programmable Read-Only Memory，电可编程只读存储器)、EEPROM(Electronically Erasable Programmable Read-OnlyMemory，电可擦可编程只读存储器)、闪速ROM等半导体存储器等的固定地负载程序的非易失性的数据记录介质。

这里所谓的程序，不仅指能够由CPU直接执行的程序，还能够包含源程序形式的程序、被压缩处理的程序、被加密的程序等。

[吸尘器机器人的结构]

参照图8，对本实施方式的吸尘器机器人211、221的结构进行说明。图8是表示吸尘器机器人211、221的硬件结构的框图。以下，虽然对吸尘器机器人211的结构进行说明，但吸尘器机器人221的结构也是同样的。

吸尘器机器人211具备：通信部801、控制部802、话筒803、扬声器804、打扫部805、驱动部806、显示部808、和存储部809。控制部802包含：声音识别部811、响应处理执行部812、动作模式切换部813、和声音输入接受部814。存储部809包含发声内容数据库820。

控制部802控制吸尘器机器人211的动作。在某个方面，控制部802由处理器等其他的运算处理装置实现。

显示部808显示吸尘器机器人211的状态。显示部808包含液晶显示器、有机EL(Electro Luminescence，电致发光)显示器等其他的显示装置。

存储部809保持用于使吸尘器机器人211执行预先规定的动作的程序、针对吸尘器机器人211的用户的发声的履历等。在某个方面，存储部809能够通过闪存、硬盘等其他的非易失性的数据记录介质或者RAM等其他的易失性的数据记录介质来实现。

在一实施例中，通信部801通过无线来与互联网30连接，能够与网络家电等其他的可通信家电设备进行通信。话筒803受理对吸尘器机器人211的发声。扬声器804基于控制部802的控制来输出声音。

打扫部805包含刷子、压缩机等其他的用于实现打扫功能的机构。驱动部806包含用于吸尘器机器人211的行驶的车轮等其他的机构。

在控制部802中，声音识别部811基于从话筒803输出的信号，识别针对吸尘器机器人211的发声。响应处理执行部812基于声音识别部811的结果，决定吸尘器机器人211的动作。在其他方面，响应处理执行部812能够基于经由通信部801而接收的信号，决定响应处理。

动作模式切换部813能够基于从话筒803输出的信号，或者基于经由通信部801而接收的信号，切换吸尘器机器人211、221的动作模式。在一实施例中，动作模式例如能够包含通常的打扫模式和交互模式。

声音输入接受部814接受对话筒803进行的发声声音的输入。在其他方面，声音输入接受部814接受经由通信部801接收的声音信号的输入。

在存储部809中，发声内容数据库820预先保持用于使吸尘器机器人211、221发声的内容。在其他方面，发声内容数据库820也可以保持与吸尘器机器人211、221的用户相应的固有的发声内容。

再次参照图8，吸尘器机器人211能够与互联网30连接。互联网30与运营商服务器250连接。因此，吸尘器机器人211能够与处于云侧的运营商服务器250进行通信。运营商服务器250能够通过例如具有图7所示的公知的结构的计算机来实现。运营商服务器250包含：通信部251、控制部252、存储部256。

通信部251包含通信接口7。通信部251与吸尘器机器人211进行通信。通信的方式或协议并不被特别限定。

控制部252包含：声音输入接收部253、声音识别部254、响应处理执行指示部255。控制部252包含CPU1。通过CPU1执行命令，从而CPU1能够作为声音输入接收部253、声音识别部254、或者响应处理执行指示部255而起作用。在其他方面，声音输入接收部253、声音识别部254、响应处理执行指示部255的任意一个也可以构成为专用的处理电路等其他的电路。

声音输入接收部253经由通信部251，接收吸尘器机器人211中受理了输入的声音信号。声音识别部254对从吸尘器机器人211送来的声音信号的内容进行识别。响应处理执行指示部255基于从吸尘器机器人211送来的信号的识别结果，生成用于响应吸尘器机器人211的处理，将该处理信号经由通信部251来发送给吸尘器机器人211。若吸尘器机器人211接收到该处理信号，则发出与该处理信号相应的声音。

存储部256例如通过硬盘5来实现。存储部256包含：发声内容数据库258、状态存储部259。发声内容数据库258预先保持经由吸尘器机器人211、221的扬声器804而发声的内容。状态存储部259保持吸尘器机器人211、221的状态以及吸尘器机器人211、221的各用户的各个状态。

[服务器的控制构造]

(服务器侧基本流程)

参照图9～图10，对根据一方面的服务器310的控制构造进行说明。图9是表示为了选择用于发声的意思的理解以及交互的消息而服务器310所执行的声音识别处理的一个例子的流程图。服务器310例如具备如计算机700那样的结构。图10是表示服务器310中的数据库的构造的一方式的图。

在步骤S910中，计算机700的CPU1经由通信接口7，接收从家电设备350送来的声音。

在步骤S920中，CPU1作为声音识别部316，识别从家电设备350接收的声音，获取表示该识别的内容的字符串(也称为“输入短语”。)。声音识别的处理的方式并不被限定。进一步地，CPU1基于登录于服务器310的用户信息，确定向家电设备350的发声者(用户)。

在步骤S930中，CPU1解析该字符串(输入短语)，解释家电设备350的用户的意图。

在步骤S940中，CPU1从RAM4或者硬盘5，获取家电设备350的每个用户(例如，作为接受基于服务器310的服务的提供的用户，是已登录的家210的全部居住者)的当前的动作模式。

在步骤S950中，CPU1选择动作模式。作为选择的对象的动作模式能够包含通常交互模式和诊断模式。在一方面，基于用于移至诊断模式的条件是否成立，CPU1选择动作模式。例如，参照步骤S920中确定的与用户的交互履历，判断是否需要移至诊断模式。例如，CPU1为了决定移至诊断模式的必要性，判断从上次诊断模式被执行的时期起经过的时间内，在到此为止的交互中检测到的关键词即与诊断有关的关键词在这次发声中是否被检测到等。若CPU1选择通常交互模式，则将控制切换为步骤S960，若选择诊断模式，则将控制切换为步骤S1100。

在步骤S960中，CPU1决定响应内容。在通常交互模式中，服务器310基于输入短语而生成响应，进行声音发声。首先，CPU1决定响应的内容。响应并不局限于声音，在其它方面，也能够包含家电设备350的移动、家电设备350的灯(未图示)的闪烁等。

更详细地，参照图10，CPU1参照保存于硬盘5的响应内容表1000以及输入短语表1010。响应内容表1000包含：用于确定输入短语的输入短语ID、和具体的输入短语1002。输入短语表1010包含：对基于家电设备350的响应进行识别的响应ID1011、表示与该响应有关系的输入短语的输入短语ID1012、表示基于家电设备350的具体发声的内容的发声消息1013、对家电设备350的动作进行识别的动作图案1014。动作图案A～C例如能够包含通常的动作、旋转动作等其他的动作。

CPU1选择与输入短语对应的发声消息1013。例如，在针对同一输入短语，多个发声消息作为选择候补而存在的情况下，CPU1从该多个发声消息中例如随机地选择一个发声消息。例如，在用户对家电设备350进行“早上好”这一问候的情况下，CPU1从响应ID＝1～3的3个中随机地选择一个发声消息，作为针对该问候的响应。

再次参照图9，在步骤S962中，CPU1判定是否开始诊断模式。作为开始诊断模式的条件，例如，考虑以下的情况。

·该用户与家电设备350之间的当日的最初的会话的内容

·输入短语的评价(参照图12参照)为负的情况

由此，在用户与家电设备350每天普通地会话中，服务器310能够自然地开始该用户的压力或者疲劳的状态的诊断。另外，若CPU1判定为开始诊断模式，则能够开始后述的诊断模式处理(步骤S1100)。

在步骤S980中，CPU1使用决定的发声消息的字符串来合成声音，生成用于使家电设备350发声的声音数据。

在步骤S990中，CPU1将包含声音数据和与被选择的发声消息对应的动作图案1014在内的响应信息发送给家电设备350。若家电设备350接收到该响应信息，则基于该声音数据而发声，进行根据动作图案1014的动作。由此，能够实现用户与家电设备350的交互，并且根据家电设备350的发声内容，能够减少用户的压力或疲劳。

在判断为CPU1选择诊断模式的情况下，在步骤S1100中，CPU1执行后述的诊断模式的处理。

然后，处理返回到步骤S910。

[服务器的控制构造以及数据构造]

(诊断模式开始处理流程)

参照图11以及图12，进一步对一方面中的服务器310的控制构造进行说明。图11是表示服务器310在诊断模式时执行的处理的一个例子的流程图。作为一实施方式，在服务器310开始诊断模式时，与通常交互不同地，家电设备350开始针对用户的询问，因此本处理能够与主处理(图9)独立地执行。在主处理中，在判定为CPU1开始诊断模式的情况下，能够与主处理非同步地执行。

图12是示意性地表示硬盘5中用于诊断的数据的保存的一方式的图。硬盘5保存诊断消息表1210和诊断履历表1220。诊断消息表1210包含：用于识别诊断的内容的诊断ID1211、具有表示向用户的询问的字符串的诊断消息1212、和该诊断消息的有效期间1213。例如，若一旦诊断ID＝4的诊断消息“有没有食欲？”被选择，则直到经过7天，该诊断消息都不能选择。诊断履历表1220包含：用于鉴定家电设备350的用户的用户ID1221、接收到来自该用户的发声的输入日期时间1222、识别所使用的诊断消息的诊断ID1223、表示该诊断消息的内容的发声消息1224、表示来自用户的发声的字符串的输入短语1225、和该发声的评价1226。

再次参照图11，在步骤S1110中，CPU1等待开始诊断模式这一判定结果(图9中从步骤S950到步骤S1100的流程)。

在步骤S1120中，CPU1使用来自内部时钟(未图示)的时刻信息和输入日期时间1222的数据，获取从刚刚之前的发声起经过的时间。

在步骤S1130中，在经过的时间为一定时间(例如1分钟)以上的情况下，CPU1判断为没有了来自家电设备350的用户的发声(步骤S1130中为“是”)，CPU开始针对该用户的询问。

在步骤S1130中，CPU1判断是否经过了预先规定的固定时间。例如，在从刚刚之前的发声起经过的时间为预先设定的一定时间(例如1分钟)以上的情况下，CPU1判断为没有了来自家电设备350的用户的发声。若CPU1判断为从获取来自刚刚之前的发声的时间起经过了固定时间(步骤S1130中为“是”)，则将控制切换为步骤S1140。在不是这样的情况下(步骤S1130中为“否”)，CPU1将控制返回到步骤S1120。例如，在家电设备350与用户的通常的交互继续的情况下，该经过的时间应在一定时间内，因此作为结果，CPU1等待下一个处理，直到该交互结束。

在步骤S1140中，CPU1决定诊断内容。例如，CPU1从诊断消息表1210(图12)随机地选择诊断消息1212。另外，由于使用相同的诊断消息来反复相同的询问并没有意义，因此CPU1也能够参照诊断履历表1220，从除去了最近的询问中使用的诊断消息(即，发声消息1224)的剩余的候补选择诊断消息1212。

在步骤S1150中，CPU1与主处理同样地，使用选择的诊断消息的字符串来合成声音，生成用于使家电设备350发声的声音数据。

在步骤S1160中，CPU1将包含声音数据的响应信息发送给家电设备350。

在步骤S1170中，CPU1将包含选择的诊断消息和用户ID的诊断内容记录于诊断履历表1220，来更新诊断履历表1220。关于输入短语1225以及评价1226，由于CPU1在接收到来自用户的响应后保存数据，因此最好在该时刻设为空(NULL)。

在步骤S1180中，CPU1更新动作模式。更具体来讲，CPU1将该用户的服务器310的动作模式设定为“诊断模式”。因此，然后，在服务器310接收到家电设备350的用户的声音的情况下，CPU1能够执行诊断模式的处理。

然后，控制返回到步骤S1110。

另外，服务器310也可以具有使用图12所示的履历，将一定期间内的合计或者针对特定的用户的履历等汇集的结构。通过这种结构，根据需要，服务器310能够向家电设备350的用户、医疗机关、自治体等发送报告。

(诊断模式处理流程)

参照图13～图15，进一步对家电系统20的控制构造进行说明。图13是表示CPU1所执行的诊断模式处理的一个例子的流程图。在诊断模式中，服务器310经由家电设备350，对用户进行一些询问，基于针对询问的来自用户的响应，诊断用户的压力、疲劳等其他的精神状态。

图14以及图15分别是示意性地表示硬盘5中的数据的保存的一方式的图。在一实施例中，如图14所示，硬盘5保持回答评价表1400。回答评价表1400包含：对来自用户的回答进行识别的回答ID1401、对询问中使用的诊断消息1212进行识别的诊断ID1402、表示根据回答得到的字符串的输入短语1403、表示诊断的结果的评价1404。诊断ID1402与诊断ID1211对应。

如图15所示，硬盘5包含：通常消息表1510和治疗消息表1520。通常消息表1510包含消息ID1501和消息1502。治疗消息表1520包含消息ID1521和消息1522。

治疗消息表1520中，相比于通常消息表1510中包含的消息1502，更使其感受治疗的消息1522能够被保存。所谓使其感受治疗的消息1522，是指例如，担心用户的短语、督促用于身体状况的改善或者用于减少压力的行为的短语、使用户笑的短语、感动用户的短语等。担心用户的短语例如是“加油哟”、“别过于努力”、“担心你哟”等，但也能够包含其他的短语。督促身体状况的改善或者用于减少压力的行为的短语例如是“偶尔早睡”、“明天休息休息”、“明天有自治会的足球大会”等，但也能够包含其他的短语。使用户笑的短语例如能够包含“被子吹飞了”这种冷笑话、笑话等。

在其他方面，也可以取代感到治疗的消息，将用于使压力减少的声音内容1530保存于服务器310。声音内容1530例如能够包含：用于对狗、猫、鸟这种动物的声音、诗朗诵、音乐等进行输出的数据。

进一步地，在其他方面，也可以通过在基于通常消息表1510中包含的消息1502而输出的声音、基于治疗消息表1520中包含的消息1522而输出的声音之间，改变音质，来改变治疗程度。音质的变更的一方式例如为：通常消息是以男性的声音输出，治疗消息是以女性的声音输出等。此外，在通常消息与治疗消息均以女性的声音发出的情况下，也可以通过改变各消息的音色，来进一步感受治疗。

在其他方面，也可以通过改变被输出的声音的间距(高低)，来改变治疗程度。作为声音的间距的变更的一方式，例如，可以在作为治疗，希望打起精神时，使声音的间距比标准高，相反地，也可以作为治疗，声音中包含温柔，使声音的间距比标准低。

在其他方面，也可以通过改变输出的声音的发声速度，来改变治疗程度。例如，在希望增加治疗程度时，也可以通过使发声速度比标准速度慢，来使用户感受温柔。相反地，也可以通过使发声速率比标准快，来使用户感受激励。

在其他方面，也可以通过改变输出的声音的量值，来改变治疗程度。例如，在希望增加治疗程度时，也可以通过使声音比标准小，来使用户感受温柔。相反地，也可以通过使声音比标准大，来使用户感受激励。

在其他方面，也可以通过改变输出的声音的语调，来改变治疗程度。例如，在希望增加治疗程度时，对于“你好”这一短语，通过改变语调例如像关西话那样输出，来设为使用户感到亲切、笑容的短语。进一步在其他方面，用于改变治疗程度的上述的各方式也可以适当地选择并组合。

此外，在其它的实施例中，也可以构成与各个用户相应的治疗消息表。这样的治疗消息表例如能够包含：对男性用户输出女性的声音的表、对爷爷或者奶奶这样的老人输出孩子的声音的表等。进一步在其他方面，在服务器310构成为能够从其他信息通信装置得到最新信息的情况下，对于对足球有兴趣的用户，服务器310也可以从该其他信息通信装置得到昨天的足球比赛结果以及选手的队员信息等，合成例如用于发出“昨天的○○选手的球踢得很棒”的声音的声音数据。声音合成能够通过公知的技术来实现，因此不重复详细的说明。此外，也可以根据作为家电设备350的目标的用户来构成治疗消息表。

再次参照图13，在步骤S1310中，CPU1参照诊断履历表1220，获取刚刚之前从家电设备350发出的发声的内容(诊断ID1223)。

在步骤S1320中，CPU1参照回答评价表1400，评价从该发声得到的输入短语1403。作为一个例子，CPU1为了调查与刚刚之前从家电设备350发声的诊断消息1224的诊断ID1223一致的诊断ID之中、是否存在与来自用户的输入短语1225一致的输入短语1403，检索回答评价表1400。一致的程度例如能够使用所谓的编辑距离。若存在与输入短语1225一致的输入短语1403，则CPU1将与该输入短语1403建立关联的评价1404的值设为针对输入短语1403的评价。另一方面，若不存在一致的输入短语1403，则CPU1将该回答的评价设为“0”。

例如，在刚刚之前的询问(发声消息1224)是“今天的状态怎么样？”(诊断ID1211的值为“1”)、针对该询问的用户的响应为“状态挺好的”的情况下，相当于回答ID1401＝1，因此针对该输入短语的评价为“+1”。另一方面，即使用户的回答是“嗯”这种肯定的回答，评价能够根据询问的内容而改变(例如，参照回答ID1401＝7、11的情况)。因此，若用户的回答“嗯”是针对家电设备350的询问“昨晚睡得好吗？”(对应于诊断ID1211＝2的诊断消息1212)的回答(回答ID1401＝7)，则评价1404的值为“+1”。另一方面，若该回答“嗯”是针对家电设备350的询问“最近，感觉睡眠较浅？”(诊断ID1211＝3所对应的诊断消息1212)的回答(回答ID＝11)，则评价1404的值为“-1”。

在步骤S1330中，CPU1将进行了评价的输入短语以及其评价结果作为输入短语1225以及评价1226，记录于诊断履历表1220。

在步骤S1340中，CPU1判断是否继续诊断模式。该判断例如基于被提供给服务器310的信号、针对家电设备350的回答的结果等而进行。作为一具体例作为，CPU1对当前的诊断模式中的询问数进行计数，在进行了预先设定的次数的询问的时刻结束诊断模式。若该次数过多，则询问频繁地进行，因此对于用户也成为负担。因此，例如，优选次数例如为3次左右，但次数并不局限于3次，也可以是1次。若CPU1判断为继续诊断模式(步骤S1340中为“是”)，则将控制切换为步骤S1350。在不是这样的情况下(步骤S1340中为“否”)，CPU1将控制切换为步骤S1370。

(继续诊断模式的情况)

在步骤S1350中，CPU1决定家电设备350用于对用户接下来进行询问的诊断内容。

在步骤S1360中，CPU1将诊断内容记录于诊断履历表1220。

(结束诊断模式的情况)

在步骤S1370中，CPU1基于诊断结果来评价家电设备350的用户的精神状态。更具体来讲，例如，在当前的诊断模式中，在记录于诊断履历表1220的评价1226的值为负的情况下，CPU1判断为该用户的精神状态不好、即用户抱有某些压力或疲劳。在家电设备350进行了多次询问的情况下，CPU1使用针对各询问的回答各自的评价1226的合计值来判断用户的精神状态。

在步骤S1380中，CPU1根据评价结果来决定基于家电设备350的响应内容。例如，CPU1参照通常消息表1510以及治疗消息表1520，决定响应内容。在CPU1判断为用户的精神状态不好的情况下，从治疗消息表1520随机地选择用于响应的消息1522。若由家电设备350发出这样的消息1522的声音，则能够期待改善用户的精神状态的效果。另一方面，在CPU1判断为用户的精神状态并非不好的情况下，从通常消息表1510随机地选择用于响应的消息1502。

在步骤S1390中，CPU1将服务器310的动作模式从诊断模式变更为通常模式。

(基于履历的诊断)

另外，用户的精神状态的诊断并不局限于当前的诊断模式中的评价，例如，也可以基于该用户的过去的履历来进行诊断，能够进行更有效的诊断。

例如，考虑以下的诊断方法。

·使用当天的全部诊断结果的诊断(1天的评价值的合计值)

·使用预定的期间内的全部诊断结果的诊断(最近3天的评价值的合计值)·计算每1天的评价值，在评价值为负的天连续了预定的天数(例如3天)的情况下，判断为用户的精神状态不好的诊断

·计算每1天的评价值，并且也计算每1周的评价值的平均值。在最近1周的评价值为负并且最近1周的评价值与此之前1周的评价值的差为预先规定的阈值以上的情况下，判断为精神状态处于恶化趋势，判断为精神状态不好。

另外，在上述的说明中，例如，如图10、图12、图15所示，示例了作为用于发声的数据，与各消息对应的声音数据预先保存于如硬盘5那样的存储装置的方式。但是，用于声音输出的数据的保持的方式并不局限于上述的例子。例如，也可以字符串和用于声音合成的数据被保持于存储装置，通过使用与发声的内容对应的字符串来进行声音合成，从而治疗消息作为声音而被发出。声音合成的方式并不被特别限定，能够使用波形连接型声音合成等其他的公知的手法。

治疗的消息并不局限于在一次交互中结束会话的消息，也可以是会话继续的发声。例如，若家电系统20识别到发声者的回答，则也可以将包含督促下一个回答的询问在内的发声作为治疗的消息来进行发声。更具体来讲，一般地，用于减少人的疲劳或压力的手段存在多种，此外，减少的程度也因人而异。因此，家电系统20也可以依次发出对有助于疲劳或压力的减少的动作进行督促的消息。作为一个例子，家电系统20也可以如“稍微休息休息？”、“那么，散散步？”、“旅行怎么样？”、“吃点儿美味的蛋糕怎么样？”这样，依次进行对于发声者的回答，引出下一个回答的发声。

此外，上述的例子较多表示了治疗的消息1522被预先准备于服务器310的情况。在其他方面，消息1522也可以是能够从另外的信息通信终端登录到服务器310或者家电设备350的消息。例如，参照图2，在家210的家人停留在处于远程位置的家220时，家210的家庭成员也可以经由智能电话等其他的信息通信终端，将消息吹入到运营商服务器250等其他的服务器310或者被设置于家220的吸尘器机器人221等其他的设备。处于家220的停留者通过从吸尘器机器人221等其他设备听到其家庭成员的声音，能够减少疲劳或压力。

＜第8实施方式＞

[使用视频的情况]

在上述的各实施方式中，示例了作为基于家电设备350的向用户的询问，使用声音的情况。对用户的询问并不局限于声音，例如也可以是文字等其他的图像或者视频。

因此，参照图16，对该技术思想的其他应用例进行说明。图16是表示根据第8实施方式的家电设备350即电视机215与用户交互的方面的图。

例如，在某个方面A，电视机215是未接入电源的待机状态。然后，在服务器310判断为开始诊断模式的情况下，或者在预定的时机到来的情况下，电视机215显示询问用户的状态的图像或消息。进一步地，电视机215也可以显示督促远程控制(未图示)的操作的消息。

若用户通过操作远程控制来对电视机215的显示进行响应，则该响应结果被发送给服务器310，用户的状态被诊断。若服务器310判断为用户的精神状态不良好，则服务器310将用于显示使用户笑的视频、图像或者文字信息的命令发送给电视机215。电视机215对该命令的接收进行响应，显示这种视频、图像或者文字信息。若用户视觉辨认这样的显示，也可能不假思索地笑了，因此能够减少压力或疲劳。

如以上那样，根据本实施方式的技术思想，构成家电系统20的家电设备350对用户通过声音或视频来进行询问，获取针对该询问的用户的回答，诊断用户的精神状态。家电系统20将基于该诊断结果的声音或视频输出给用户，因此能够缓解识别了该声音或视频的用户的压力或疲劳。

另外，由上述的说明可知，在本实施方式中，作为家务(＝日常生活中的活动)的定义，并不停留在打扫、洗衣、做饭。因此，本实施方式中的家电设备并不局限于吸尘器机器人、洗衣机、电饭煲、空调、电视机这种狭义的家庭用电子设备。家电设备例如关于移动，能够包含：搭载有通过语言交流而支持驾驶的导航系统的汽车、辅助步行困难者的电动轮椅、支持力量工作的力量套装(パワ一ス一ツ)等。换言之，本实施方式的技术思想是通过声音、文字、图像等其他的语言接口，能够执行辅助日常生活的功能的装置即可。

＜第9实施方式＞

此外，在上述的例子中，表示了为了疲劳或者压力的减少，使用声音或视频的情况，但疲劳或压力的减少并不仅通过声音或视频能够减少。例如，也能够通过芳香剂的释放(即，气味)、视频的投影(即，颜色)、家电设备的舞动(即，移动)等实现。更具体来讲，在其他方面，若家电设备350接受针对发声的用户的回答，判断为用户感到压力或者疲劳，则释放预先填充的芳香剂。在其他方面，也可能家电设备350具备投影仪功能。在该情况下，若家电设备350接受针对发声的用户的回答，判断为用户感到压力或者疲劳，则家电设备350朝向被设置的房间的天花板或者朝向侧面，显示视频。该视频例如能够包含愈合效应较高的视频、外国的风景的视频等。

在进一步其他方面，作为家电设备350的吸尘器机器人221接受针对发声的用户的回答，若判断为用户感到压力或者疲劳，则也可以唱歌或者移动。通过声音或者移动，能够减少用户的压力或疲劳。

上述公开的实施方式能够由一个以上的模块构成。该一个以上的模块能够包含：软件模块、硬件模块以及其组合。软件模块包含：通信程序、应用程序、子例程等其他的程序。硬件模块包含：处理器、存储器、电路元件、显示器装置、电动机、扬声器、话筒等其他的要素。

应该认为本次公开的实施方式在全部方面都是示例，并不是限制性的。本发明的范围并不是上述的说明而是由权利要求书表示，意图包含与权利要求书均等的意思以及范围内的所有变更。

-符号说明-

1CPU，2鼠标，3键盘，4RAM，5硬盘，6光盘驱动装置，7通信接口，8监视器，9CD-ROM，20家电系统，21发声部，22声音输入部，23判断部，24、256、809存储部，25驱动机构，30互联网，40信息通信终端，210、220家，211、221吸尘器机器人，212路由器，213、223冰箱，214、224照明，215、225电视机，216、226空调，230医疗机关服务器，240自治体服务器，250运营商服务器，251、311、351、801通信部，252、802控制部，253声音输入接收部，254、316、811声音识别部，255响应处理执行指示部，258、820发声内容数据库，259状态存储部，260、270智能电话，280汽车，310服务器，312设备控制信号发送部，313、356设备控制部，314、353控制指示接收部，315、352整体控制部，317交互控制部，318声音合成部，319个人鉴定部，320设备状态发声生成部，321信息发声生成部，322疲劳判定发声生成部，323疲劳判定部，324判定通知部，325个人信息存储部，350家电设备，354状态获取部，355个人信息获取部，357声音获取控制部，358发声控制部，359状态显示部，700计算机，803话筒，804扬声器，805打扫部，806驱动部，808显示部，812响应处理执行部，813动作模式切换部，814声音输入受理部。