一种养老陪护服务机器人系统及养老陪护方法

摘要

本发明提供了一种养老陪护服务机器人系统及养老陪护方法，所述系统通过机器人本体，获取用户的头部姿态、面部表情图像信息，通过无线路由网关传到上位机图像处理与控制子系统；由上位机图像处理与控制子系统对头部姿态和表情图像进行两次图像分析，准确、高效地分析用户的情感状态，并根据结果发送无线指令控制机器人做出相应的反馈动作，既能给老年用户带来精神上慰藉，又能便于存储分析老年用户的情感信息，使服务机器人与服务对象实现更好的人机交互。同时，本发明实现了上位机与无线视频传输模块和无线通信模块的同步通信，机器人在移动过程中实时通信，既提高了通信的效率，又避免了有线控制的繁琐。

说明书

技术领域

本发明属于服务机器人领域，涉及人机交互、图像处理、无线网络通信和表情识别等技术，具体涉及一种养老陪护服务机器人系统及养老陪护方法。

背景技术

近年来，老龄化问题已经成为我国需要迫切研究解决的重大课题之一。我国老年人人口基数大，而相应的养老配套设施缺乏，给每个家庭和个人带来了一定的负担。与此同时，随着人工智能技术、人机交互技术、通信技术以及传感器技术的不断发展，服务机器人已经得到很大的发展，其已经开始被用于工作、生活中的方方面面。因此，将养老问题与人工智能技术、互联网技术结合，可以为养老问题提供一条解决途径。

现有的服务机器人在老年陪护方面只具备简单的监护功能，并且大多数不是专门针对于老年用户。而监护功能缺乏对老年用户的情感分析和陪伴，不能实现真正的养老陪护。另外，现有的服务机器人大多基于机器人本体，忽略了机器人与上位机之间的信息交互，导致机器人本体的分析和信息存储能力有限，无法更好地服务于老年用户。

发明内容

本发明实施例的目的是解决现有技术中服务机器人系统没有专门针对老年用户养老陪护的问题，提供了一种养老陪护服务机器人系统及养老陪护方法，通过对老年用户的头面部图像的采集，随头部姿态变化进行表情识别，并进行情感分析及记录；再通过无线局域网控制机器人做出一定反馈动作，从而更好地服务于老年用户。

根据本发明的一个方面，提供了一种养老陪护机器人系统，所述系统包括：机器人本体、无线路由网关、上位机图像处理与控制子系统；其中，

所述机器人本体，用于获取用户的头部姿态、面部表情图像信息，通过无线路由网关传到上位机图像处理与控制子系统；

所述无线路由网关，用于机器人本体和上位机图像处理与控制子系统之间有数据传输和通信传输；

所述上位机图像处理与控制子系统，用于将获取到的头部姿态和表情图像进行处理，分析用户当前的情感状态，再通过无线路由网关向机器人本体发送无线指令，完成机器人与老年用户的交互过程。

上述方案中，所述机器人本体，包括视频采集模块、无线图像传输模块、无线通信模块、机动控制模块、情感表达模块和电源模块；其中，

所述视频采集模块，用于实时采集老年用户的图像信息，包括头部姿态和面部表情；

所述无线图像传输模块，与视频采集模块通过USB方式连接，用于将视频采集模块采集到的视频图像信息通过无线方式传输到上位机图像处理与控制子系统；

所述无线通信模块，位于机器人内部，与所述机动控制模块相连，用于将接收到的无线指令转换为串口数据，再将串口数据传输到机动控制模块，进而控制机器人完成指令动作；

所述机动控制模块，由控制中心和底部运动子模块组成；

所述情感表达模块，由颈部运动子模块和面部情感子模块组成；

所述控制中心同时与底部运动子模块、颈部运动子模块和面部情感子模块相连，用于将无线传输模块传送的包含无线指令的串口数据发送给相应的子模块；

所述底部运动子模块，用于根据所接收的包含底部运动指令的串口数据指做出相应的动作；

所述颈部运动子模块，用于根据所接收的包含颈部运动指令的串口数据做出相应的动作；

所述面部情感子模块，用于根据所接收的包含面部表情指令的串口数据做出相应的动作。

上述方案中，所述视频采集模块为一款WIFI视频模块，底板尺寸不超过50mm，并嵌入到机器人头部用于采集视频信息。

上述方案中，所述无线图像传输模块的视频接口为CVBS，同时支持AP、STA、SmartConfig三种无线模式。

上述方案中，所述无线通信模块，的通信模式支持串口转WIFI STA、AP、WIFI STA+WIFI AP三种转换模式。

上述方案中，所述控制中心的核心为STM32芯片板。

上述方案中，所述底部运动模块，至少包括两个主动轮及一个从动轮，为主从轮式运动底盘；其中，

所述主动轮对称的位于机器人底盘的左右两侧，通过控制中心的串口指令进行移动；主动轮的运动方式有前进、后退、左转、右转、左转圈、右转圈、停止；

所述从动轮位于机器人底盘后侧正中间位置，主动轮与从动轮形成等腰三角形的位置分布；从动轮不连接所述控制中心，用于辅助、支撑主动轮，使机器人本体移动更加流畅。

上述方案中，所述颈部运动模块由两个方向的舵机组成，每个舵机可以实现180°的旋转，从而实现机器人的抬头、低头、左转头、右转头、点头、摇头动作；

所述面部情感模块，由若干LED灯组成，用于通过组合不同位置LED灯的明暗来模拟面部表情。

上述方案中，所述上位机图像处理与控制系统，进一步用于：

采用haar-like特征做人脸检测；

当发现图像中存在人脸之后，将标记的ASM特征点模板载入，然后初始化特征点模板的位置，输出五个关键特征点的坐标；这五个关键特征点分别是：左眼瞳孔、右眼瞳孔、鼻尖、左嘴角、右嘴角；

得到五个关键特征点的坐标之后，带入判断函数进行计算，最终判断出用户的头部姿态；

在判断出用户头部姿态的基础上做二次分析，选出有益于分析用户情感状态的关键帧序列，将关键帧序列提取出，分别对图像进行预处理、面部特征提取、面部特征分类，得到高维特征向量；

将特征向量进行LBP算子降维，再将降维后的特征向量采用协作表示的方式进行分类，最终确定用户的表情类别；

根据头部姿态和表情类别分析用户当前的情感状态，通过无线路由网关向机器人本体发送无线指令，与用户进行交互。

根据本发明的另一个方面，还提供了一种养老陪护方法，所述方法基于以上技术方案中的养老陪护服务机器人系统得以实现；所述方法具体包括如下步骤：

S1：获取用户的图像信息，包括头部姿态信息和面部表情信息；

S2：对获取到的图像进行两次图像处理，包括头部姿态分析处理和面部表情分析处理，得到综合分析结果；

S3：根据所述综合分析结果生成控制指令，通过无线方式发送指令到机器人本体控制机器人做出相应动作，与老年用户进行实时交互，完成陪伴和护理工作。

本发明具有如下有益效果：

(1)本发明实施例的服务机器人系统通过机器人本体的视频采集模块采集到用户的实时动态图像，通过无线图像传输模块将图像信息发送到上位机处理，其中的图像信息包含用户的头部和表情两种信息。上位机获取到用户的图像信息后进行简单的图像预处理，然后进行两次图像分析，其中第一次对用户的头部姿态进行分析，利用ASM模型方法标注出用户的特征点位置，判断出用户的头部姿态。上位机处理系统再利用判断头部姿态的结果，挑选出对用户表情分析有益的图像帧，进而对用户的表情做深一步的分析，从而理解用户的心理状态。两次的图像处理分析过程可以更加准确、高效地分析用户的情感状态，有助于机器人实现跟好的人机交互。

(2)本方案采用无线的传输方式。上位机图像处理与控制系统作为本系统综合处理的关键，既需要接收机器人本体发送来的无线图像信息，又需要在做出图像处理后发送无线指令控制机器人做出相应的反馈动作。因此本方案中采用STA的无线方式，将无线视频传输模块和无线通信模块作为路由器的两个站点，路由器作为网络的中心节点。机器人与上位机采用无线socket的通信方式，机器人作为服务器端，上位机作为客户端。即可实现上位机与无线视频传输模块和无线通信模块的同步通信。利用此种方案，机器人可以在移动过程中实时通信，既提高了通信的效率，又避免了有线控制的繁琐。

(3)这种随头部姿态变化的表情识别养老陪护机器人系统有如下优势：利用后台PC机强大的图像处理能力分析老年用户的当前动作姿态以及情感状态，继而发送无线指令控制机器人完成更好的人机交互，从而更好地服务于老年用户，既能给老年用户带来精神上慰藉，又能便于存储分析老年用户的情感信息。

附图说明

图1为本发明第一实施例的养老陪护服务机器人系统结构示意图；

图2为本发明第一实施例的机器人本体中机动控制模块的控制板电路图；

图3为本发明第一实施例的上位机图像处理与控制系统的工作控制流程图；

图4为本发明第一实施例的机器人本体动作指令示意图；

图5为本发明第二实施例的养老陪护方法流程示意图。

具体实施方式

通过参考示范性实施例，本发明技术问题、技术方案和优点将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

本发明的养老陪护服务机器人系统及养老陪护方法，通过机器人本体采集到用户的实时动态图像，通过无线图像传输模块将图像信息发送到上位机处理，其中的图像信息包含用户的头部姿态和面部表情两种信息。上位机获取到用户的图像信息后进行简单的图像预处理，然后进行两次图像分析，其中第一次对用户的头部姿态进行分析，优选的利用ASM模型方法标注出用户的特征点位置，判断出用户的头部姿态；再利用判断头部姿态的结果，挑选出对用户表情分析有益的图像帧，进而对用户的表情做深一步的分析，从而理解用户的心理状态。两次的图像处理分析过程可以更加准确、高效地分析用户的情感状态，并根据分析结果发送无线指令控制机器人做出相应的反馈动作，既能给老年用户带来精神上慰藉，又能便于存储分析老年用户的情感信息，使服务机器人与服务对象实现更好的人机交互。

本发明服务机器人与上位机之间采用无线的传输方式。上位机图像处理与控制系统作为本发明服务机器人系统的综合处理的关键，既需要接收机器人本体发送来的无线图像信息，又需要在做出图像处理后发送无线指令控制机器人做出相应的反馈动作，因此，本发明优选的采用STA的无线方式，将无线视频传输模块和无线通信模块作为路由器的两个站点，路由器作为网络的中心节点。优选的，机器人与上位机采用无线socket的通信方式，机器人作为服务器端，上位机作为客户端，即可实现上位机与无线视频传输模块和无线通信模块的同步通信。如此，机器人可以在移动过程中实时通信，既提高了通信的效率，又避免了有线控制的繁琐。

下面结合附图和具体实施例对本发明作一步详细的说明。

第一实施例

本实施例提供了一种养老陪护服务机器人系统。图1为本实施例的养老陪护服务机器人系统结构示意图。如图1所示，本实施例的养老陪护服务机器人系统，包括：机器人本体1、无线路由网关2、上位机图像处理与控制子系统3。

所述机器人本体1，用于获取用户的头部姿态、面部表情等图像信息，通过无线路由网关2传到上位机图像处理与控制子系统3，上位机图像处理与控制子系统3将获取到的头部姿态和表情图像进行处理，分析用户当前的情感状态，再通过无线路由网关2向机器人本体1发送无线指令，完成机器人与老年用户的交互过程。

所述机器人本体1，包括视频采集模块11、无线图像传输模块12、无线通信模块13、机动控制模块14、情感表达模块15和电源模块16。

其中，所述视频采集模块11，用于实时采集老年用户的图像信息，包括头部姿态和面部表情。优选的，所述视频采集模块11为一款小型WIFI视频模块，底板尺寸不超过50mm，功耗低，稳定性好，可以将其嵌入到机器人头部用于采集视频信息。所述视频采集模块11采集到的视频最大分辨率为30万，帧率为30FPS，格式可以有MJPEG和YUYV两种。

所述无线图像传输模块12，与视频采集模块11相连，用于将视频采集模块11采集到的视频图像信息通过无线方式传输到上位机图像处理与控制子系统3。优选的，所述无线图像传输模块12的视频接口为CVBS(AV)，同时支持AP、STA、SmartConfig三种无线模式。模块的传输距离为50米，基本满足家庭使用环境。视频采集模块11与无线图像传输模块12之间通过USB方式连接。

所述无线通信模块13，放置于机器人内部，与所述机动控制模块14相连，用于将接收到的无线指令转换为串口数据，再将串口数据传输到机动控制模块14，进而控制机器人完成指令动作。优选的，所述无线通信模块13采用串口(LVTTL)与MCU通信，支持TCP/IP协议栈，用于完成串口数据与WIFI信号之间的转换。通信模式支持串口转WIFI STA、AP、WIFISTA+WIFI AP三种转换模式。

所述机动控制模块14，由控制中心141和底部运动模块142组成。图2为本实施例的机器人本体中机动控制模块14的控制板电路图。如图2所示，所述控制中心141，优选的，其核心为STM32芯片板，将其与无线通信模块13连接，通过TTL串口接收指令数据控制底部运动模块142与颈部运动模块151、面部表情模块152的行为。所述底部运动模块142，至少包括两个主动轮142A、142B及一个从动轮142C，为主从轮式运动底盘。其中的两个主动轮位于机器人底盘的左右两侧，连接所述控制中心141，通过控制中心141的串口指令进行移动。主动轮142A和142B的运动方式有前进、后退、左转、右转、左转圈、右转圈、停止等几种动作。从动轮142C位于机器人底盘后侧正中间位置，两个主动轮与从动轮形成等腰三角形的位置分布。从动轮不连接机器人的控制中心141，其作用是用于辅助、支撑主动轮，使机器人本体移动更加流畅。

所述情感表达模块15，由颈部运动模块151和面部情感模块152组成，用于接收控制中心141的指令表达相应的情感，进而实现机器人本体1与老年用户的交互。所述颈部运动模块151，由两个方向的舵机组成，每个舵机可以实现180°的旋转，从而实现机器人的抬头、低头、左转头、右转头、点头、摇头等动作。所述面部情感模块152，由若干LED灯组成，用于通过组合不同位置LED灯的明暗来模拟面部表情，以便于与用户更好地进行交互。优选的，所述LED灯为五个，其中，两个LED灯作为眼灯152A，位于机器人面部的上半部平行放置。一个LED灯作为嘴灯152B，位于机器人面部的下半部的正中间。另外两个LED灯作为耳灯152C，位于机器人头部的左右两侧。面部情感模块152根据控制中心141的串口指令来进行不同的情感表达，如，采用打开眼灯152A、打开嘴灯152B、关闭耳灯152C表示开心，用关闭眼灯152A、关闭嘴灯152B、打开耳灯152C表示悲伤，用打开眼灯152A、打开嘴灯152B、打开耳灯152C表示惊讶，用打开眼灯152A、关闭嘴灯152B、打开耳灯152C表示生气，用关闭眼灯152A、打开嘴灯152B、关闭耳灯152C表示恐惧，用关闭眼灯152A、打开嘴灯152B、打开耳灯152C表示厌恶。

所述电源模块16，优选的，其输出电压为7伏特，用于向视频采集模块11、无线图像传输模块12、无线通信模块13、机动控制模块14和情感表达模块15提供稳定的电压，为系统的整体运行提供保障。这里的供电方式可以为有线方式，也可以为无线方式，当为有线方式时，所述电源模块16同时与供电的对象电连接。

所述无线路由网关2，用于完成机器人本体1中无线视频传输模块12、无线通信模块13与上位机图像处理与控制子系统3之间的通信。具体通信方式为：机器人本体1用于图像的采集、传输，上位机图像处理与控制子系统3用于图像综合分析处理和记录。优选的，机器人本体1与上位机图像处理与控制子系统3采用无线socket的通信方式，遵循TCP/IP协议；其中机器人本体1作为socket通信中的服务器端，上位机图像处理与控制子系统3作为socket通信中的客户端。由于机器人本体1中的无线视频传输模块12和无线通信模块13都需要与上位机图像处理与控制子系统3之间进行数据传输，因此采用STA的无线方式，将无线视频传输模块12和无线通信模块13作为无线路由网关2的两个站点，图像处理与控制子系统3作为网络的中心节点，即可实现上位机图像处理与控制子系统3与无线视频传输模块12和无线通信模块13的同步通信。

所述上位机图像处理与控制系统3，用于将无线视频传输模块12发送到上位机图像处理与控制子系统3的视频信息做相关的图像处理，根据处理后的结果向机器人本体1发送无线指令。

图3为本实施例的上位机图像处理与控制系统的工作控制流程图。如图3所示，优选的，对老年用户头部姿态的分析，采用ASM面部特征点定位算法。该算法首先采用haar-like特征做人脸检测，例如，当检测到超过20帧图片出现人脸时，则判断为面部图像。这里也可以定义其他判断方式。当发现图像中存在人脸之后，将标记的ASM特征点模板载入，然后初始化特征点模板的位置，输出五个关键特征点的坐标。这五个关键特征点分别是：左眼瞳孔、右眼瞳孔、鼻尖、左嘴角、右嘴角，得到五个关键特征点的坐标之后，可以带入判断函数进行计算，最终判断出用户的头部姿态。对于老年用户的面部表情分析，是在前一步的基础上做二次分析。优选的，上位机图像处理与控制系统3会根据对用户的头部分析结果进行判断，选出有益于分析用户情感状态的关键帧序列，将关键帧序列提取出，在对用户的情感状态分析时，只需对关键帧序列进行表情识别分析，从而提高系统的分析效率和准确性。上位机图像处理与控制系统3在得到用户图像的关键帧序列之后，分别对图像进行预处理、面部特征提取、面部特征分类。其中的图像预处理过程，包括图像灰度处理、直方图均衡化等。在面部特征提取阶段，首先分割出对于情感表达影响最关键的五个部位，分别是左眉毛、右眉毛、左眼睛、右眼睛、嘴巴，再用Gabor核函数作用于上述图像，Gabor核函数采用5个尺度8个方向，得到一系列的特征向量。在最终的表情分类之前，需要将这些高维特征向量进行LBP算子降维，再将降维后的特征向量采用协作表示的方式进行分类，最终确定用户的表情属于哪一类。例如，开心表情、悲伤表情、厌恶表情、生气表情、恐惧表情等。这里对表情的最终判断，可以通过定义同一种表情出现的次数超过一定的阈值，如5次，则判断用户即为此表情。通过两次的图像分析处理，上位机图像处理与控制系统3可以判断出用户的情感状态，根据不同的判断结果发送不同的无线socket指令给机器人本体1，进而控制机器人本体1做出相应的动作。

图4为本实施例的机器人本体动作指令示意图。如图4所示，无线通信模块13接收到上位机图像处理与控制系统3发来的指令数据包，将无线socket指令转换为TTL串口指令，传输给机动控制模块14中的控制中心141。所述控制中心141将串口指令中的底部运动指令发送给底部运动模块142，通过驱动两侧电机带动两个主动轮偏转，完成前进、后退、左转、右转、左转圈、右转圈、停止等动作；所述控制中心141将颈部运动指令发送给情感表达模块15中的颈部运动模块151，通过两具自由度的头部电机带动机器人头部偏转，完成头部的左转头、左右居中、右转头、抬头、上下居中、低头、点头、摇头等动作；所述控制中心141将面部运动指令发送给情感表达模块15中的面部表情模块152，通过驱动眼部、嘴部、耳部LED灯152A、152B、152C的开闭实现睁开眼睛、闭上眼睛、张开嘴巴、关闭嘴巴及耳部开闭，模拟各种表情，来传达不同的情感状态。综合以上，从而控制机器人本体1做出不同的运动状态，同时表达出不同的情感状态。

本实施例的养老陪护服务机器人，通过机器人本体1采集到用户的实时动态图像，通过无线图像传输模块将图像信息发送到上位机处理；上位机获取到用户的图像信息后进行简单的图像预处理，然后进行两次图像分析，准确、高效地分析用户的情感状态，并根据分析结果发送无线指令控制机器人做出相应的反馈动作，既能给老年用户带来精神上慰藉，又能便于存储分析老年用户的情感信息，使服务机器人与服务对象实现更好的人机交互。同时，本实施例将无线视频传输模块和无线通信模块作为路由器的两个站点，路由器作为网络的中心节点，使得上位机图像处理与控制系统既可以接收机器人本体发送来的无线图像信息，也可以在做出图像处理后发送无线指令控制机器人做出相应的反馈动作，实现上位机与无线视频传输模块和无线通信模块的同步通信，机器人在移动过程中实时通信，既提高了通信的效率，又避免了有线控制的繁琐。

第二实施例

本实施例提供了一种养老陪护方法，所述方法以第一实施例的养老陪护机器人系统为实现载体。图5所示为本实施例的所述养老陪护方法的流程示意图。如图5所示，所述方法通过第一实施例的养老陪护机器人进行实现，包括以下步骤：

S1：获取老年用户的图像信息，包括头部姿态信息和面部表情信息。这一步骤通过所述养老陪护机器人的机器人本体1的视频采集模块11实现。

S2：对获取到的图像进行两次图像处理，包括头部姿态分析处理和面部表情分析处理。这一步骤通过所述养老陪护机器人的上位机图像处理与控制系统3实现。其中，所述机器人本体1与所述上位机图像处理与控制系统3之间的信息交互与传输通过无线路由网关2实现。

S3：根据综合分析结果生成控制指令，通过无线方式发送socket指令到机器人本体装置，控制机器人动作，与老年用户进行实时交互，完成陪伴和护理工作。这一步骤通过所述养老陪护机器人本体1的无线通信模块13得以实现。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。