家庭服务机器人运行状态自主认知方法及系统

摘要

本发明公开了家庭服务机器人运行状态自主认知方法及系统，包括：采集机器人内部运行数据和机器人外部环境数据；基于采集的数据对机器人运行状态进行自主评估；根据自主评估结果，对机器人做出相应的决策和规划；根据决策和规划发出控制指令，完成机器人预定的服务任务；所述对机器人运行状态进行自主评估，是指过构造多线程神经网络对机器人运行状态数据中的时空特征进行自适应学习，完成对机器人运行状态自主认知模型的训练和构建，通过决策层的多级融合策略实现对机器人运行状态的识别。

说明书

技术领域

本公开涉及家庭服务机器人技术领域，特别是涉及家庭服务机器人运行状态自主认知方法及系统。

背景技术

本部分的陈述仅仅是提高了与本公开相关的背景技术，并不必然构成现有技术。

大力发展家庭服务机器人是解决人口老龄化等问题的有效途径，但服务机器人的可靠性和安全性目前仍然较大不足，已成为限制其大规模推广应用的主要瓶颈因素之一。机器人运行状态自主认知方法能够在故障发生初期及时检测并诊断出故障类型，有效提升机器人的安全性和可靠性，具有重要的理论意义和实际应用价值。

传统的机器人运行状态自主认知方式大致可以划分为：基于数学模型的方法、基于专家系统的方法、基于模式识别的方法和基于信号处理的方法。基于数学模型的机器人运行状态自主认知方法在故障机理阐述方面有着独到的优势，但需要建立机器人精确的数学模型。由于工业机械臂的运动学和动力学理论相对完善，获取其精确数学模型获取相对容易，基于模型的机器人运行状态自主认知方法大多适用于工作环境固定、工作流程相对单一的工业机械臂的运行状态评价问题。家庭服务机器人是一类复杂耦合非线性的机电一体化设备，且其工作环境和服务任务多变，获取其精确的数学模型存在较大困难，因此，传统基于数学模型的机器人运行状态认知方法无法直接有效的用于家庭服务机器人。基于专家系统的机器人运行状态认知方法需要大量专家的专门知识，专家系统的运行状态评价精度与不同专家的经验知识具有直接的关系，评价客观性存在一定不足，且适用领域较窄。基于模式识别(如神经网络、支持向量机)的机器人运行状态认知方法在精度方面较前述两种方法有较好提升，但该类方法最关键的特征选择与提取环节需要依靠人工完成，难以保证所得特征是最优特征。基于信号处理的运行状态认知方法通过对信号进行时频域变换和分析实现对机器人设备的运行状态监测，但该类方法难以同时充分利用和挖掘机器人运行所产生的多源异构传感器数据。

综上，传统的机器人运行状态自主认知方式的主要缺陷有：

(1)数学模型精度对机器人运行状态自主认知结果有很大影响，而服务机器人的复杂机电结构和工作环境决定了其精确数学模型获取困难。

(2)服务机器人的运行状态样本数据是既包括了空间分布特性(如工作环境、故障部位等)又蕴含了时间变化规律(如故障的演变与传播等)的动态多模异构时序数据序列，传统的运行状态认知方法无法充分利用上述时空特征信息，影响机器人自主运行状态认知精度，导致机器人运行状态认知精度较低。

(3)没有统一的具备运行状态自主认知能力的机器人体系结构，导致机器人运行状态评估实施困难，另外没有设计相应的安全控制策略，无法根据机器人当前状态信息选择合适的安全控制策略，无法保证机器人控制子系统及冗余监控控制器模块故障等特殊情况下的机器人使用安全。

因此，亟需一种能够充分利用机器人自身装备的多源异构传感器数据，有效提取机器人动态多模异构时序运行状态样本数据中所蕴藏的深层时空特征，充分挖掘机器人运行状态知识的方法及系统，实现对机器人运行状态的有效监测。

发明内容

为了解决现有技术的不足，本公开提供了家庭服务机器人运行状态自主认知方法及系统，利用机器人装备的多种传感器数据，通过结合深度神经网络和多级决策融合等方法，能够对机器人的运行状态有效监测，实现在机器人故障出现的初期对故障类别准确识别，可有效提升家庭服务机器人的安全性和可靠性，对于促进家庭服务机器人的实际应用具有重要意义。

第一方面，本公开提供了家庭服务机器人运行状态自主认知方法；

家庭服务机器人运行状态自主认知方法，包括：

采集机器人内部运行数据和机器人外部环境数据；

基于采集的数据对机器人运行状态进行自主评估；根据自主评估结果，对机器人做出相应的决策和规划；根据决策和规划发出控制指令，完成机器人预定的服务任务；

所述对机器人运行状态进行自主评估，是指过构造多线程神经网络对机器人运行状态数据中的时空特征进行自适应学习，完成对机器人运行状态自主认知模型的训练和构建，通过决策层的多级融合策略实现对机器人运行状态的识别。

作为一种可能的实现方式，所述基于采集的数据对机器人运行状态进行自主评估；根据自主评估结果，对机器人做出相应的决策和规划；根据决策和规划发出控制指令，完成机器人预定的服务任务的具体步骤为：

步骤(1)：采集机器人新的内部运行数据和新的外部环境数据；对采集的数据进行归一化预处理；

步骤(2)：将预处理得到的数据输入到预先训练好的机器人运行状态自主认知模型中；根据模型输出结果，首先判断机器人主控制器是否出现故障，如果无故障，则进入步骤(3)；如果有故障则进入步骤(4)；

步骤(3)：判断机器人是否正常运行，如果正常，则机器人正常执行服务任务；如果异常，则提示初期故障信息；

统计故障时间，判断故障时间是否超过设定时间阈值，如果超过就驱动断电，机器人停止动作，提示故障信息；如果否，机器人正常执行服务任务；

步骤(4)：判断冗余监控控制器是否发生故障，如果是，则控制驱动系统断电，机器人停止动作，提示故障信息，结束；如果否，则冗余监控控制器代替主控制器继续完成当前服务任务；完成当前服务任务后，控制驱动系统断电，机器人停止工作，提示故障信息，结束。

作为一种可能的实现方式，机器人运行状态自主认知模型的训练步骤为：

步骤(21)：数据采集与预处理：

采集机器人传感器数据，采样频率大于机器人控制频率的2倍，设在运行状态K下采集得到的N帧传感器数据序列其中，为在运行状态K下采集到的第i帧样本；对采集得到的数据进行预处理，剔除野值后，对数据进行归一化，消除不同传感器量纲不同带来的影响；所述运行状态，包括：故障状态和非故障状态；

步骤(22)：机器人运行状态自主认知模型的构建与训练：

构建机器人运行状态自主认知模型，所述机器人运行状态自主认知模型，包括：依次连接的数据预处理层、特征学习层、特征融合层、决策层和池化层；其中数据预处理层的输入数据为步骤(21)预处理得到的数据；池化层输出数据为最终机器人运行状态；

训练机器人运行状态自主认知模型：

数据预处理层：机器人运行状态数据同时包含空间和时间两个维度的分布和变化特性；

设预处理后的运行状态样本数据序列X＝[X₁,X₂,...,X_N]^T共有N帧数据，计算运行状态数据流，即分别用第i帧数据减去N帧数据的均值，所有帧的计算结果组成机器人运行状态样本数据流栈L_i；

对预处理后的状态样本数据求帧间差分，经高通滤波后，叠加成一阶差分栈

其中，和表示i′帧的帧间差分，c(X⁽ⁱ⁾)代表第i帧与第i+1帧的帧间差分，表示属性为m*n维的第i帧数据，表示属性为m*n维的第i+1帧数据，T为高通滤波器的阈值。

对一阶差分栈继续求差分，经高通滤波后，得到二阶差分栈依次迭代得到高阶差分栈其中n为差分栈阶次；在实施过程中，差分栈阶次n的取值根据机器人运行状态自主认知模型训练精度进行调整，选择使模型训练精度最高的n即可。

特征学习层：选用三线程卷积神经网络对预处理数据分别进行特征提取，所述三线程卷积神经网络，分别包括：并列的第一、第二和第三卷积神经网络；

利用第一个卷积神经网络对单帧机器人运行状态样本数据X_i进行空间特征提取；

利用第二个卷积神经网络对单帧机器人运行状态样本数据流栈L_i进行时间特征提取；

利用第三个卷积神经网络对单帧机器人帧间差分栈进行时间特征提取；

特征融合层：将第一卷积神经网络输出k个置信值，与第二和第三卷积神经网络联合输出的k个置信值，串联构成2k维的时空联合决策空间；

决策层：采用支持向量机实现时空线程的融合，选择支持向量机输出概率最大的状态类别作为第i个数据帧的运行状态类别属性；

池化层：得到运行数据序列X的各帧属性判别标签，实现对最终运行数据序列X的整体属性标签判别：首先采用窗口长度为g的滑动窗口对N帧数据属性类别标签进行无重合的池化运算，然后对池化结果进行投票，选择个数最多的属性标签作为运行数据序列X的整体属性标签。

作为一种可能的实现方式，第一个卷积神经网络的特征提取结果为P_s：

其中，F为特征映射个数，代表第i个特征映射对应的激活函数。P_s的行向量以全连接的方式与特征融合层的k个节点相连，为了保证训练速度及泛化能力，连接权重按公式(3)的规则计算：

第二个卷积神经网络和第三个卷积神经网络联合输出P_t以及对应的权重W_t。

其中，P_t为时间线程联合输出，cat()表示矩阵左右拼接函数，W_t表示时间线程联合权重，Y为标签，ξ∈(0,0.1]为随机数，r²为卷积核大小，N为数据序列中的帧数，F为特征映射个数。

因此，在申请实施例中，将机器人装备的多种传感器数据作为家庭服务机器人运行状态自主认知的原始数据样本，通过构造多线程神经网络对运行状态数据中的深层时空特征进行自适应学习，完成对机器人运行状态自主认知模型的训练和构建，通过决策层的多级融合策略实现对机器人运行状态的精准认知。

第二方面，本公开还提供了家庭服务机器人运行状态自主认知系统；

家庭服务机器人运行状态自主认知系统包括：感知系统、上位机系统、下位机系统、驱动系统、移动平台及执行机构；

上位机系统根据感知系统采集的数据信息对机器人运行状态进行自主评估，根据机器人运行状态评估信息以及服务任务选择相应的安全控制策略，完成相应的决策和规划；

所述对机器人运行状态进行自主评估，是指过构造多线程神经网络对机器人运行状态数据中的时空特征进行自适应学习，完成对机器人运行状态自主认知模型的训练和构建，通过决策层的多级融合策略实现对机器人运行状态的识别。

所述感知系统分别与上位机系统、下位机系统及驱动系统相连；所述上位机系统还与下位机系统相连；所述下位机系统还与驱动系统相连；所述驱动系统还与机器人移动平台及执行机构相连。

所述感知系统包括内部传感器、外部传感器和可扩展传感器，所述外部传感器负责采集机器人工作环境信息，所述内部传感器负责采集机器人本体执行机构、移动平台及驱动系统的运行参数；感知系统采集机器人内部运行数据和机器人外部环境数据。

所述下位机系统，包括：主控制器、冗余监控控制器及应急管理模块；所述主控制器接收上位机系统的决策指令，完成对驱动系统的控制功能；所述冗余监控控制器实现对主控制器的监控和热备份，当主控制器故障时，冗余监控控制器可接管主控制器完成相应控制任务；所述应急管理模块由硬件看门狗电路构成，当底层主控制器及监控核心同时故障时，应急管理模块通过对驱动器及执行机构硬件断电的方式确保机器人安全。

所述驱动系统负责完成对移动平台及执行机构的驱动，完成机器人预定的服务任务。

与现有技术相比，本公开的有益效果是：

(1)提出了基于多线程深度神经网络和多级融合策略的机器人运行状态自主认知模型的训练与构建方法，实现了机器人运行状态样本数据深层时空特征协同自适应提取，避免了动态多模时序运行状态样本数据深层特征时空关系割裂的问题，提高了机器人运行状态自主认知的精度。

(2)所提方法以机器人自身装备的传感器数据作为出发点，通过结合机器学习和决策融合实现了对数据中蕴藏的运行状态知识的挖掘，解决了传统机器人运行状态自主认知方法对机器人数学模型精度要求高的问题。

(3)所提系统和方法无需专门增加配置机器人传感器或计算机等其他硬件设备，在原有的家庭服务机器人基础架构上进行了相应软件算法模块的增加，降低了机器人运行状态自主认知的成本。

(4)所提系统结构能够兼容现有的家庭服务机器人体系结构，具有实施容易的优点，有利于机器人运行状态自主认知方法的快速部署。

(5)所提的安全控制策略具备一定的冗余能力，能够在机器人底层控制核心和监控核心同时出错的极端情况下保证机器人系统的使用安全。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为具备运行状态自主认知能力的家庭服务机器人体系结构图；

图2为具备运行状态自主认知能力的家庭服务机器人的工作流程图；

图3为机器人运行状态自主认知模型训练原理图；

图4为基于运行状态信息的机器人安全控制策略。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明提出了家庭服务机器人运行状态自主认知方法及系统。将机器人装备的多种传感器数据作为家庭服务机器人运行状态自主认知的原始数据样本，通过构造多线程神经网络对机器人运行状态数据中的时空特征进行自适应学习，完成对机器人运行状态认知模型的训练和构建，通过机器人运行状态认知模型实现对机器人运行状态的识别。

如图1所示，家庭服务机器人运行状态自主认知系统包括：感知系统、上位机系统、下位机系统、驱动系统、移动平台及执行机构；

上位机系统根据感知系统采集的数据信息对机器人运行状态进行自主评估，根据机器人运行状态评估信息以及服务任务选择相应的安全控制策略，完成相应的决策和规划；

所述对机器人运行状态进行自主评估，是指过构造多线程神经网络对机器人运行状态数据中的时空特征进行自适应学习，完成对机器人运行状态自主认知模型的训练和构建，通过决策层的多级融合策略实现对机器人运行状态的识别。

所述感知系统分别与上位机系统、下位机系统及驱动系统相连；所述上位机系统还与下位机系统相连；所述下位机系统还与驱动系统相连；所述驱动系统还与机器人移动平台及执行机构相连。

所述感知系统包括内部传感器、外部传感器和可扩展传感器，所述外部传感器负责采集机器人工作环境信息，所述内部传感器负责采集机器人本体执行机构、移动平台及驱动系统的运行参数；感知系统采集机器人内部运行数据和机器人外部环境数据。

所述下位机系统，包括：主控制器、冗余监控控制器及应急管理模块；所述主控制器接收上位机系统的决策指令，完成对驱动系统的控制功能；所述冗余监控控制器实现对主控制器的监控和热备份，当主控制器故障时，冗余监控控制器可接管主控制器完成相应控制任务；所述应急管理模块由硬件看门狗电路构成，当底层主控制器及监控核心同时故障时，应急管理模块通过对驱动器及执行机构硬件断电的方式确保机器人安全。

所述驱动系统负责完成对移动平台及执行机构的驱动，完成机器人预定的服务任务。

如图2所示，具备运行状态自主认知能力的家庭服务机器人工作流程，包括：

(1)感知：在任务执行过程中，内部传感器实现对机器人本体参数的监测；外部传感器实现对机器人工作环境的监测。

(2)运行状态评估：上位机系统的运行状态评估子系统根据感知模块的数据信息，通过本发明所提的机器人运行状态自主认知方法，挖掘数据中蕴藏的机器人运行状态知识，实现对机器人运行状态的自主评估。

(3)决策/规划：上位机系统的决策子系统，根据机器人所处的外部环境及机器人的运行状态，基于服务任务选择合适的安全控制策略，做出相应的决策和规划，并将决策规划结果反馈至底层主控制器。

(4)驱动控制：底层主控制器根据决策和规划结果发出运动控制指令至驱动模块，驱动模块实现机器人移动平台及执行机构的驱动，完成预定的服务任务。

如图3所示，机器人运行状态自主认知方法；

机器人运行状态自主认知方法主要包括数据采集与预处理，机器人运行状态自主认知模型训练及构建，决策层融合等核心步骤，具体如下：

(1)数据采集与预处理

首先，采集机器人传感器数据，采样频率一般大于机器人控制频率(控制周期倒数)的2倍，设在运行状态K下采集得到的N帧传感器数据序列其中，为第i帧样本。对采集得到的数据进行预处理，剔除野值后，对数据进行归一化，消除不同传感器量纲不同带来的影响。

(2)机器人运行状态自主认知模型训练与构建

机器人运行状态数据同时包含了空间和时间两个维度的分布和变化特性。设预处理后的运行状态样本数据序列X＝[X₁,X₂,...,X_N]^T共有N帧数据，采用平均流提取方法计算故障数据流，对计算结果按照顺序叠加在一起形成运行状态样本数据流栈L_i；

对预处理后的机器人运行状态数据，按照式(1)求帧间差分，经高通滤波后，叠加成一阶差分栈

其中，和表示i′帧的帧间差分，代表第i帧与第i+1帧的帧间差分，表示属性为mxn维的第i帧数据，表示属性为mxn维的第i+1帧数据，T为高通滤波器的阈值。对一阶差分栈继续求差分，经高通滤波后，可得二阶差分栈依次迭代可得高阶差分栈其中n为差分栈阶次。在实施过程中，差分栈阶次n的取值可根据机器人运行状态自主认知模型训练精度进行调整，选择使模型训练精度最高的n即可。

然后，利用三线程卷积神经网络分别对对单帧机器人运行状态样本数据X_i、运行状态样本数据流栈L_i、帧间差分栈进行空间和时间维度上的特征学习。记空间线程的输出为P_s：

式中，F为特征映射个数，代表第i个特征映射对应的激活函数。P_s的行向量以全连接的方式与k个输出节点相连，为了保证训练速度及泛化能力，连接权重可以按如下规则计算：

类似的，可以计算得到两个时间线程的联合输出P_t以及对应的权重W_t。

其中，P_t为时间线程联合输出，cat()表示矩阵左右拼接函数，W_t表示时间线程联合权重，其值可根据P_t计算，Y为标签，ξ∈(0,0.1]为随机数，r²为卷积核大小，N为数据序列中的帧数，F为特征映射个数。

(3)特征层和决策层的多级融合

将深度神经网络时间和空间线程将分别输出的k个置信值拼接构成2k维的时空联合决策空间，完成特征层的融合工作；

采用支持向量机实现时空线程的决策层融合，选择支持向量机输出概率最大的状态类别作为第i个数据帧的运行状态类别属性。

最后，得到故障数据序列X的各帧属性判别标签，采用两级多数池化策略或投票法实现对最终运行状态数据序列X的整体属性标签判别。

如图4所示，根据机器人运行状态信息，选择合适的安全控制策略；

采集新样本X_new，对数据归一化操作后，将归一化后的数据输入训练好的机器人运行状态自主认知模型。首先，判断机器人底层主控制器是否故障，若主控制器无故障，则进一步判断机器人系统有无其它故障，若机器人主控制器正常但系统其它部位存在故障，则通过人机交互子系统提示故障信息，并调节相应控制量输出抵消初期微小故障带来的影响，当故障持续一定时间后，根据故障情况，主动停机以确保安全；若主控制器故障则通过冗余监控控制器接管机器人底层控制，完成当前服务任务后，对驱动系统断电，并通过人机交互子系统提醒用户介入；若主控制器和冗余监控控制器同时失效，则机器人运行状态认知模块直接控制机器人底层应急模块使得机器人硬件系统直接断电，停止工作以保证安全；若整个机器人系统无任何故障，则机器人按照正常流程执行服务任务直至任务完成。

本发明所提机器人运行状态自主认知方法从历史和当前在线数据出发，通过深度学习技术挖掘数据中蕴藏的运行状态知识实现对机器人系统运行状态的自主认知，避免了因数学模型不精确带来的弊端。

本发明通过结合多线程深度神经网络和多级融合策略实现了机器人运行状态样本数据深层时空特征协同自适应提取，避免了动态多模时序运行状态样本数据深层特征时空关系割裂的问题，提高了机器人运行状态自主认知的精度，保证了其安全性和可靠性。

提出一种具备运行状态自主认知能力的家庭服务机器人体通用体系结构和安全控制策略，使得机器人运行状态自主认知方法部署更加规范和便捷，另外，通过所提体系结构和安全控制策略能够处理机器人控制子系统及冗余监控控制器模块故障等特殊情况，进一步确保机器人使用安全。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。