状态识别模型训练方法、状态识别方法、装置及设备

摘要

本申请的实施例申请了一种状态识别模型训练方法、状态识别方法、装置及设备，通过对接触式信息采集装置采集的直接检测信息进行计算得到的样本状态识别结果，进而不需要人为进行标签的添加，且该样本状态识别结果是基于待建模对象的接触操作得到的，保证了标签的准确性，即提高了训练完成的状态识别模型的状态识别的准确性。并通过将非接触式信息采集装置采集的间接检测信息作为训练样本，将接触式信息采集装置采集的直接检测信息的样本状态识别结果作为样本标签，以训练初始状态识别模型，使得到的状态识别模型具备对间接检测信息进行状态识别的能力，进而可以实现仅采集待建模对象的间接检测信息便得到待建模对象状态的效果。

说明书

技术领域

本申请涉及人工智能技术领域，具体而言，涉及一种状态识别模型训练方法、状态识别方法、装置及电子设备。

背景技术

目前，随着人们生活水平的不断提高，用户对其状态的监测也越来越重视。因此，出现了各种各样的监测设备。例如，可穿戴设备或毫米波雷达监测设备等。可穿戴设备以智能手环为例，在监测用户状态的过程中，以其可接触用户的优势使其精准判断加速度信号的信号来源，以实现对用户状态的精准确定。

但是，为了准确获知用户的状态，需要用户长期佩戴各种信号采集器，这在日常生活中较难实现，且会对用户造成束缚感，引起用户不适。

因此，如何在对用户的状态进行识别时提高识别准确性以及用户的使用体验成为亟需解决的技术问题。

发明内容

本申请提供了一种状态识别模型训练方法、状态识别方法、装置及电子设备，以在对用户的状态进行识别时提高识别准确性以及用户的使用体验。

根据本申请实施例的第一方面，提供了一种状态识别模型训练方法，该方法包括：根据待建模对象对接触式信息采集装置执行的接触操作，采集待建模对象的直接检测信息；以及获取非接触式信息采集装置采集的待建模对象的间接检测信息；对直接检测信息进行状态识别处理，得到样本状态识别结果；将间接检测信息输入初始状态识别模型中进行预测，得到样本状态预测结果；根据样本状态预测结果与样本状态识别结果之间的损失值对初始状态识别模型进行参数调整，得到状态识别模型。

在一些实施例中，将间接检测信息输入初始状态识别模型中进行预测，得到样本状态预测结果，包括：将间接检测信息输入至初始状态识别模型的编码网络进行编码处理，得到编码网络输出的编码向量；对编码向量进行自注意力权重计算，得到自注意力权重，并通过注意力权重调整编码向量，得到自注意力编码向量；将自注意力编码向量输入至初始状态识别模型的解码网络进行解码处理，得到解码网络输出的样本状态预测结果。

在一些实施例中，间接检测信息包括图像信息、音频信息和文本信息，自注意力编码向量包括图像自注意力编码向量、音频自注意力编码向量和文本自注意力编码向量；将自注意力编码向量输入至初始状态识别模型的解码网络进行解码处理，得到解码网络输出的样本状态预测结果，包括：根据图像自注意力编码向量、音频自注意力编码向量和文本自注意力编码向量分别对应的信息权重，对图像自注意力编码向量、音频自注意力编码向量和文本自注意力编码向量进行融合处理，得到融合向量；对融合向量进行分类处理，得到样本状态预测结果。

在一些实施例中，直接检测信息包括待建模对象的脉搏信息；对直接检测信息进行状态识别处理，得到样本状态识别结果，包括：根据脉搏信息计算待建模对象的心率信息以及呼吸信息；根据心率信息与呼吸信息之间的互谱功率以及相干性，得到待建模对象的心肺耦合动力学频谱；根据心肺耦合动力学频谱确认直接检测信息对应的样本状态识别结果。

在一些实施例中，在根据样本状态预测结果与样本状态识别结果之间的损失值对初始状态识别模型进行参数调整，得到状态识别模型之后，还包括：接收状态描述信息，状态描述信息用于描述待建模对象的状态；根据状态描述信息对状态识别模型进行更新，得到更新后的状态识别模型。

在一些实施例中，根据状态描述信息对状态识别模型进行更新，得到更新后的状态识别模型，包括：检测状态描述信息与样本状态识别结果是否匹配；若不匹配则获取状态描述信息对应的描述时间段；获取处于描述时间段内的间接检测信息；将描述时间段内的间接检测信息输入状态识别模型中进行预测，得到样本状态更新预测结果；根据样本状态更新预测结果与状态描述信息之间的损失值对状态识别模型进行参数调整，得到更新后的状态识别模型。

根据本申请实施例的第二方面，提供了一种状态识别方法，该方法包括：获取非接触式信息采集装置采集的待识别对象的间接检测信息；将间接检测信息输入至状态识别模型中进行状态识别处理；其中，状态识别模型根据上述状态识别模型训练方法得到；获取状态识别模型输出的目标状态识别结果。

根据本申请实施例的第三方面，提供了一种状态识别模型训练装置，装置包括：样本信息采集模块，配置为根据待建模对象对接触式信息采集装置执行的接触操作，采集待建模对象的直接检测信息；以及根据非接触式信息采集装置采集待建模对象的间接检测信息；样本状态识别结果确定模块，配置为根据预设的状态识别算法对直接检测信息进行计算，根据计算结果得到直接检测信息对应的样本状态识别结果；预测模块，配置为将间接检测信息输入初始状态识别模型中进行预测，得到样本状态预测结果；状态识别模型确定模块，配置为根据样本状态预测结果与样本状态识别结果之间的损失值对初始状态识别模型进行参数调整，得到状态识别模型。

根据本申请实施例的第四方面，提供了一种状态识别装置，装置包括：间接检测信息采集模块，配置为获取非接触式信息采集装置采集的待识别对象的间接检测信息；识别模块，配置为将间接检测信息输入至状态识别模型中进行状态识别处理；其中，状态识别模型根据上述的状态识别模型训练方法得到，待识别对象对应状态识别模型训练方法中的待建模对象；结果获取模块，配置为获取状态识别模型输出的目标状态识别结果。

根据本申请实施例的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如上述的状态识别模型训练方法或状态识别方法。

根据本申请实施例的第六方面，提供了一种电子设备，包括：处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述的状态识别模型训练方法或状态识别方法。

本申请的示例性实施例具有以下有益效果：

本申请实施例提供的状态识别模型训练方法，第一方面，通过对接触式信息采集装置采集的直接检测信息进行计算得到的样本状态识别结果，进而不需要人为进行标签的添加，且该样本状态识别结果是基于待建模对象的接触操作得到的，保证了标签的准确性，即提高了训练完成的状态识别模型的状态识别的准确性。第二方面，通过将非接触式信息采集装置采集的间接检测信息作为训练样本，将接触式信息采集装置采集的直接检测信息的样本状态识别结果作为样本标签，以训练初始状态识别模型，使得到的状态识别模型具备对间接检测信息进行状态识别的能力，进而可以实现仅采集待建模对象的间接检测信息便得到待建模对象状态的效果。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出本申请实施例提供的状态识别模型训练方法的实施环境的示意图；

图2示出本申请实施例提供的状态识别模型训练方法的流程图；

图3示出本申请实施例提供的信息授权界面的示意图；

图4示出本申请实施例提供的采集直接检测信息以及间接检测信息的示意图；

图5示出本申请实施例提供的接触式信息采集装置采集直接检测信息的示意图；

图6示出本申请另一实施例提供的状态识别模型训练方法的流程图；

图7示出本申请实施例提供的对间接检测信息进行编码的示意图；

图8示出本申请实施例提供的根据样本状态预测结果与样本状态识别结果对初始状态识别模型进行训练的示意图；

图9示出本申请另一实施例提供的状态识别模型训练方法的流程图；

图10示出本申请实施例提供的状态描述信息收集界面的示意图；

图11示出本申请实施例提供的状态识别方法的实施环境的示意图；

图12示出本申请实施例提供的状态识别方法的流程图；

图13示出本申请实施例提供的状态识别模型训练过程与状态识别过程的示意图；

图14示出本申请实施例中状态识别模型训练装置的结构示意图；

图15示出本申请实施例中状态识别装置的结构示意图；

图16示出本申请实施例中电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

还需要说明的是：在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图1是本发明实施例提供的一种状态识别模型训练方法的实施环境的示意图，参见图1，该实施环境中包括接触式信息采集装置110、非接触式信息采集装置120和服务器130，接触式信息采集装置110和非接触式信息采集装置120通过无线网络或有线网络与服务器130相连。

本申请实施例提供的状态识别模型训练方法可以由接触式信息采集装置110或非接触式信息采集装置120执行，也可以由服务器130执行，本申请实施例对此不加以限定。在示例性实施例中，对于本申请实施例提供的状态识别模型训练方法由服务器130执行的情况进行说明。

接触式信息采集装置110为需要待建模对象进行接触的信息采集设备，其包括但不限于智能手环、智能手表、智能眼镜、智能头箍、智能床垫等。非接触式信息采集装置120为不需要待建模对象进行接触的信息采集设备，其包括但不限于智能音响、智能手机、平板电脑等。接触式信息采集装置110和非接触式信息采集装置120用于对待建模对象的相关信息进行采集。

服务器130用于对接触式信息采集装置110和非接触式信息采集装置120上传的待建模对象的相关信息进行处理。此处所提及的服务器130可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器等等。

可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible MarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet ProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

本领域技术人员可以知晓，上述接触式信息采集装置110和非接触式信息采集装置120的数量可以更多或更少。比如上述接触式信息采集装置110和非接触式信息采集装置120可以仅为一个，或者上述接触式信息采集装置110和非接触式信息采集装置120为几十个或几百个，或者更多数量，本申请实施例对接触式信息采集装置110和非接触式信息采集装置120的数量以及类型不加以限定。

上述状态识别模型训练方法得到的状态识别模型可以应用于睡眠状态识别、健康状态识别、运动状态识别等任务中，本申请对此不进行限制。

以状态识别模型应用于睡眠状态识别为例，接触式信息采集装置110可以采集待建模对象睡眠相关的直接检测信息，非接触式信息采集装置120可以采集待建模对象睡眠相关的间接检测信息，将睡眠相关的直接检测信息和间接检测信息发送给服务器130。服务器130将直接检测信息对应的样本状态识别结果作为间接检测信息对应的样本标签，以对初始状态识别模型进行训练，得到训练完成的状态识别模型，该状态识别模型可以对非接触式信息采集装置120采集的间接检测信息进行睡眠状态识别。进一步地，服务器130可以基于状态识别模型识别到的睡眠状态来执行对应的处理过程，例如向用户展示睡眠报告，向用户播放帮助睡眠的音乐，调整用户睡眠环境的温度等操作。

需要说明的是，本申请实施例提供的状态识别模型训练方法可以应用于各种基于状态识别模型训练功能的产品中，上述描述仅仅是为了便于理解而进行的，并不能对本申请造成不当限定。

请参阅图2，图2是本申请的一示例性实施例示出的状态识别模型训练方法的流程图。该状态识别模型训练方法可以应用于图1所示的实施环境，并由该实施环境中的服务器具体执行。应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。

如图2所示，在一示例性的实施例中，状态识别模型训练方法至少包括步骤S210至步骤S240，详细介绍如下：

步骤S210，根据待建模对象对接触式信息采集装置执行的接触操作，采集待建模对象的直接检测信息；以及获取非接触式信息采集装置采集的待建模对象的间接检测信息。

需要说明的是，直接检测信息是指需要与待建模对象进行接触才能进行采集的信息，例如，当接触式信息采集装置为智能手环时，待建模对象可以将智能手环进行佩戴，进而根据佩戴后该待建模对象相对于该智能手环的接触操作采集该待建模对象的血氧饱和度、体温、心率等信息，得到直接检测信息。间接检测信息是指不需要与待建模对象进行接触就能进行采集的信息，例如，当非接触式信息采集装置为图像获取装置时，可以通过图像获取装置采集待建模对象的相关图像，以得到间接检测信息。

可以理解的是，在本申请的具体实施方式中，涉及到待建模对象的图像、血氧饱和度、体温、心率等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

示例性的，在实际应用中，为了使服务器可以获取到接触式信息采集装置和非接触式信息采集装置采集的数据，用户还可以预先对接触式信息采集装置和非接触式信息采集装置进行授权，以使接触式信息采集装置和非接触式信息采集装置具备采集的待建模对象的数据的权限。该授权过程可以为：接触式信息采集装置和非接触式信息采集装置在接收到状态识别模型建立指令之后，可以弹出如图3所示的信息授权界面，该授权界面中可以包括多个可以进行采集的数据项，当用户勾选对应数据项之后，即完成了对该数据项的授权，当用户没有勾选对应数据项，则没有完成对该数据项的授权。在提交被授权的数据项之后，接触式信息采集装置以及非接触式信息采集装置可以分别实时采集的被授权的数据项，以分别得到直接检测信息和间接检测信息。接触式信息采集装置以及非接触式信息采集装置智能对被授权的数据项进行采集，没被授权的数据项则没有权限采集，可以有效提高数据获取的准确性、可信度和灵活性。

需要说明的是，本申请提及的待建模对象以及用户可以用于指代同一者，也可以用于分别指代不同者。如该状态识别模型训练方法在终端侧部署有终端应用，该终端应用面向用户，可以实现如上所述的对接触式信息采集装置和非接触式信息采集装置进行数据采集的授权等业务，而接触式信息采集装置和非接触式信息采集装置进行数据采集的对象则可以是使用该终端应用的用户，也可以是其他对象。其中，该终端侧可以是接触式信息采集装置或非接触式信息采集装置，也可以是其他计算机设备，本申请对此不做限定。

在一些实施方式中，接触式信息采集装置以及非接触式信息采集装置还可以同时采集直接检测信息和间接检测信息，直接检测信息和间接检测信息包括待建模对象的体征参数以及待建模对象所处环境的环境参数中的至少一者。

例如，请参阅图4，图4为状态识别模型用于睡眠状态识别的场景时，对待建模对象进行直接检测信息以及间接检测信息采集的场景示意图。如图4所示，待建模对象的手腕处佩戴有智能手环，且该待建模对象所处的睡眠环境中配置有智能摄像装置。

智能手环作为接触式信息采集装置，通过智能手环上配置的多个传感器采集佩戴该智能手环的待建模对象的体温、脉搏、呼吸、血压、血氧饱和度等体征参数作为直接检测信息。还可以通过智能手环采集当前环境的环境温度、环境湿度、环境噪音、环境光线等环境参数作为直接检测信息。

智能摄像装置作为非接触式信息采集装置，通过智能摄像装置上配置的多个传感器采集睡眠环境范围内的待建模对象的图像信息，得到待建模对象的姿势的图像、脸部的图像、胸腹起伏的图像等体征参数作为间接检测信息。还可以通过智能摄像装置采集当前环境的环境温度、环境湿度、环境噪音、环境光线等环境参数作为间接检测信息。

可以理解的是，可以在接触式信息采集装置以及非接触式信息采集装置上灵活配置各种类型的传感器，如光敏传感器、气敏传感器、声敏传感器、雷达传感器等，可以根据实际应用情况进行灵活选择，本申请对此不进行限制。

步骤S220，对直接检测信息进行状态识别处理，得到样本状态识别结果。

可以理解的是，通过接触式信息采集装置采集得到的直接检测信息含有能更加准确反映待建模对象的状态的信息，因此，将直接检测信息对应的状态识别结果作为模型训练过程中间接检测信息的样本状态识别结果，以提高得到的状态识别模型的准确性。

由于通过接触式信息采集装置采集得到的直接检测信息是由待建模对象的接触操作得到的，该直接检测信息与该待建模对象的真实状态相互关联，只需根据预设的状态识别算法对直接检测信息进行分析即可得到该待建模对象的真实状态。

在一些实施方式中，直接检测信息包括待建模对象的脉搏信息，对直接检测信息进行状态识别处理，得到样本状态识别结果，包括：根据脉搏信息计算待建模对象的心率信息以及呼吸信息；根据心率信息与呼吸信息之间的互谱功率以及相干性，得到待建模对象的心肺耦合动力学频谱；根据心肺耦合动力学频谱确认直接检测信息对应的样本状态识别结果。

例如，当接触式信息采集装置为智能手环时，智能手环中的光电容积脉搏波描记(photoplethysmography，PPG)模块利用人体血液和组织吸收后的反射光强度的不同，描记出血管容积在心动周期内的变化，通过时域分析得到脉搏波形，从而计算出的待建模对象的心率，具体公式如下：

Heart Rate＝No.of peaks*12

Respiratory Rate＝Heart Rate/2

其中，No.of peaks是指预设时间段内的峰值数量；Heart Rate是指心率；Respiratory Rate是指呼吸频率。

然后，智能手环中的心电图(electrocardiogram，ECG)检测模块检测出人体由呼吸所引起的心电R波振幅的波动，即对心电进行小波分解，然后记录每个R波位置上的值，并扩展为新的序列，具体公式如下：

x(n)＝R

其中，x(n)为n时刻的扩展序列；R

相邻的两个波峰值代表n时刻的输入信号，将得到的输入信号重新采样为5Hz，并通过高通滤波器得到心电图派生的呼吸曲线(ECG-derived Respiratory，EDR)，之后根据待建模对象的心率和EDR得到待建模对象的心肺耦合动力学频谱(cardiopulmonarycoupling，CPC)，具体公式如下：

CPC＝(CSP)

其中，CSP为心率和EDR的互谱功率(mutual power spectrum phase estimation，CSP)；Coherence为心率和EDR的相干性，即心率和EDR在频域上线性关系的强度和方向。

心肺耦合动力学频谱在待建模对象处于的不同状态下会有不同特点，因此，通过这个性质即可判定待建模对象此时的状态，得到直接检测信息对应的样本状态识别结果。

进一步的，请参阅图5，图5为一示例性实施例中接触式信息采集装置采集直接检测信息的示意图。如图5所示，该接触式信息采集装置包括PPG扫描模块、ECG检测模块、加速度传感器模块以及红外线传感器模块。通过PPG扫描模块获取待建模对象的心率，ECG检测模块获取待建模对象的心电图，以根据待建模对象的心率以及心电图得到心肺耦合动力学频谱。然后通过加速度传感器模块得到待建模对象的运动参数，以得到预设时间段内的运动频率与运动幅度。以及通过红外线传感器模块得到待建模对象的体温参数，以得到预设时间段内的体温变化曲线。进一步的，综合待建模对象在预设时间段内的心肺耦合动力学频谱、运动频率与运动幅度以及体温变化曲线，得到该待建模对象在预设时间段内的状态，进而得到样本状态识别结果。

步骤S230，将间接检测信息输入初始状态识别模型中进行预测，得到样本状态预测结果。

将得到的间接检测信息作为训练样本，将直接检测信息对应的样本状态识别结果作为样本标签，以将间接检测信息输入初始状态识别模型中进行预测，得到间接检测信息对应的样本状态预测结果。

可选的，待建模对象在不同时间点下对应被采集有不同的直接检测信息以及间接检测信息，因此需要对直接检测信息以及间接检测信息进行时间点的对齐，即将直接检测信息被采集的时间点与间接检测信息被采集的时间点之间的时间差不超过预设时间差的直接检测信息与间接检测信息进行对齐，得到一组训练数据。

例如，接触式信息采集装置对待建模对象在时间点10：00采集得到直接检测信息1、在时间点10：05采集得到直接检测信息2以及在时间点10：10采集得到直接检测信息3，非接触式信息采集装置对待建模对象在时间点10：01采集得到间接检测信息1、在时间点10：07采集得到间接检测信息2以及在时间点10：15采集得到间接检测信息3。预设时间差为2分钟，直接检测信息1被采集的时间点与间接检测信息1被采集的时间点之间相差1分钟，直接检测信息2被采集的时间点与间接检测信息2被采集的时间点之间相差2分钟，因此，将直接检测信息1对应的样本状态识别结果作为间接检测信息1的样本标签，将直接检测信息2对应的样本状态识别结果作为间接检测信息2的样本标签。

可选的，还可以分别向接触式信息采集装置以及非接触式信息采集装置发送信息采集指令，以通过信息采集指令同步接触式信息采集装置以及非接触式信息采集装置的信息采集频率，进而使得到的直接检测信息以及间接检测信息之间的时间关联性更强，提高模型训练的准确性。

例如，服务器向接触式信息采集装置发送第一信息采集指令，该第一信息采集指令用于指示接触式信息采集装置在时间点10：00至时间点10：10之间每间隔5分钟进行一次直接检测信息的采集，以及向非接触式信息采集装置发送第二信息采集指令，该第二信息采集指令用于指示非接触式信息采集装置在时间点10：00至时间点10：10之间每间隔5分钟进行一次间接检测信息的采集。然后，服务器接收到接触式信息采集装置针对第一信息采集指令反馈的在时间点10：05采集的直接检测信息1、在时间点10：10采集的直接检测信息2，以及接收到非接触式信息采集装置针对第二信息采集指令反馈的在时间点10：05采集的间接检测信息1、在时间点10：10采集的间接检测信息2，通过对直接检测信息以及间接检测信息进行时间点的对齐，将直接检测信息1对应的样本状态识别结果作为间接检测信息1的样本标签，将直接检测信息2对应的样本状态识别结果作为间接检测信息2的样本标签。

然后，将各个间接检测信息输入初始状态识别模型中，该初始状态识别模型用于提取输入的间接检测信息的特征，并基于获得的特征确定该间接检测信息对应的样本状态预测结果。

步骤S240，根据样本状态预测结果与样本状态识别结果之间的损失值对初始状态识别模型进行参数调整，得到状态识别模型。

基于样本状态预测结果与样本状态识别结果之间的误差，根据损失函数确定当前待训练的初始状态识别模型的训练损失值。其中，该损失函数可以为triplet loss损失函数(三重损失函数)，或者还可以为交叉熵损失函数等其他损失函数。

判断初始状态识别模型是否满足训练目标，在不满足训练目标时，根据训练损失值对当前待训练的初始状态识别模型进行模型参数调整，并进入下一轮迭代训练。在满足训练目标时，将当前待训练的初始状态识别模型输出，获得已训练的状态识别模型。其中，训练目标可以是迭代训练次数达到预设的迭代训练阈值，也可以是训练损失值收敛，本申请对此不做限定。

请参阅图6，图6是根据另一示例性实施例示出的一种状态识别模型训练方法的流程图。如图6所示，在一示例性的实施例中，步骤S230中将间接检测信息输入初始状态识别模型中进行预测，得到样本状态预测结果的过程，可以包括如下步骤：

步骤S231，将间接检测信息输入至初始状态识别模型的编码网络进行编码处理，得到编码网络输出的编码向量。

编码处理是指将间接检测信息的数据形式转换为机器学习便于利用的一种形式的过程。编码网络可以是卷积神经网络、循环神经网络、长短期记忆网络、前馈神经网络等等，本申请对此不做限定。

在一些实施例中，编码网络还可以是转换器网络中的编码器，转换器网络又称为Transformer模型，该转换器网络中的编码器中设有自注意力层，输入编码器中的间接检测信息会先经过该自注意力层，通过自注意力层帮助编码器对间接检测信息的每个特征元素都寻找其对应的注意力权重。

由于间接检测信息包括多种类型，可以选择对应的编码方式进行编码。

例如，当间接检测信息包括文本信息时，编码方式包括但不限于独热(one-hot)编码方法、Word2vec编码方法等等。例如，在获取到间接检测信息的文本内容后，通过编码器对间接检测信息的文本信息中每个词进行嵌入处理，以N维向量表示每个词，得到每个词的词嵌入向量，拼合每个词的词嵌入向量得到文本编码向量。

例如，当间接检测信息包括图像信息时，可以通过对间接检测信息的图像信息的颜色特征、形状特征、纹理特征及边缘特征中的至少一种或其组合进行特征提取，得到图像信息对应的图像编码向量。

例如，当间接检测信息包括音频信息时，可以通过对间接检测信息的音频信息的音色特征、音调特征及响度特征中的至少一种或其组合进行特征提取，得到图像信息对应的音频编码向量。

步骤S232，对编码向量进行自注意力权重计算，得到自注意力权重，并通过注意力权重调整编码向量，得到自注意力编码向量。

自注意力权重是指通过自注意力(self-attention)机制计算得到的编码向量对应的权重。自注意力机制是指对每个特征元素都寻找其对应的注意力权重。自注意力编码向量是指对编码向量使用自注意力权重进行加权后得到的特征。

可选的，服务器提取间接检测信息对应的编码向量，然后使用编码向量进行自注意力权重计算，得到自注意力权重。其中，可以通过自注意力机制建立的神经网络进行自注意力权重计算。服务器使用自注意力权重对编码向量进行加权，得到自注意力编码向量。

在一个实施例中，对编码向量进行自注意力权重计算，得到自注意力权重，包括：通过均值池化层将编码向量进行均值池化，得到池化特征，例如，将7*7*2048维度的编码向量输入到均值池化层中，得到输出的1*2048维的池化特征，该池化特征用于表征深度学习网络层2048个不同通道(channel)的激活均值。然后，使用非线性压缩层将池化特征进行非线性压缩，得到压缩特征，例如，通过非线性压缩把1*2048维度的池化特征压缩到64维，实现编码向量内重要信息的提炼。进一步的，将压缩特征通过激活函数层进行激活，得到激活特征，其中，激活函数可以是RELU函数、S型激活函数、tanh激活函数等等。接着，基于权重映射层将激活特征进行权重映射，得到自注意力权重，例如，服务器将64维的激活特征输入到权重映射层进行权重映射，得到输出的2048维度的自注意力权重向量，即权重向量用于表征深度学习网络层2048个不同通道对应的权重向量。

可选的，服务器计算自注意力权重与编码向量的乘积，得到加权特征，然后将加权特征通过最大池化层进行最大池化，得到自注意力编码向量。即服务器使用2048维度的自注意力权重向量对编码向量中每个通道进行加权，得到自注意力特征图。然后对自注意力特征图进行最大池化，得到2048维度的自注意力编码向量。

在上述实施例中，通过提取得到的自注意力权重对编码向量进行加权处理，使得算法聚焦于关键信息，能够使提取得到的自注意力编码向量更加的准确。

步骤S233，将自注意力编码向量输入至初始状态识别模型的解码网络进行解码处理，得到解码网络输出的样本状态预测结果。

其中，解码处理是将向量转换为序列输出的过程。

示例性的，如图7所示，服务器可以基于该初始状态识别模型的编码网络对间接检测信息进行编码，然后基于该初始状态识别模型的解码网络对输入的自注意力编码向量进行解码，得到分类结果，该分类结果包含有至少一个分类概率，该分类概率用于表示输入的间接检测信息属于不同状态分类类型的概率。服务器根据该至少一个状态分类概率，确定满足目标条件的分类类型作为该间接检测信息所属的状态，以得到样本状态预测结果。其中，该目标条件可以为概率最高、概率大于分类概率阈值等。分类概率阈值可以为90％、80％、75％等，本申请对此不进行限定。

例如，当间接检测信息为待建模对象的睡眠信息时，服务器得到间接检测信息对应浅度睡眠的分类概率为90％，深度睡眠的分类概率为80％，未进入睡眠的分类概率为20％。若只给该间接检测信息分配一个类型，则服务器可以将分类概率最高的浅度睡眠作为该间接检测信息的样本状态预测结果。若需要给间接检测信息分配多个类型，则服务器可以将分类概率大于60％的浅度睡眠、深度睡眠作为该间接检测信息的样本状态预测结果，以根据样本状态预测结果与样本状态识别结果之间的损失值对初始状态识别模型进行参数调整，得到状态识别模型。

在一些实施方式中，间接检测信息包括图像信息、音频信息和文本信息，自注意力编码向量包括图像自注意力编码向量、音频自注意力编码向量和文本自注意力编码向量；将自注意力编码向量输入至初始状态识别模型的解码网络进行解码处理，得到解码网络输出的样本状态预测结果，包括：根据图像自注意力编码向量、音频自注意力编码向量和文本自注意力编码向量对应的信息权重，对图像自注意力编码向量、音频自注意力编码向量和文本自注意力编码向量进行融合处理；对融合处理后得到的融合向量进行分类处理，得到样本状态预测结果。

这里的融合处理可以包括但不限于将自注意力编码向量、音频自注意力编码向量和文本自注意力编码向量进行拼接、相加或线性组合等处理，如简单拼接或简单相加等。

图像自注意力编码向量、音频自注意力编码向量和文本自注意力编码向量对应的信息权重的分配在训练过程中由参数调整优化得出，示例性的，使用tanh激活函数和softmax激活函数获取各个类型自注意力编码向量线性映射后的融合向量，具体可以采用如下公式进行融合处理：

其中，

通过对多种类型的间接检测信息对应的自注意力编码向量进行融合，以使融合向量包含多个维度的信息，使得最终得到的样本状态预测结果更加准确。

示例性的，请参阅图8，图8为根据样本状态预测结果与样本状态识别结果对初始状态识别模型进行训练的示意图。如图8所示，在睡眠状态识别场景下，非接触式信息采集装置通过图像感知模块获取得到待建模对象的胸腹部起伏信息以及面部信息、通过结构光感知模块获取得到待建模对象的骨骼点动作识别信息、通过红外温度感知模块获取得到待建模对象的体温信息以及待建模对象所处环境的环境温度信息，以及通过麦克风阵列得到待建模对象所处环境的环境噪声信息。然后将胸腹部起伏信息、面部信息、骨骼点动作识别信息、体温信息、环境温度信息、环境噪声信息输入初始状态识别模型中，得到初始状态识别模型输出的样本状态预测结果，并将样本状态识别结果作为目标输出，根据样本状态预测结果与样本状态识别结果之间的损失值对初始状态识别模型进行参数调整，并判断当前的初始状态识别模型是否满足训练目标，若满足则输出当前的初始状态识别模型得到状态识别模型，若不满足则继续执行训练步骤。

请参阅图9，图9是根据另一示例性实施例示出的一种状态识别模型训练方法的流程图。如图9所示，在一示例性的实施例中，在步骤S240中根据样本状态预测结果与样本状态识别结果之间的损失值对初始状态识别模型进行参数调整，得到状态识别模型之后，还可以包括如下步骤：

步骤S910，接收状态描述信息，状态描述信息用于描述待建模对象的状态。

例如，如图10所示，在睡眠状态识别的场景下，服务器可以向用户对应的终端提供睡眠状态描述信息收集界面，通过检测用户针对状态描述信息收集界面执行的输入操作，得到睡眠状态描述信息，该睡眠状态描述信息用于描述待建模对象的睡眠状态。

通过用户上传的状态描述信息，可以结合用户的主观判断作为进一步模型优化的依据，以提高最终得到的状态识别模型的准确性。

步骤S920，根据状态描述信息对状态识别模型进行更新，得到更新后的状态识别模型。

在模型训练阶段，通过采集的状态描述信息对状态识别模型进行更新，得到更新后的状态识别模型。

在一些实施例中，根据状态描述信息对状态识别模型进行更新，得到更新后的状态识别模型，包括：检测状态描述信息与样本状态识别结果是否匹配；若不匹配则获取状态描述信息对应的描述时间段；获取处于描述时间段内的间接检测信息；将描述时间段内的间接检测信息输入状态识别模型中进行预测，得到样本状态更新预测结果；根据样本状态更新预测结果与状态描述信息之间的损失值对状态识别模型进行参数调整，得到更新后的状态识别模型。

状态描述信息与样本状态识别结果是否匹配是指状态描述信息与样本状态识别结果之间的差异是否小于差异阈值，如状态描述信息中表明在描述时间段内的状态为状态A的概率为80％，而样本状态识别结果在该描述时间段内的状态为状态A的概率为50％，差异阈值为5％，则表明样本状态识别结果不准确，进而可能导致根据该样本状态识别结果训练的状态识别模型也不准确，因此为了提高最终得到的状态识别模型的准确性，需要对状态识别模型进行更新。

示例性的，状态描述信息对应有描述时间段，通过该描述时间段获取对应的间接检测信息，如该状态描述信息是对描述时间段10：00至11：00之间的待建模对象的状态的描述，则获取时间段10：00至11：00之内的间接检测信息。然后，将状态描述信息作为该间接检测信息的样本标签，进而对状态识别模型进行参数调整，得到更新后的状态识别模型。

本申请提供的状态识别模型训练方法，第一方面，通过对接触式信息采集装置采集的直接检测信息进行计算得到的样本状态识别结果，进而不需要人为进行标签的添加，且该样本状态识别结果是基于待建模对象的接触操作得到的，保证了标签的准确性，即提高了训练完成的状态识别模型的状态识别的准确性。第二方面，通过将非接触式信息采集装置采集的间接检测信息作为训练样本，将接触式信息采集装置采集的直接检测信息的样本状态识别结果作为样本标签，以训练初始状态识别模型，使得到的状态识别模型具备对间接检测信息进行状态识别的能力，进而可以实现仅采集待建模对象的间接检测信息便得到待建模对象状态的效果。

图11是本发明实施例提供的一种状态识别方法的实施环境的示意图，参见图11，该实施环境中包括非接触式信息采集装置120和服务器130，非接触式信息采集装置120通过无线网络或有线网络与服务器130相连。

本申请实施例提供的状态识别方法可以由非接触式信息采集装置120执行，也可以由服务器130执行，本申请实施例对此不加以限定。在示例性实施例中，对于本申请实施例提供的状态识别方法由服务器130执行的情况进行说明。

非接触式信息采集装置120用于对待建模对象的相关信息进行采集，以将待识别对象的相关信息上传给服务器130。

服务器130中部署有由上述状态识别模型训练方法得到的状态识别模型，通过状态识别模型对非接触式信息采集装置120上传的待识别对象的相关信息进行处理。

示例性的，请参阅图12，图12是本申请的一示例性实施例示出的状态识别方法的流程图。该状态识别方法可以应用于图11所示的实施环境，并由该实施环境中的服务器具体执行。应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。

如图12所示，在一示例性的实施例中，状态识别方法至少包括步骤S1210至步骤S1230，详细介绍如下：

步骤S1210，获取非接触式信息采集装置采集的待识别对象的间接检测信息。

非接触式信息采集装置采集间接检测信息的具体实施方式可以参见步骤S210中非接触式信息采集装置采集间接检测信息的实施方式，本申请对此不进行赘述。

步骤S1220，将间接检测信息输入至状态识别模型中进行状态识别处理；其中，状态识别模型根据上述状态识别模型训练方法得到。

需要说明的是，该状态识别方法中的待识别对象与上述状态识别模型训练方法中的待建模对象为同一对象，即每个不同的待识别对象均对应一个训练完成的状态识别模型，以使得到的状态识别模型更加贴合各个待识别对象的真实情况，进而提高状态识别模型的状态识别的准确性。

因此，在一些实施方式中，需要获取待识别对象的身份信息，以将间接检测信息输入至与身份信息匹配的状态识别模型中进行状态识别处理。

该待识别对象的身份信息可以是用户通过终端侧的终端应用进行上传的信息，也可以是非接触式信息采集装置通过采集的待识别对象的身份特征信息进行身份识别后得到的信息，如通过对待识别对象的声纹信息、瞳孔信息、面部信息等身份特征信息进行采集，然后对数据库中预先存储的身份特征信息进行匹配，得到待识别对象的身份信息。

通过采用待识别对象的身份信息匹配的状态识别模型对待识别对象进行状态识别处理，以提高最终得到的目标状态识别结果的准确性。

步骤S1230，获取状态识别模型输出的目标状态识别结果。

获取状态识别模型输出的目标状态识别结果，以实现无接触即可对待识别对象进行状态识别。

在一些实施方式中，以对睡眠状态进行识别的场景为例，对状态识别模型的训练过程以及状态识别模型进行状态识别的过程进行说明。请参阅图13，在状态识别模型的训练过程中，包括客观信息训练过程与主观信息训练过程。该客观信息训练过程包括：通过接触式信息采集装置采集待建模对象的体征参数得到直接检测信息，并通过非接触式信息采集装置采集待建模对象的图像信息、待建模对象所处环境的环境光线信息、待建模对象所处环境的环境噪音信息等等得到间接检测信息，根据这些信息进行模型训练，得到客观信息训练后的状态识别模型；该主观信息训练过程包括：获取用户上传状态描述信息，根据状态描述信息对状态识别模型进行更新，得到主观信息训练后的状态识别模型。进一步的，根据状态识别模型进行状态识别包括：获取非接触式信息采集装置采集的待识别对象的图像信息、待识别对象所处环境的环境光信息、待识别对象所处环境的环境噪声信息得到间接检测信息，对这些信息进行特征提取与融合，并根据主观信息训练后的状态识别模型对得到的特征进行状态识别，得到目标状态识别结果。

示例性的，得到目标状态识别结果后，还包括根据目标状态识别结果生成睡眠状态评估报告以及睡眠环境布置建议。

本申请提供的状态识别方法，通过训练完成的状态识别模型对非接触式信息采集装置采集的间接检测信息进行识别，以使待识别对象可以不用佩戴任何接触式信息采集装置即可实现准确的状态识别效果，提高了待识别对象的舒适度。

图14是本申请的一示例性实施例示出的状态识别模型训练装置的框图。该状态识别模型训练装置可以应用于图1所示的实施环境。该状态识别模型训练装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。

如图14所示，该示例性的状态识别模型训练装置包括：样本信息采集模块1410、样本状态识别结果确定模块1420、预测模块1430和状态识别模型确定模块1440。具体的：

样本信息采集模块1410，用于根据待建模对象对接触式信息采集装置执行的接触操作，采集待建模对象的直接检测信息；以及根据非接触式信息采集装置采集待建模对象的间接检测信息；

样本状态识别结果确定模块1420，用于根据预设的状态识别算法对直接检测信息进行计算，根据计算结果得到直接检测信息对应的样本状态识别结果；

预测模块1430，用于将间接检测信息输入初始状态识别模型中进行预测，得到样本状态预测结果；

状态识别模型确定模块1440，用于根据样本状态预测结果与样本状态识别结果之间的损失值对初始状态识别模型进行参数调整，得到状态识别模型。

在一些实施方式中，基于前述方案，预测模块1430包括编码单元、注意力计算单元及解码单元，具体的：

编码单元，配置为将间接检测信息输入至初始状态识别模型的编码网络进行编码处理，得到编码网络输出的编码向量；

注意力计算单元，配置为对编码向量进行自注意力权重计算，得到自注意力权重，并通过注意力权重调整编码向量，得到自注意力编码向量；

解码单元，配置为将自注意力编码向量输入至初始状态识别模型的解码网络进行解码处理，得到解码网络输出的样本状态预测结果。

在一些实施方式中，基于前述方案，间接检测信息包括图像信息、音频信息和文本信息，自注意力编码向量包括图像自注意力编码向量、音频自注意力编码向量和文本自注意力编码向量；解码单元包括融合单元及分类单元，具体的：

融合单元，配置为根据图像自注意力编码向量、音频自注意力编码向量和文本自注意力编码向量对应的信息权重，对图像自注意力编码向量、音频自注意力编码向量和文本自注意力编码向量进行融合处理；

分类单元，配置为对融合处理后得到的融合向量进行分类处理，得到样本状态预测结果。

在一些实施方式中，基于前述方案，直接检测信息包括待建模对象的脉搏信息；样本状态识别结果确定模块1420包括心率及呼吸计算单元、心肺耦合动力学频谱确定单元及样本状态确定单元，具体的：

心率及呼吸计算单元，配置为根据脉搏信息计算待建模对象的心率信息以及呼吸信息；

心肺耦合动力学频谱确定单元，配置为根据心率信息与呼吸信息之间的互谱功率以及相干性，得到待建模对象的心肺耦合动力学频谱；

样本状态确定单元，配置为根据心肺耦合动力学频谱确认直接检测信息对应的样本状态识别结果。

在一些实施方式中，基于前述方案，状态识别模型训练装置还包括状态描述信息获取单元及状态识别模型更新单元，具体的：

状态描述信息获取单元，配置为接收状态描述信息，状态描述信息用于描述待建模对象的状态；

状态识别模型更新单元，配置为根据状态描述信息对状态识别模型进行更新，得到更新后的状态识别模型。

在一些实施方式中，基于前述方案，状态识别模型更新单元包括检测单元、描述时间段获取单元、间接检测信息获取单元、更新预测单元及更新单元，具体的：

检测单元，配置为检测状态描述信息与样本状态识别结果是否匹配；

描述时间段获取单元，配置为若不匹配则获取状态描述信息对应的描述时间段；

间接检测信息获取单元，配置为获取处于描述时间段内的间接检测信息；

更新预测单元，配置为将描述时间段内的间接检测信息输入状态识别模型中进行预测，得到样本状态更新预测结果；

更新单元，配置为根据样本状态更新预测结果与状态描述信息之间的损失值对状态识别模型进行参数调整，得到更新后的状态识别模型。

需要说明的是，上述实施例所提供的状态识别模型训练装置与上述实施例所提供的状态识别模型训练方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的状态识别模型训练装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

图15是本申请的一示例性实施例示出的状态识别装置的框图。该状态识别装置可以应用于图11所示的实施环境。该状态识别装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。

如图15所示，该示例性的状态识别装置包括：间接检测信息采集模块1510、识别模块1520和结果获取模块1530。具体的：

间接检测信息采集模块1510，用于获取非接触式信息采集装置采集的待识别对象的间接检测信息；

识别模块1520，配置为将间接检测信息输入至状态识别模型中进行状态识别处理；其中，状态识别模型根据上述状态识别模型训练方法得到，待识别对象对应状态识别模型训练方法中的待建模对象；

结果获取模块1530，配置为获取状态识别模型输出的目标状态识别结果。

需要说明的是，上述实施例所提供的状态识别装置与上述实施例所提供的状态识别方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的状态识别装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

此外，在本申请的示例性实施例中，还提供了一种能够实现上述状态识别模型训练方法和/或状态识别方法的电子设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

下面参照图16来描述根据本申请的这种实施例的电子设备1600。图16所示的电子设备1600仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图16所示，电子设备1600以通用计算设备的形式表现。电子设备1600的组件可以包括但不限于：上述至少一个处理单元1610、上述至少一个存储单元1620、连接不同系统组件(包括存储单元1620和处理单元1610)的总线1630、显示单元1640。

其中，存储单元存储有程序代码，程序代码可以被处理单元1610执行，使得处理单元1610执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施例的步骤。

存储单元1620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1621和/或高速缓存存储单元1622，还可以进一步包括只读存储单元(ROM)1623。

存储单元1620还可以包括具有一组(至少一个)程序模块1625的程序/实用工具1624，这样的程序模块1625包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1600也可以与一个或多个外部设备1670(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1600交互的设备通信，和/或与使得该电子设备1600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1650进行。并且，电子设备1600还可以通过网络适配器1660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1660通过总线1630与电子设备1600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施例的方法。

在本申请的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本申请的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施例的步骤。

以上具体地示出和描述了本申请示例性实施方式。可理解的是，本申请不限于这里描述的详细结构、设置方式或实现方法；相反，本申请意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。