基于多模态互补图神经网络的认知诊断方法和系统

摘要

本申请公开了一种基于多模态互补图神经网络的认知诊断方法和系统。该方法包括获取学习数据，其中学习数据包括视频资源数据、语音资源数据和练习资源数据；根据所述学习数据，确定所述学习数据的多模态资源互补图；对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据；将所述聚合嵌入数据输入认知诊断模型，得到认知诊断的预测结果。该系统包括获取模块、多模态资源互补图模块、交互处理模块和预测模块。通过使用本申请中的方法，能够对多模态的学习数据进行充分提取，提升认知诊断模型的效率，提高模型的精确度和预测效果。本申请可广泛应用于神经网络技术领域内。

说明书

技术领域

本申请涉及神经网络技术领域，尤其是一种基于多模态互补图神经网络的认知诊断方法和系统。

背景技术

智能教育已得到广泛推广和使用，在智能教育中，掌握每个学生的知识状态，对学生进行全面的教学评价显得至关重要。相关技术中，通过认知诊断实现对学生认知过程的评价，然而，认知诊断的准确度和计算效率仍需提升。

发明内容

本申请的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明的目的在于提供一种高效的基于多模态互补图神经网络的认知诊断方法和系统。

本申请实施例的另一个目的在于提供一种基于多模态互补图神经网络的认知诊断系统。

为了达到上述技术目的，本申请实施例所采取的技术方案包括：

一方面，本申请实施例提供了一种基于多模态互补图神经网络的认知诊断方法，包括以下步骤：

本申请实施例的基于多模态互补图神经网络的认知诊断方法，包括获取学习数据，其中学习数据包括视频资源数据、语音资源数据和练习资源数据；根据所述学习数据，确定所述学习数据的多模态资源互补图；对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据；将所述聚合嵌入数据输入认知诊断模型，得到认知诊断的预测结果。通过使用上述方法，能够对多模态的学习数据进行充分提取，提升认知诊断模型的效率，提高模型的精确度和预测效果。

另外，根据本申请上述实施例的基于多模态互补图神经网络的认知诊断方法，还可以具有以下附加的技术特征：

进一步地，本申请实施例的基于多模态互补图神经网络的认知诊断方法，所述对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据，包括以下步骤：将所述多模态资源互补图通过MLP处理，得到所述学习数据的多模态特征向量；根据所述学习数据，确定所述学习数据的知识点对应的概念关系图；对所述多模态特征向量与所述概念关系图进行迭代交互处理，得到所述学习数据的聚合嵌入数据。

进一步地，在本申请的一个实施例中，所述对所述多模态特征向量与所述概念关系图进行迭代交互处理这一步骤后，包括以下步骤：通过迭代交互处理，更新节点特征信息；将所述节点特征信息经过注意力机制处理，得到所述节点特征信息的权重；根据所述节点特征信息和所述权重，得到所述学习数据的聚合嵌入数据。

进一步地，在本申请的一个实施例中，所述将所述聚合嵌入数据输入认知诊断模型，得到认知诊断的预测结果，包括如下步骤：

对所述聚合嵌入数据与one-hot编码经过嵌入融合处理，得到学习聚合数据；

将所述学习聚合数据按照下列公式处理，得到模型输入数据x：

其中，所述学习聚合数据包括：语音难度向量F

将所述模型输入数据输入认知诊断模型，得到认知诊断的预测结果。

进一步地，在本申请的一个实施例中，所述认知诊断模型包括双向GRU神经网络模块，GRU包括更新门和重置门，所述将所述模型输入数据输入认知诊断模型，包括如下步骤：

将所述模型输入数据输入双向GRU神经网络模块，更新所述模型输入数据的节点特征；

其中，更新门z

z

重置门r

r

x

进一步地，在本申请的一个实施例中，其中根据所述学习数据，确定所述学习数据的多模态资源互补图，包括如下步骤：将所述视频资源数据通过多模式Transformer编码器处理，得到视频语义特征向量；将所述语音资源数据通过HMM处理，得到语音语义特征向量；将所述练习资源数据通过TIM Transformer处理，得到练习语义特征向量；根据所述视频语义特征向量、所述语音语义特征向量和所述练习语义特征向量，确定不同学习数据之间的相关性；若所述相关性小于预设阈值，确定相应的学习数据之间存在互补关系；根据所述互补关系，确定所述学习数据的多模态资源互补图。

进一步地，在本申请的一个实施例中，所述不同学习数据之间的相关性通过以下公式得到：

其中，e′

另一方面，本申请实施例提出了一种基于多模态互补图神经网络的认知诊断系统，包括：

获取模块，用于获取学习数据，其中学习数据包括视频资源数据、语音资源数据和练习资源数据；

多模态资源互补图模块，用于根据所述学习数据，确定所述学习数据的多模态资源互补图；

交互处理模块，用于对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据；

预测模块，用于将所述聚合嵌入数据输入认知诊断模型，得到认知诊断的预测结果；其中，所述聚合嵌入数据用于表征所述学习数据的语音依赖性、视频依懒性、练习依赖性和概念依赖性的聚合嵌入数据。

另一方面，本申请实施例提供了一种基于多模态互补图神经网络的认知诊断装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的任一种基于多模态互补图神经网络的认知诊断方法。

另一方面，本申请实施例提供了一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于实现上述的任一种基于多模态互补图神经网络的认知诊断方法。

本申请实施例提出一种基于多模态互补图神经网络的认知诊断方法和系统，该方法包括获取学习数据，其中学习数据包括视频资源数据、语音资源数据和练习资源数据；根据所述学习数据，确定所述学习数据的多模态资源互补图；对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据；将所述聚合嵌入数据输入认知诊断模型，得到认知诊断的预测结果。该系统包括获取模块、多模态资源互补图模块、交互处理模块和预测模块。通过使用本申请中的方法，能够对多模态的学习数据进行充分提取，提升认知诊断模型的效率，提高模型的精确度和预测效果。

附图说明

为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本申请的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1为本申请提供的基于多模态互补图神经网络的认知诊断方法的一种实施例的流程示意图；

图2为本申请提供的基于多模态互补图神经网络的认知诊断方法的另一种实施例的流程示意图；

图3为本申请提供的双向GRU神经网络模块的一种实施例的结构示意图；

图4为本申请提供的双向GRU神经网络模块的另一种实施例的架构示意图；

图5为本申请提供的构建多模态资源互补图的一种实施例的流程示意图；

图6为本申请提供的基于多模态互补图神经网络的认知诊断系统的一种实施例的结构示意图；

图7为本申请提供的基于多模态互补图神经网络的认知诊断装置的一种实施例的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

随着智能教育的推广和发展，掌握每个学生的知识状态，对学生进行全面的教学评价变得至关重要。大多数测验技术只关注到学生的分数或作答结果，没有重视学生内部的认知结构与知识状态，学生的认知过程无法得到分析与诊断。认知诊断作为智能教育的一个技术，可以有效解决上述问题。相关技术中的认知诊断方法运用人工设计的函数，难以捕捉学生和练习之间的复杂关系，并且手动设计与实现练习和知识点之间复杂关系的功能函数往往会耗费大量的人力、精力与时间。

下面参照附图详细描述根据本申请实施例提出的基于多模态互补图神经网络的认知诊断方法和系统，首先将参照附图描述根据本申请实施例提出的基于多模态互补图神经网络的认知诊断方法。

参照图1，本申请实施例中提供一种基于多模态互补图神经网络的认知诊断方法，本申请实施例中的基于多模态互补图神经网络的认知诊断方法，可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件等。终端可以是平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。本申请实施例中的基于多模态互补图神经网络的认知诊断方法主要包括以下步骤：

S110：获取学习数据，其中学习数据包括视频资源数据、语音资源数据和练习资源数据；

本步骤中，获取学习数据。学习数据用于表征需要进行认知诊断的学生的学习数据。在一些可能的实施方式中，学习数据可以是视频资源数据，学习数据也可以是语音资源数据，学习数据还可以是练习资源数据。通过不同类型的学习数据的获取，充分挖掘学生的学习过程。示例性地，视频资源数据可以是老师的讲课视频或相关的科普视频；语音资源数据可以是老师的讲课语音形式的数据；练习资源数据可以是相关课程的PPT数据等，本申请并不限定学习数据的具体内容和具体表现形式。

S120：根据所述学习数据，确定所述学习数据的多模态资源互补图；

本步骤中，通过构建学习数据的多模态资源互补图，更好的完成后续的认知诊断过程。学生的学习数据包含多种模态，同时每个学习数据中所包含的模态数目不同，通过多模态资源互补图可以将不同的学习数据进行交互学习，充分挖掘不用的学习数据之间的关联性，填补彼此之间的缺失信息，消除不同模态之间的语义鸿沟。以便于后续的数据处理。

S130：对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据；

本步骤中，对所述多模态资源互补图进行交互处理，充分提取学习数据之间的相关性和依赖性，能够提升认知诊断的效率和准确度。在一些可能的实施方式中，通过学习数据，提取概念关系图，并将概念关系图和视频资源数据、语音资源数据、练习资源数据进行交互处理，提取相应的特征，得到聚合嵌入数据。参见图2中的多模态表征嵌入阶段，图中表示的为一种实施方式，并不作为对该过程的具体限制。

S140：将所述聚合嵌入数据输入认知诊断模型，得到认知诊断的预测结果；其中，所述聚合嵌入数据用于表征所述学习数据的语音依赖性、视频依懒性、练习依赖性和概念依赖性的聚合嵌入数据。

本步骤中，通过认知诊断模型，对学生的学习过程进行评估，得到预测结果。在一些可能的实施方式中，认知诊断模型，可以是基于图神经网络的模型，通过图神经网络模型可以有效提取节点特征和节点之间的复杂关系，多模态数据通过构建图神经网络则可以更加充分地诊断学生认知情况。见图2中认知诊断结果预测阶段，基于认知诊断模型更新节点表示后，研究学生正确回答问题的概率，输出y。具体地，在模型训练阶段，所采用的损失函数见公式1所示，其中基于输出y和真实数据的标签r建立：

loss＝-(r

可选地，本申请实施例中的基于多模态互补图神经网络的认知诊断方法，所述对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据，包括以下步骤：

将所述多模态资源互补图通过MLP处理，得到所述学习数据的多模态特征向量；

根据所述学习数据，确定所述学习数据的知识点对应的概念关系图；

对所述多模态特征向量与所述概念关系图进行迭代交互处理，得到所述学习数据的聚合嵌入数据。

本步骤中，对所述多模态资源互补图进行交互处理过程，包括下列步骤：

S1301，多模态特征向量的表征。将不同的学习数据视为超顶点，则基于进一步缩小超顶点中不同模态/资源数据之间的语义鸿沟，实现不同模态信息的交互与融合，在一些可能的实施方式中，采用多层感知机(MLP)构造编码器，对超顶点内部多模态资源实现单一特征编码，得到学习数据的多模态特征向量，即语音特征向量O、视频特征向量V、练习特征向量Q。

S1302，构造概念关系图。在一些可能的实施方式中，从文本练习中提取知识点ID，并且考虑不同知识点之间存在的关系(相似性和先决依赖性关系)，构成包含有向连接和无向连接的概念关系图结构

S1303，构造多模态交互图。由于知识点本身以及练习、语音、视频和知识点之间存在联系，可以将交互数据描述为知识点相似性与依赖关系图

S1304，多模态特征向量与图结构交互。将语音特征向量、视频特征向量、练习特征向量分别与概念关系图进行交互，多模态关系图相应地描绘为

上述流程示意图参见图2中的多模态表征嵌入阶段，通过交互过程，充分提取学习数据中的信息，以提升认知诊断的效率和准确度。

可选地，本申请实施例中的基于多模态互补图神经网络的认知诊断方法，所述对所述多模态特征向量与所述概念关系图进行迭代交互处理这一步骤后，包括以下步骤：

通过迭代交互处理，更新节点特征信息；

将所述节点特征信息经过注意力机制处理，得到所述节点特征信息的权重；

根据所述节点特征信息和所述权重，得到所述学习数据的聚合嵌入数据。

本步骤中，通过迭代交互处理，更新节点特征信息；更新后的节点特征信息经过注意力机制处理，得到所述节点特征信息的权重；根据所述节点特征信息和所述权重，得到所述学习数据的聚合嵌入数据。在一些可能的实施方式中，将语音特征、视频特征、练习特征和知识点充分表达的流程如下所述：在概念关系图模块中，对于

通过多模态特征向量的交互，得到聚合嵌入数据，提升认知诊断的效率和准确度。

可选地，本申请实施例中的基于多模态互补图神经网络的认知诊断方法，所述将所述聚合嵌入数据输入认知诊断模型，得到认知诊断的预测结果，包括如下步骤：

对所述聚合嵌入数据与one-hot编码经过嵌入融合处理，得到学习聚合数据；

将所述学习聚合数据按照下列公式2处理，得到模型输入数据：

其中，所述学习聚合数据包括：语音难度向量F

将所述模型输入数据输入认知诊断模型，得到认知诊断的预测结果。

本步骤中，步骤S140可以包括下列步骤：

S1401，参见图2中的信息聚合与更新阶段的流程示意图，将

F

F

F

F

其中B，D，I，T是可训练权重参数矩阵，sigmoid是激活函数。本领域技术人员可以理解的是，上述为示例性的举例，并不作为对可训练矩阵和激活函数的具体限制。

S1402，将练习依赖性聚合嵌入

通过将表示不同学习状态或过程的学习聚合数据通过公式2的处理后，输入认知诊断模型，通过充分考虑学生的学习数据，增加输入信息，提升认知诊断的准确度。

可选地，本申请实施例中的基于多模态互补图神经网络的认知诊断方法，所述认知诊断模型包括双向GRU神经网络模块，GRU包括更新门和重置门，所述将所述模型输入数据输入认知诊断模型，包括如下步骤：

将所述模型输入数据输入双向GRU神经网络模块，更新所述模型输入数据的节点特征；

其中，更新门z

z

重置门r

r

x

本步骤中，将所述模型输入数据输入认知诊断模型。在一些可能的实施方式中，认知诊断模型包括双向GRU神经网络模块，模型输入数据在双向GRU内部进行节点特征更新。门控循环单元GRU包含两个门控单元，分别是更新门z

在t时刻，计算更新门z

其中，x

在t时刻，计算重置门r

信息经过重置门和更新门，得到了当前的记忆内容，其计算公式参见公式12：

h’

最后通过更新门来收集当前记忆h’

h

双向门控循环单元GRU中隐藏层的向量H分为前向和后向，h表示每个时刻的隐藏层状态。双向门控循环单元GRU架构如图4所示，相关表示参见公式14和公式15：

因此隐藏层的向量H可以把前项和后项串联起来，参见公式16：

H＝{h

考虑到只有一个解码器，因此将两个上下文向量连接在一起形成一个向量z,通过一个线性层g和激活函数tanh，作为解码器的初始隐藏状态s

z＝s

通过双向GRU图神经网络模块的处理，充分提取学习数据之间的交互信息，提升计算效率，提高模型的精确度和预测效果。

可选地，本申请实施例中的基于多模态互补图神经网络的认知诊断方法，其中根据所述学习数据，确定所述学习数据的多模态资源互补图，包括如下步骤：

将所述视频资源数据通过多模式Transformer编码器处理，得到视频语义特征向量；

将所述语音资源数据通过HMM处理，得到语音语义特征向量；

将所述练习资源数据通过TIM Transformer处理，得到练习语义特征向量；

根据所述视频语义特征向量、所述语音语义特征向量和所述练习语义特征向量，确定不同学习数据之间的相关性；

若所述相关性小于预设阈值，确定相应的学习数据之间存在互补关系；

根据所述互补关系，确定所述学习数据的多模态资源互补图。

可选地，本申请实施例中的基于多模态互补图神经网络的认知诊断方法，所述不同学习数据之间的相关性通过以下公式20得到：

其中，e′

上述步骤中，学习数据通常是多模态学生学习数据，由于每个学生会对多个学习资源进行学习，而这些学习资源可以包含(语音、视频、文本)三种模态，也可以包含其中的两种模态，还可以包含其中的一种模态，为了考虑同一资源中的不同模态信息对于挖掘资源之间关系的重要性，消除语义鸿沟，对每个学习资源内部每种模态信息进行表示学习，即“语音、视频和文本模态分别采用隐马尔科夫模型(Hidden Markov Model，HMM)、多模式Transformer编码器、TIM Transformer模型进行编码”，形成各自的表征向量O'、V'、Q'。公式可以简单表示为公式21至公式23：

O’＝HMM(audio) 公式21

V’＝多模式Transformer(video) 公式22

Q’＝TIM Transformer(text) 公式23

得到各自的抽象语义特征向量后，参见图5，不同的学习数据用资源1、资源2、资源3和资源4进行表示。由于资源1中不存在的知识点在资源2、资源3中存在，则资源1与资源2、资源3存在互补关系。考虑到不同资源之间存在信息互补关系，而将这些资源进行交互则可以使多模态数据向量表征更加充分，完善学生学习资源体系。因此，对不同资源进行构图，设置一个阈值来判断不同资源之间的互补关系，其中每个资源对应一个超顶点，其内部包含了该资源具有的单个或多个模态的语义表征向量，资源之间的边表示互补性关系，每个学生要学习多个资源，图5以一个学生学习四个资源为例。具体地，超顶点之间的边连接表示互补性关系，通过计算不同超顶点之间的余弦相似度，然后根据预先设置的阈值来构造不同超顶点之间的边，阈值在实际实验中可以作为超参数。不同超顶点之间的相似性关系计算公式可以通过公式20进行表示。

针对超顶点之间互补关系的邻接矩阵，即多模态资源互补图，可以通过下列公式24进行表示：

其中，E′表示超顶点集合，

综上，本申请提出一种基于多模态互补图神经网络的认知诊断方法，能够对多模态的学习数据进行充分提取，提升认知诊断模型的效率，提高模型的精确度和预测效果。

其次，参照附图6描述根据本申请实施例提出的一种基于多模态互补图神经网络的认知诊断系统。

图6是本申请一个实施例的基于多模态互补图神经网络的认知诊断系统结构示意图，该系统具体包括：

获取模块610，用于获取学习数据，其中学习数据包括视频资源数据、语音资源数据和练习资源数据；

多模态资源互补图模块620，用于根据所述学习数据，确定所述学习数据的多模态资源互补图；

交互处理模块630，用于对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据；

预测模块640，用于将所述聚合嵌入数据输入认知诊断模型，得到认知诊断的预测结果；其中，所述聚合嵌入数据用于表征所述学习数据的语音依赖性、视频依懒性、练习依赖性和概念依赖性的聚合嵌入数据。

可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

参照图7，本申请实施例提供了一种基于多模态互补图神经网络的认知诊断装置，包括：

至少一个处理器710；

至少一个存储器720，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器710执行时，使得所述至少一个处理器710实现所述的基于多模态互补图神经网络的认知诊断方法。

同理，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器710可执行的程序，处理器710可执行的程序在由处理器710执行时用于执行上述的新风系统的控制方法。

同理，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行程序的定序列表，可以具体实现在任何计算机可读介质中，以供程序执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从程序执行系统、装置或设备取程序并执行程序的系统)使用，或结合这些程序执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供程序执行系统、装置或设备或结合这些程序执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的程序执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

以上是对本申请的较佳实施进行了具体说明，但本申请并不限于所述实施例，熟悉本领域的技术人员在不违背本申请精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。