分类器系统和用于分布式地生成分类模型的方法

摘要

本发明涉及一种用于对由可测量的系统参数表征的系统的状态进行分类或者用于对对象进行分类的分类器系统，该分类器系统具有多个分散的、即本地的分类器单元和中央分类器单元。在此，分散分类器单元例如可以是客户端，而中央分类器单元可以是客户端‑服务器系统中的服务器。在这种系统中，分散分类器单元分散地形成(训练)，并且随后中央地组合成二元分类器单元，这些二元分类器单元又可以形成多元分类器单元。

说明书

技术领域

本发明涉及一种分类器系统，该分类器系统包括多个联合的二元分类器单元，以及一种用于分布式地生成分类模型的方法。

背景技术

二元分类器单元被构建为将由参数值描述的对象或由参数值描述的系统的状态分别与两个类别中的一个相关联，其中，类别例如可以表示可能的状态或对象。如果其状态应当被分类的系统只能够呈现两个状态、例如状态A或状态B，则二元分类器单元可以根据包含所测量的或推导出的输入参数值的输入数据组，形成隶属关系值作为输出值，该输出值指示了参数值属于两个可能的状态中的哪一个，即，系统在已经测量了参数值的时间点呈现了两个可能的状态中的哪一个。隶属关系值不一定必须是唯一的，而是还可以说明输入参数值属于状态A或状态B的概率。因此可能的隶属关系值可以是例如0.78，并且表示系统以78％的概率处于状态A并且以22％的概率处于状态B。

如果系统可以呈现多于两个状态，那么仍然可以借助多个二元分类器单元以相应的二元分类器单元确定系统处于可能状态之一的概率有多大的方式进行关联。例如，如果系统可以呈现状态A、B或C中的一个，则第一分类器单元可以被构建为用于形成隶属关系值，该隶属关系值说明了系统是否处于状态A的概率有多大。因此，该分类器单元将输入参数值要么与状态A相关联要么与状态非A相关联。对应地，第二分类器单元可以被构建为用于形成隶属关系值，该隶属关系值说明了系统是否处于状态B的概率有多大。因此，该第二分类器单元将输入参数值要么与状态B相关联要么与状态非B相关联。第三二元分类器单元可以被构建为用于确定与状态B的隶属关系。分类器单元可以在逻辑上依次连接，使得只有在检查与状态A的隶属关系得出输入参数值与状态非A相关联的情况下，才检查与状态B的隶属关系。

除了二元分类器单元(

二元以及多元分类器单元可以由人工神经网络形成。人工神经网络具有拓扑结构，该拓扑结构由节点和节点之间的连接形成，并且在该拓扑结构中节点被组织成依次的层。人工神经网络的节点由人工神经元形成，这些人工神经元对一个或多个输入值进行加权求和，并依据加权输入值的总和是否超过阈值来输出输出值。代替固定阈值，人工神经元可以将s型函数(Sigmoidfunction，即一种软阈值，在该阈值下，输出值也可以呈现0与1之间的值)应用于加权输入值的总和。

输入数据组中包含的输入参数值与输入层的人工神经元(节点)相关联。输入层的人工神经元将其输出值作为输入值提供给人工神经网络的下一层的通常多个(或所有)的神经元。人工神经网络的输出层中的神经元最终提供隶属关系值，该隶属关系值说明了输入参数值以何种概率(或者是否)属于系统的特定状态或特定对象。通常，输入层与输出层之间设置有多个中间层(隐藏层)，其与输入层和输出层一起定义了神经网络的拓扑结构。二元分类器单元在输出层可以具有两个神经元，即一个提供针对类别A的隶属关系值，以及一个提供针对类别非A的隶属关系值作为输出值。多元分类器单元在输出层可以有多个神经元，即，为多元分类器单元针对其进行了训练的类别之一提供隶属关系值的各个神经元，以及另外的神经元，其指示了由输入参数值描述的对象或者由输入参数值描述的状态未与多元分类器单元针对其进行了训练的任何类别相关联的概率。多元分类器单元可以由多个二元子分类模型形成，使得多元分类器单元由多个并行的二元子分类模型(以下也称为二元子路径)组成，子分类模型分别具有自己的中间路径(隐藏层)，其中多个并行的二元分类模型具有共同的输入层和共同的输出层。

特别适用于图像处理的人工神经网络是卷积神经网络(convolutional neuralnetwork)，其中将相对小的卷积矩阵(Filterkernel，滤波器内核)应用于卷积层(convolutional Layer)中由输入参数值形成的值矩阵。相应神经元的输入值因此借助离散卷积来确定。卷积层中神经元的输入值计算为卷积矩阵与当前在相应步骤中相关联的输入值矩阵的值的内积。在此，相对小的卷积矩阵在相对较大的输入值矩阵上几乎逐步地移动，并分别形成内积。

分类器单元以及尤其是神经网络的特征通常在于其预先给定的拓扑结构和模型参数值，该模型参数值定义了相应神经元的输入值的权重和神经元的函数。神经元的函数定义了相应神经元的信息值如何从其加权输入值中得出。神经元的函数可以是简单的阈值函数，并且相关的模型参数值则是相关的阈值。然而，神经元的函数也例如可以是s型函数，该s型函数可以由对应的模型参数值参数化。所有模型参数值一起定义了分类模型，该分类模型与神经网络的拓扑结构一起定义了相应的分类器单元。

通过训练确定针对相应分类器单元的模型参数值。在训练中(在机器学习的范围内也称为学习阶段)，为分类器单元预先给定输入参数值和相关的类别(作为目标值)。以本领域技术人员已知的方式，然后在优化过程中确定针对分类器单元的模型参数值，使得当分类器单元利用如训练中已预先给定的系统参数值处理输入数据组时，得到与目标值(即预先给定的类别)的高隶属关系值。

分类器单元的预先给定的拓扑结构以及通过训练确定的模型参数值定义了相应的分类模型，由于预先给定了底层拓扑结构，因此该分类模型通常可以单独由底层模型参数值的组来描述。因此，分类模型例如通过底层人工神经网络的拓扑结构以及通过模型参数值来定义。

重要的模型参数值通常是用来对相应神经元的不同输入值进行加权的权重。在学习阶段，权重在迭代过程中逐步优化，使得预先给定的目标值(即预先给定的类别)与分类器单元的输出值之间的偏差尽可能小。预先给定的目标值与分类器单元的输出值之间的偏差可以借助质量标准进行评估，并且可以借助梯度算法进行对权重的优化，在该梯度算法中优化了典型的二次质量标准，即搜索了质量标准的最小值。在此，借助已知的梯度算法来进行对最小值的近似，在该梯度算法中确定了梯度，利用该梯度逐迭代步骤地改变权重。在此，较大的梯度对应于每个迭代步骤的较大变化，并且小梯度对应于每个迭代步骤的较小变化。在搜索到的质量标准的(局部)最小值附近，权重的逐迭代步骤的改变(以及由此对应的梯度)通常相对较小。借助梯度可以分别确定针对下一个迭代步骤的改变的权重。迭代优化一直持续到满足预先给定的中止标准，例如，质量标准已达到预先给定的程度，或已达到预先给定的迭代步骤的数量。

由于同一类别的不同状态或对象的系统参数值可能不同，因此分类器单元利用许多或多或少不同的输入数据组对相应的类别进行训练，并且模型参数值在优化过程的进程中被确定为使得模型参数值为相应的类别提供尽可能可靠的隶属关系值，虽然存在单个偏差的系统参数值。例如，如果针对对象的预先给定的类别是“玫瑰”，并且系统参数值是照片的像素，这些像素代表照片中图像点的颜色和亮度，那么为了将照片上成像的对象与类别“玫瑰”相关联，玫瑰花瓣的颜色显然不像例如其形状那么重要。因此，利用许多不同的玫瑰照片训练对应的分类器单元可预见地导致，在结果中，取决于花瓣颜色的输入值比取决于花瓣形状的输入值具有明显更低的权重，这导致了模型参数值的对应调整。

如果用于训练的输入数据组太相似，或者如果用于训练的代表同一对象或状态的不同变体的输入数据组太少，则可能发生已知的过拟合(overfitting)。例如，如果针对对象“玫瑰”的分类器单元仅利用红玫瑰的照片进行训练，那么很可能的是，这样的分类器单元对白玫瑰的照片只确定低的隶属关系值，尽管白玫瑰与红玫瑰一样都是玫瑰。

至少部分地避免这种过拟合的一种可能性在于，在针对同一类别(或在多元分类器单元的情况下，针对相同类别)的不同数据组上训练不同的分类器单元，并且组合借助不同的分类器单元获得的模型参数值。这被称为“分布式学习”。这里的问题是模型及其模型参数值的有效组合。

模型的组合可以在训练期间进行，然而也可以在训练之后(即，在学习阶段期间或之后)进行。在实践中，梯度的组合特别重要。梯度表示各个优化步骤之间的模型变化、特别是针对神经元的输入值的权重的变化，机器学习算法在学习阶段为优化模型参数而采取该优化步骤。已知的是，模型变化(梯度)在每次或在n个模型更新(迭代步骤)之后被组合。以该方式，仅通过已经由分散分类器单元生成的局部模型的局部梯度来形成全局模型(用于中央分类器单元)。这种通过组合分散地生成的模型来生成中央分类模型除了别的之外从谷歌公司(Alphabet)的“联邦学习(Federated Learning)”中已知。

发明内容

根据本发明，提出了一种分类器系统，该分类器系统用于对由可测量的系统参数表征的系统的状态进行分类或者用于对对象进行分类，该分类器系统具有多个分散的、即本地的分类器单元和中央分类器单元。在此，分散分类器单元例如可以是客户端，而中央分类器单元可以是客户端-服务器系统中的服务器。在这种系统中，分散分类器单元分散地形成(训练)，并且随后中央地组合成二元分类器单元，这些二元分类器单元又可以形成多元分类器单元。

分类器单元可以实现一个或多个分类模型。特别地，中央分类器单元例如可以实现多个二元分类模型以及还有多元分类模型。例如，中央多元分类模型可以由针对不同类别的两个或多个分散二元模型来生成。分散分类器单元也可以由一个或多个二元分类模型和/或一个或多个多元分类模型来实现，该多元分类模型由二元分类模型组合而成。这种组合成的模型的模型更新则总是仅涉及相关的模型路径。

如果分类器单元基于人工神经网络来创建，则相应的分类模型例如通过底层人工神经网络的拓扑结构以及通过模型参数值来定义。模型参数例如是定义相应人工神经元的函数(例如，s型函数)的系数以及利用其来对人工神经元的输入值进行加权的权重。

系统的待分类的状态或待分类的对象在此由可测量的或推导出的系统参数值来描述。推导出的系统参数值例如可以描述所测量的系统参数值之间的关系，例如分布或差异、平均值等。

分散分类器单元被构建为，针对由可测量的系统参数的系统参数值形成的(相应的)输入数据组，基于特定于相应的分散分类器单元的模型参数值，确定隶属关系值，该隶属关系值指示了由数据组所代表的状态或对象与状态类别或对象类别的隶属关系，该数据组由可测量的系统参数的系统参数值形成。

中央分类器单元与分散分类器单元连接，以传输定义分类模型的模型参数值。例如，由分散分类器单元生成的模型参数值被传送到中央处理单元，该中央处理单元因此形成中央(多元)分类模型并由此定义中央分类器单元。

分散分类器单元中定义的相应的分类模型的模型参数值通过对分散分类器单元的训练来形成，该训练利用由本地确定的系统参数值形成的训练数据组以及利用相关联的、预先给定的状态类别或对象类别来进行。与相应的训练数据组相关联的状态类别或对象类别在此形成目标值。训练数据组表示针对待训练的分类器单元的输入数据组，其与目标值一起形成训练数据元组。

属于相应的训练数据元组的目标值(即，预先给定的类别，也称为“标签”)可以由用户明确地预先给定，例如方式是，用户从预先给定的可能的目标值的列表中选择目标值，该目标值是与相应的输入数据组匹配的目标值。用户的预先给定也可以以文本描述的形式进行，然后借助语言处理(NLP，natural language processing)自然语言处理)从该文本描述中提取目标值。如果例如通过记录图像或输入信息产生了训练数据，则由此可以由用户通过为此创建的用户界面提供相关联的目标值，或者可以根据用户行为(例如根据报告借助自然语言处理)自动生成相关联的目标值。生成目标值后，进行对相关联的分散二元分类模型的更新，并且不必再存储在更新范围内为训练所使用的数据、即系统参数值。出于数据保护的原因，这恰好在医疗领域是有利的。

优选地，分散分类器单元中的至少一个被构建为，在针对状态类别的新的训练数据组的情况下，更新针对该状态类别的对应的分散二元分类模型，并且将由此形成的更新后的模型参数值和/或在更新范围内所获得的梯度传输至中央分类器单元。在该关联下，中央分类器单元优选地被构建为响应于更新的模型参数值和/或梯度的接收，仅更新针对所涉及的状态类别被训练的那个中央二元分类模型或多元分类模型中的针对所涉及的状态类别被训练的那个中央子分类模型。

分类器系统有多个不同的分散分类器单元，对于多个不同的分散分类器单元，相应的分类模型的分散模型参数值是以训练数据组训练相应的分散分类器单元的结果，这些训练数据组是各个相同的系统参数的不同的所测量的系统参数值和代表由这些系统参数表征的系统的状态的目标值，该目标值代表训练数据组中所包含的系统参数值与状态类别的隶属关系。

中央分类器单元被构建为，根据源自不同的分散分类器单元的分散模型参数值和/或在建模(迭代优化)的范围内出现的梯度，形成中央模型参数值，这些分散模型参数值基于各个相同的系统参数的所测量的系统参数值来形成，这些中央模型参数值定义了针对与系统参数相关联的状态类别的中央分类模型。

优选地，中央分类器单元还被构建为，基于中央模型参数值和/或基于建模(迭代优化)范围内出现的梯度推导出针对中央多元分类模型的中央模型参数值，这些中央模型参数值定义针对不同类别的一个或多个分散多元分类模型的二元分类模型或二元子分类模型。这也可以仅对单个的子分类模型分别进行，例如也可以在借助更新的分散模型参数值更新中央分类模型时进行。

优选地，中央分类器单元被构建为，将由其形成的中央模型参数值(回)传至一个或多个分散分类器单元，使得相应的分散分类器单元体现对应的中央分类模型。在该情况下并且以该方式，相应的分散分类器单元也可以是多元分类器单元。还可能的是，由中央分类器单元实现的中央多元分类模型的仅一部分、即各个二元分类模型，被回传至分散分类器单元中的一个或多个。

本发明包括以下知识：利用机器学习方法逼近分类模型需要足够大的训练数据组或具有尽可能均匀的类别分布的训练数据组。这些分布通常仅在以复杂方式准备的数据组中存在，并且仅针对允许组合这种数据组的问题域。

本发明进一步包括以下知识：出于数据保护的原因，这些训练数据组在实际使用中经常不能被组合。数据组分布在不同的分散单元上，这些分散单元必要时在数据组中产生不同的分布。这些不同的分布由于各个分散单元的特定的焦点或者由于分散单元的外部因素(例如地理格局)而出现。结果是，在分散单元上近似的模型与当前的分布过拟合，并且在某些地方，各个分散单元上的模型仅映射类别(例如，可能的状态)的部分。

同样，无法确定每个类别是否存在足够的数据，因为由于分布的原因，无法事先进行定量研究。

根据本发明的分类器系统可以利用如下方法来运行，该方法包括在彼此分离的分散分类器单元上训练二元分类模型。该方法还包括传输模型，以及组合来自分散分类器单元的二元分类模型以形成多元分类模型。在此，也可以使用不同类型的模型。在此，模型组合不一定是完整模型的组合，而是也可以是各个梯度或模型变化的组合。

该方法例如可以如下地进行：

1.训练输入数据元组(其由输入数据组和目标值构成，该输入数据组包含系统参数值，该目标值对类别进行预先给定)被划分为分别具有二元目标值的n个(n＝类别的数量)数据元组。

2.每个数据元组用于更新相同类型(即，具有相同拓扑结构)的m个(m＝不同初始化的数量)分类器单元的模型参数值。该步骤必须针对至少一个模型类型来执行，但可以以任意数量的模型类型来执行。

3.已经由中央分类器单元形成的每一组模型参数值随后优选地可用作验证数据组。只要发生过拟合，就中止相应的组的模型参数值的更新。

4.同样可能的是，手动终止分散分类器单元上的相应的组的模型参数值的更新，因为在一些模型中不存在收敛。

5.在所有更新过程终止之后，模型参数值被发送到中央分类器单元。

6.由中央分类器单元将针对每个类别和每个模型类型的、由对应的组的中央模型参数值定义的二元分类模型组合成相应的中央二元分类模型，并且由此定义中央二元分类器单元。

7.随后优选地根据全局验证数据组来验证每个中央二元分类器单元。

8.二元分类模型的验证和组合可以任意地重复。

9.随后将所有中央二元分类模型组合，以形成跨类别的中央多元分类模型。直到这个过程步骤，可以决定中央多元分类模型应该限制到哪些类别。

根据本发明的方法包括步骤：

-针对目标值分散地形成多个二元分类模型，

-将定义相应二元分类模型的模型参数值和/或梯度传输到中央分类器单元，以及

-根据所传输的模型参数值和/或由中央分类器单元形成中央二元分类模型。

优选地，该方法附加地包括步骤：

-由中央分类器单元根据多个二元分类模型形成中央多元分类模型。

该方法还可以具有步骤：

-将定义中央分类模型的模型参数值传输到一个或多个分散分类器单元。

优选地，在分散二元分类模型的每次更新之后，或者以固定地预先给定的间隔或依据由参数预先给定的间隔，或者在形成相应的分散二元分类模型结束之后，将定义相应的二元分类模型的模型参数值和/或梯度传输至中央分类器单元。

在该描述的范围内使用以下术语：

系统参数值是描述技术或生物系统(即例如诸如机器、数据处理系统、身体部分、植物等的对象)的参数值。

系统参数值也可以是描述技术或生物系统的状态(即例如功能状态、运行状态、错误状态、健康状态、训练状态等)的参数值。

系统参数是可测量的参数，例如尺寸、质量、距离、亮度、温度等，或从可测量的参数推导出的参数，例如值分布、差、平均值等。

相应的系统参数值是相应的系统参数的所测量的或所推导出的(数值上的)值。

属于一起的系统参数值可以形成输入数据组，该输入数据组具有如下结构，通过该结构将包含在数据组中的(数值上的)系统参数值唯一地与相应的系统参数相关联。

分类模型例如可以由训练后的人工神经网络来定义或由通过线性回归系数定义的模型来定义，该模型提供一个或多个隶属关系值作为一个或多个输出值，该隶属关系值分别指示了包含在结构化输入数据组中的参数值与相应的系统状态的隶属关系。

模型参数可以是训练后的神经网络的权重或线性回归的系数，并且模型参数值则是训练后的神经网络的相应的权重的(数值上的)值或线性回归的系数。

系统参数值(分别)给出针对本地二元分类器单元的输入数据组。

在以神经网络的形式实现的情况下，输入数据组的各个系统参数值在输入层(以及后续层中形成的内部值(节点的输出值))被加权。权重可以被提取为模型参数值并且例如以矩阵的形式传输到中央分类器单元。

在训练阶段，通过本地地借助包含系统参数值的输入数据组以及相关联的二元目标值(类别)来训练分散分类器单元，分散地生成模型参数值。

分散地生成的模型参数值和/或梯度可以被传输到中央分类器单元，并且在必要时被传输到另外的分散分类器单元。

可以针对不同的二元目标值(即，针对不同的类别)训练不同的分散分类器单元。

根据所传输的模型参数值和/或梯度，中央分类器单元生成多个中央二元分类模型，针对相应的类别，将所有已针对该类别训练了的那些分散分类器单元的模型参数值输入到这些中央二元分类模型中。中央分类器单元还可以将不同的二元分类模型组合成中央多元分类模型。

在训练阶段之后，中央地生成的分类模型(中央地生成的多组模型参数值)被回传(部署，Deployment)到分散分类器单元。如果中央地生成的分类模型是多元分类模型，则还可以仅将该多元分类模型的一部分回传(Teil-Deployment，部分部署)到分散分类器单元中的一个或多个。

在应用阶段，中央地生成的分类模型(即基于中央地生成的模型参数值的分类模型)由分散分类器单元应用。这些分类模型优选地是多元分类模型，但也可以是二元分类模型，其与分别预先给定的拓扑结构一起定义多元分类器单元或二元分类器单元。

只有模型参数值和相关联的类别(即，相关联的二元目标值)被传输到中央分类器单元，但没有系统参数值被传输。由此，实现了关于系统参数值(即，例如照片)的数据保护。

附图说明

应当根据示例参考附图来描述本发明。附图中：

图1示出了将多个分散二元分类模型组合成中央二元分类模型；

图2示出了由多个(中央)二元分类模型形成多元分类模型；以及

图3示出了用于分布式地生成分类模型的两步的方法。

具体实施方式

图1示例性地示出了具有一个中央分类器单元12和三个分散分类器单元14.1、14.2和14.3的分类器系统10。中央分类器单元12可以以服务器-客户端网络中的服务器的形式来实现。分散分类器单元14.1、14.2、14.3然后可以是服务器-客户端网络中的客户端。

在所示的实施例中，中央分类器单元12和分散分类器单元14.1、14.2、14.3分别实现由人工神经网络定义的分类模型。

对于所示的分类器单元12、14.1、14.2和14.3，人工神经网络的实现是相同的。这意味着，在分类器单元中实现的人工神经网络分别具有相同的拓扑结构。相应的人工神经网络的拓扑结构由人工神经元20和人工神经元20之间的连接22来定义。人工神经元20因此形成网络中的节点。人工神经元20以本身已知的方式布置在多个层中，即布置在输入层24、一个或多个隐藏层(hidden layer)26和输出层28中。

在相应分类器单元12、14.1、14.2、14.3的相应人工神经网络中，神经元20获得多个输入值，这些输入值被加权并相加，使得产生和值，在该和值上应用了阶跃函数(Schwellwertfunktion)或s型函数，其提供了取决于和值和所应用的s型函数或阶跃函数的输出值。相应的人工神经元20的该输出值被传输到后续层的一个或多个(通常为所有的)人工神经元20作为输入值。以该方式，后续的层、例如隐藏层(例如层26)的人工神经元20获得其输入值，这些输入值又被单独加权并相加。由此形成的和值在神经元20中每一个中例如通过s型函数或阶跃函数又被转换成输出值。

输出层28的人工神经元20分别提供输出值，该输出值是隶属关系值，该隶属关系值说明了状态或对象以何种概率与对象或状态的特定的类别相关联，该状态或对象由馈送到输入层26的人工神经元20的系统参数值来表征。输出层28的人工神经元20中的一个在此说明了以输入数据组的形式提供的系统参数值描述与特定的类别相关联的系统的概率(y

在所示的实施例中，分散分类器单元14.1、14.2和14.3以及中央分类器单元12分别仅实现单个神经网络。可能的是，分类器单元12、14.1、14.2和14.3中的每一个也实现多个神经网络。神经网络在拓扑结构方面也可以彼此不同。重要的是，针对特定对象类别或状态类别的神经网络在分散分类器单元14.1、14.2和14.3中以及在中央分类器单元12中被相同地构建。

通过相应人工神经网络的拓扑结构和相关联的模型参数值，分别定义了针对一个类别的分类模型(在二元分类模型的情况下)，或者针对多个类别的分类模型(在多元分类模型的情况下)。在此，模型参数值是：权重ω的值，利用该值对单个神经元20的输入值进行加权；以及系数，该系数描述人工神经元20的函数，即例如s型函数或阶跃函数的阈值。在已知的拓扑结构中，分类模型因此由模型参数值清楚地描述。

在预先给定的拓扑结构中以如下方式生成合适的模型参数值，即利用训练数据组和相关联的目标值训练相应的人工神经网络。训练数据组包含系统参数值，并与目标值一起形成用于训练的输入数据元组(训练数据元组)。目标值说明与包含在输入数据组中的系统参数值相关联的类别。在此，类别例如可以表示多个对象中的特定对象或多个状态中的特定状态。如开头所提到的，人工神经网络通常利用多个不同的训练数据元组针对同一类别进行训练。

在所示的实施例中，分散分类器单元14.1、14.2和14.3通常利用多个不同的训练数据元组进行训练，其中，例如用来训练第一分散分类器单元14.1的训练数据元组不同于用来训练第二分散分类器单元14.2的训练数据元组，因为相应的系统参数值通常不同地产生。这意味着，即使所有三个分散分类器单元14.1、14.2和14.3的人工神经网络分别针对相同的类别进行训练，所形成的模型参数值以及由此还有所形成的分类模型彼此间存在或多或少的偏差。

为了形成标准化的(在示例中二元的)中央分类模型，分散分类器单元14.1、14.2和14.3分别将由其来实现的分类模型的模型参数值传输到中央分类器单元12。然后，该分类器单元组合模型参数值，使得例如针对相应模型参数(即分别针对人工神经网络中的特定权重)根据所有模型参数值形成平均值。这在图1中由所示公式表示。由此形成的平均值是中央分类模型的模型参数值。

以该方式，中央分类器单元12可以针对特定的类别(例如，索引1)形成中央二元分类模型。

图2示出了中央分类器单元12可以同时实现多个分类模型，这些分类模型可以由不同的人工神经网络实现。在图2所示的示例中，这是三个不同的神经网络30.1、30.2和30.3，其分别定义针对各个另外的类别(即，针对各个另外的对象或完全不同的状态)的中央二元分类模型。

中央分类器单元12被构建为，由示例中的三个不同的二元分类模型30.1、30.2和30.3形成组合的多元分类模型32。多元分类模型32因此由三个二元子分类模型40组成，这些二元子分类模型具有共同的输入层34和共同的输出层36，并且分别具有自己的中间层38(隐藏层)。如果这种多元分类模型由中央分类器单元或分散分类器单元中的一个实现，则可以在本地分类器单元中的一个与中央分类器单元之间仅交换子分类模型40中的一个的模型参数。例如，可以规定，当由分散分类器单元实现的(子)分类模型已被新的训练数据组更新并且由此已形成更新的分散的、即本地的模型参数值时，总是将模型参数值从分散分类器单元传输到中央分类器单元。结果是，这导致由中央分类器单元实现的中央(多元)分类模型也被更新。然后，由此产生的更新的中央模型参数值又可以从中央分类器单元传输到对应的分散分类器单元，以便也对应地更新由这些分散分类器单元实现的分散分类模型。

由此，得到两步的方法，其中在第一步中形成分散分类模型42并由此形成多个中央二元分类模型44，并且在第二步中由中央二元分类模型44形成具有多个二元子分类模型40(参见图2)的多元分类模型。这在图3中示出。

由此由中央分类器单元12生成和实现的组合的多元分类模型32然后可以至少被回传(Deployment，部署)至分散分类器单元中的一些，使得最终由这些分散分类器单元实现的分类模型也在考虑了另外的分散分类器单元的训练数据组的情况下被优化。

例如通过仅回传二元分类模型30.1、30.2和30.3中所选择的一个或一些二元分类模型，即未回传由中央分类器单元12实现的整个的多元分类模型，回传(Deployment，部署)也可以仅部分地进行。

在形成中央分类模型之后，可以如以上所描述地进行对该中央分类模型的更新以及随后对分散分类模型的更新。

附图标记列表

10 分类器系统

12 中央分类器单元

14.1,14.2,14.3 分散分类器单元

20 神经元

22 连接

24 输入层

26 隐藏层

28 输出层

30.1,30.2,30.3 神经网络

32 多元分类模型

34 输入层

36 输出层

38 中间层

40 二元子分类模型

42 分散分类模型

44 中央二元分类模型