分级潜在变量模型估计设备

摘要

一种分级潜在结构设置单元81设置分级潜在结构，该分级潜在结构是其中潜在变量由树结构代表并且代表概率模型的分量位于树结构的最低级的节点处的结构。变分概率计算单元82计算路径潜在变量的变分概率，该路径潜在变量是在分级路径结构中的将根节点链接到目标节点的路径中包括的潜在变量。分量优化单元83优化用于计算出的变分概率的分量中的每个分量。门控函数优化单元84优化门控函数模型，该门控函数模型是用于基于分级潜在结构中的节点中的潜在变量的分量概率、根据该节点中的多变元数据确定分支方向的模型。

说明书

技术领域

本发明涉及一种用于估计用于多变元数据的分级潜在变量模型 的分级潜在变量模型估计设备和分级潜在变量模型估计方法，以及一 种具有其上记录的程序的计算机可读记录介质，该程序用于估计用于 多变元数据的分级潜在变量模型。

背景技术

以从汽车、商店的销售表现、电力需求历史等获取的传感器数据 为代表的数据是根据各种因素而被观测和累计的数据。例如，从汽车 获取的传感器数据根据驾驶模式而变化。因此，数据被累计作为并非 从一个因素、而是从各种因素产生的观测值。

对从其产生这样的数据的因素的分析可以被应用于工业上重要 的情形。作为示例，分析汽车的故障原因支持对汽车的快速修理。作 为另一示例，分析在销售与天气和/或当天时间之间的相关性支持减少 脱销或者积压。作为又一示例，识别电力需求模式支持防止电力过量 或者短缺。

另外，如果有可能分析如何进行在多个因素之间的切换，则可以 通过组合为每个因素而获得的知识来执行预测。此外，它们的切换规 则也可以被用作为用于营销的知识。这样的分析因此适用于更复杂的 情形。

为了在逐个因素的基础上分离从多个因素产生的以上提到的数 据，通常在建模中使用混合潜在变量模型。作为包括以上提到的切换 规则的模型，提出了分级潜在变量模型(例如，参见非专利文献(NPL) 1)。

为了使用这样的模型，有必要确定隐藏状态的数目、观测概率分 布的类型和分布参数。在其中已知隐藏状态的数目和观测概率分布的 类型的情况下，可以通过例如使用在NPL 2中描述的期望最大化算法 来估计参数。因此，如何确定隐藏状态的数目和观测概率分布的类型 是重要的。

确定隐藏状态的数目和观测概率的类型的问题通常被称为“模型 选择问题”或者“系统标识问题”，并且对于构造可靠模型而言是极为 重要的问题。相应地提出了用于确定隐藏状态的数目和观测概率的类 型的各种方法。

作为一种用于确定隐藏状态的数目的方法，例如，提出了一种通 过变分(variational)贝叶斯(Bayesian)方法最大化变分自由能量的 方法(例如，参见NPL 3)。作为另一种用于确定隐藏状态的数目的 方法，提出了一种使用分级狄利克雷(Dirichlet)过程先验分布的非 参数贝叶斯方法(例如，参见NPL 4)。

另外，在NPL 5中描述了一种用于通过为混合模型近似完整边际 似然度函数并且最大化它的下界(下限)来确定观测概率的类型的方 法，该混合模型是潜在变量模型的典型示例。

引用列表

非专利文献

[NPL 1]C.Bishop,M.Svensen,Bayesian Hierarchical Mixtures of  Experts,Proceedings of the Nineteenth Conference on Uncertainty in  Artificial Intelligence,p.57-64,2002.

[NPL 2]C.Bishop,Pattern Recognition and Machine Learning, Springer,p.423-459,2007.

[NPL 3]Beal,M.J.,Variational Algorithms for Approximate  Bayesian Inference,PhD thesis,University College London,May 2003.

[NPL 4]Van Gael,J.,Saatci,Y.,Teh,Y.W.,and Ghahramani,Z., Beam Sampling for the Infinite Hidden Markov Model,In ICML,2008.

[NPL 5]Ryohei Fujimaki,Satoshi Morinaga,Factorized Asymptotic  Bayesian Inference for Mixture Modeling,Proceedings of the Fifteenth  International Conference on Artificial Intelligence and Statistics (AISTATS),March 2012.

发明内容

技术问题

在通过变分贝叶斯方法最大化变分自由能量的方法中，在最大化 边际似然度函数的下界时假设隐藏状态和变分分布中的分布参数的 独立性。这引起减少边际似然度近似准确度的问题。

作为使用分级狄利克雷过程先验分布的非参数贝叶斯方法，已知 一种基于蒙特卡洛(Monte Carlo)的优化算法。然而，这一算法具有 极高计算复杂性的问题。

由于其计算复杂性的问题而实际上不可能通过这两种方法确定 观测概率的类型。以下使用如下示例来描述这一计算复杂性的问题， 在该示例中，观测概率分布是混合多项式曲线。由于以下讨论并未依 赖于隐藏状态，所以省略了其描述。

在其中用于隐藏状态的观测是多项式曲线的情况下，有必要恰当 地选择曲线(比如线性曲线(直线)、二次曲线、三次曲线等)的度 数以便确定观测概率的类型。在使用典型方法时，需要以这样的方式 为所有模型候选计算信息判据，该方式例如是在隐藏状态的数目是3 时采用一个直线和两个二次曲线，或者在隐藏状态的数目是5时采用 三个三次曲线和两个二次曲线。

然而，模型候选的数目随着待搜寻的模型的复杂性呈指数地增 加。例如，在隐藏状态的数目是10并且曲线的最大度数是10的情况 下，候选的数目约为100,000。在隐藏状态的数目是20并且曲线的最 大度数是20的情况下，候选的数目约为数百亿。因此，实际上难以 通过典型方法执行计算。

在NPL 1中描述的分级潜在变量模型是使用通过变分贝叶斯方法 最大化变分自由能量的方法而估计的模型，其中计算也实际上困难。

即使在使用在NPL 5中描述的方法时，仍然有不能解决对于包括 分级潜在变量的模型的模型选择问题这样的问题。这是因为在NPL 5 中描述的方法并未考虑分级潜在变量，并且因此不能明确地建立计算 过程。此外，由于在NPL 5中描述的方法基于它不适用于其中存在分 级潜在变量的情况这样的强假设，所以如果简单地应用这一方法则失 去理论合理性。

有鉴于此，本发明的一个示例性目的是提供一种分级潜在变量模 型估计设备、分级潜在变量模型估计方法和具有其上记录的分级潜在 变量模型估计程序的计算机可读记录介质，该设备、方法和计算机可 读记录介质可以解决对于包括分级潜在变量的分级潜在变量模型的 模型选择问题，并且也用适当计算复杂性估计分级潜在变量模型而不 失理论合理性。

对问题的解决方案

本发明的一个示例性方面是一种用于估计用于多变元数据的分 级潜在变量模型的分级潜在变量模型估计设备，该分级潜在变量模型 估计设备包括：分级潜在结构设置单元，用于设置分级潜在结构，分 级潜在结构是其中潜在变量由树结构代表并且代表概率模型的分量 位于树结构的最低级的节点处的结构；变分概率计算单元，用于计算 路径潜在变量的变分概率，路径潜在变量是在分级潜在结构中的将根 节点链接到目标节点的路径中包括的潜在变量；分量优化单元，用于 针对计算出的变分概率优化分量中的每个分量；以及门控函数优化单 元，用于基于分级潜在结构的节点中的潜在变量的变分概率优化门控 函数模型，该门控函数模型是用于根据节点中的多变元数据确定分支 方向的模型。

本发明的一个示例性方面是一种用于估计用于多变元数据的分 级潜在变量模型的分级潜在变量模型估计方法，该分级潜在变量模型 估计方法包括：设置分级潜在结构，分级潜在结构是其中潜在变量由 树结构代表并且代表概率模型的分量位于树结构的最低级的节点处 的结构；计算路径潜在变量的变分概率，路径潜在变量是在分级潜在 结构中的将根节点链接到目标节点的路径中包括的潜在变量；针对计 算出的变分概率优化分量中的每个分量；以及基于分级潜在结构的节 点中的潜在变量的变分概率优化门控函数模型，门控函数模型是根据 节点中的多变元数据确定分支方向的模型。

本发明的一个示例性方面是一种计算机可读记录介质，该计算机 可读记录介质具有其上记录的用于估计用于多变元数据的分级潜在 变量模型的分级潜在变量模型估计程序，分级潜在变量模型估计程序 使得计算机执行：设置分级潜在结构的分级潜在结构设置处理，分级 潜在结构是其中潜在变量由树结构代表并且代表概率模型的分量位 于树结构的最低级的节点处的结构；计算路径潜在变量的变分概率的 变分概率计算处理，路径潜在变量是在分级潜在结构中的将根节点链 接到目标节点的路径中包括的潜在变量；针对计算出的变分概率优化 分量中的每个分量的分量优化处理；以及基于分级潜在结构的节点中 的潜在变量的变分概率优化门控函数模型的门控函数模型处理，门控 函数模型是用于根据节点中的多变元数据确定分支方向的模型。

本发明的有利效果

根据本发明，有可能解决对于包括分级潜在变量的分级潜在变量 模型的模型选择问题并且也用适当计算复杂性估计分级潜在变量模 型而不失理论合理性。

附图说明

[图1]其描绘了根据本发明的分级潜在变量模型估计设备的示例 性实施例的结构示例的框图。

[图2]其描绘了如下框图，该框图示出了示例性实施例1中的分 级潜在变量变分概率计算单元的结构示例。

[图3]其描绘了如下框图，该框图示出了示例性实施例1中的门 控函数优化单元的结构示例。

[图4]其描绘了如下流程图，该流程图示出了示例性实施例1中 的分级潜在变量模型估计设备的操作示例。

[图5]其描绘了如下流程图，该流程图示出了示例性实施例1中 的分级潜在变量变分概率计算单元的操作示例。

[图6]其描绘了如下流程图，该流程图示出了示例性实施例1中 的门控函数优化单元的操作示例。

[图7]其描绘了如下框图，该框图示出了根据本发明的分级潜在 变量模型估计设备的示例性实施例2的结构示例。

[图8]其描绘了如下框图，该框图示出了示例性实施例2中的分 级潜在结构优化单元的结构示例。

[图9]其描绘了如下流程图，该流程图示出了示例性实施例2中 的分级潜在变量模型估计设备的操作示例。

[图10]其描绘了如下流程图，该流程图示出了示例性实施例2中 的分级潜在结构优化单元的操作示例。

[图11]其描绘了如下框图，该框图示出了示例性实施例3中的门 控函数优化单元的结构示例。

[图12]其描绘了如下流程图，该流程图示出了示例性实施例3中 的门控函数优化单元的操作示例。

[图13]其描绘了如下框图，该框图示意性地示出了根据本发明的 分级潜在变量模型估计设备。

具体实施方式

在本发明中，分级潜在变量模型是如下模型，在该模型中，潜在 变量(即，分级结构)具有树结构。作为概率模型的分量位于树结构 的最低级节点处。每个分支节点具有用于根据输入对分支进行排序的 门控函数。在以下描述中，具体描述了深度具体为2的分级潜在变量 模型。

由于假设分级结构是树结构，所以从根节点到给定的节点的路线 被唯一地确定。在下文中，在分级潜在结构中的将根节点链接到给定 的节点的路线(链接)被称为路径。通过追踪用于每个路径的潜在变 量，路径潜在变量被确定。例如，最低级路径潜在变量指示为从根节 点到最低级节点的每个路径而确定的路径潜在变量。

在以下描述中，假设数据序列xⁿ(n＝1，…，N)被输入，其中 xⁿ是M维多变分数据序列(xⁿ＝x₁ⁿ，…，x_Mⁿ)。数据序列xⁿ也被称 为观测的变量。用于观测的变量xⁿ的第一级分支潜在变量z_iⁿ、最低 级分支潜在变量z_jliⁿ和最低级路径潜在变量z_ijⁿ被定义。

z_iⁿ＝1指示向根节点输入的xⁿ分支到第一级第i个节点，并且z_iⁿ＝0 指示向根节点输入的xⁿ未分支到第一级第i个节点。z_jliⁿ＝1指示向第 一级第i个节点输入的xⁿ分支到第二级第j个节点，并且z_jliⁿ＝0指示 向第一级第i个节点输入的xⁿ未分支到第二级第j个节点。z_ijⁿ＝1指示 xⁿ对应于通过穿过第一级第i个节点和第二级第j个节点而被追踪的 分量，并且z_ijⁿ＝0指示xⁿ未对应于通过穿过第一级第i个节点和第二 级第j个节点而被追踪的分量。

[数学式1]

由于满足了∑_iz_iⁿ＝1、∑_jz_j|iⁿ＝1以及z_ijⁿ＝z_iⁿz_j|iⁿ，所以z_iⁿ＝∑_jz_ijⁿ成立。

Z_iⁿZ_j|iⁿ代表Z_j|iⁿ乘以Z_iⁿ。x和z的组合(该组合是最低级路径潜在 变量Z_ijⁿ的代表值)被称为“完整变量”。对照而言，x被称为“不完整 变量”。

用于完整变量的、深度为2的分级潜在变量模型联合分布由以下 表达式1代表。

[数学式2]

$\left(\begin{array}{c}p(x^N,z^N|M)=p(x^N,z_{1st}^N,z_{2nd}^N|M)\\ =\int \underset{n=1}{\overset{N}{\Pi }}\left\{p\left(z_{1st}^n\right|b)\underset{i=1}{\overset{K_1}{\Pi }}p{\left(z_{2nd|i}^n\right|b_i)}^{z_i^n}\underset{i=1}{\overset{K_1}{\Pi }}\underset{j=1}{\overset{K_2}{\Pi }}p{\left(x^n\right|h_{ij})}^{z_i^n·z_{j|i}^n}\right\}df\end{array}\right)$

                                            (表达式1)

也就是说，用于完整变量的、深度为2的分级潜在变量模型联合 分布由在以上所示的表达式1中包括的P(x，y)＝P(x，z_1st，z_2nd)定义。 这里，Z_iⁿ的代表值由Z_1stⁿ表示，并且Z_j|iⁿ的代表值由Z_2ndⁿ表示。另外， 用于第一级分支潜在变量Z_iⁿ的变分分布由q(z_iⁿ)表示，并且用于最低 级路径潜在变量Z_ijⁿ的变分分布由q(z_ijⁿ)表示。

在以上所示的表达式1中，K₁表示第一级的节点数目，并且K₂表 示从第一级的节点中的每个节点分支的节点数目。最低级的分量由 K₁K₂代表。K₁K₂代表K₂乘以K₁。同时， f＝(b，b1，...，bK₁，h1，...，hK₁K₂)表示模型的参数。这里，b是根节 点的分支参数，bk是第一级第k个节点的分支参数，并且hk是用于 第k个分量的观测参数。

另外，S1，...，SK₁K₂代表与hk对应的观测概率的类型。作为示 例，在多变元数据生成概率的情况下，可以是S1至SK₁K₂的候选是 [正态分布，对数分布，指数分布]等。作为另一示例，在输出多项式 曲线的情况下，可以是S1至SK₁K₂的候选是{零度曲线，线性曲线， 二次曲线，三次曲线}等。

在以下描述中，深度为2的分级潜在变量模型被用作具体示例。 然而，注意，根据本发明被估计的分级潜在变量模型不限于深度为2 的分级潜在变量模型，而是可以是深度为1或者深度为3或者更多的 分级潜在变量模型。也在这些情况下，可以如在深度为2的分级潜在 变量模型的情况下那样推导以上所示的表达式1和以下所示的表达式 2至4，并且因此估计设备可以由相同结构实现。

尽管以下描述了在其中目标变量是X的情况下的分布，但是本发 明在观测分布如在回归或者鉴别中那样是条件模型P(Y|X)(Y是目 标随机变量)的情况下同样地可适用。

在描述本发明的示例性实施例之前，以下描述在根据本发明的估 计设备与在NPL 5中描述的用于混合潜在变量模型的估计方法之间 的实质区别。

在NPL 5中描述的方法中，假设了典型混合模型，在该典型混合 模型中，潜在变量是每个分量的指示符，并且如在NPL 5中的表达式 10中那样推导优化判据。然而，由于以NPL 5中的表达式6的形式 给定了费舍尔(Fisher)信息度量，所以在NPL 5中描述的方法中假 设潜在变量(该潜在变量是每个分量的指示符)的概率分布仅依赖于 混合模型的混合比。因此，不能实现根据输入的分量切换，并且因此 这一优化判据不适合。

为了解决以上陈述的问题，有必要如在本发明的示例性实施例中 描述的那样设置分级潜在变量并且使用适当优化判据来执行计算。在 本发明中，用于根据输入对在每个分支节点处的分支进行排序的多级 具体模型被假设为适当优化判据。

下文参照附图描述了本发明的示例性实施例。

示例性实施例1

图1是示出了根据本发明的分级潜在变量模型估计设备的示例性 实施例1的结构示例的框图。在这一示例性实施例中的分级潜在变量 模型估计设备100包括数据输入设备101、分级潜在结构设置单元 102、初始化单元103、分级潜在变量变分概率计算单元104、分量优 化单元105、门控函数优化单元106、最优性确定单元107，最优模型 选择单元108和模型估计结果输出设备109。

分级潜在变量模型估计设备100在对输入数据111进行输入时优 化用于输入数据111的分级潜在结构和观测概率的类型，并且输出优 化的结果作为模型估计结果112。

图2是示出了示例性实施例1中的分级潜在变量变分概率计算单 元104的结构示例的框图。分级潜在变量变分概率计算单元104包括 最低级路径潜在变量变分概率计算单元104-1、分级设置单元104-2、 更高级路径潜在变量变分概率计算单元104-3和分级计算结束确定单 元104-4。

分级潜在变量变分概率计算单元104在对输入数据111和由以下 提到的分量优化单元105估计的模型104-5进行输入时输出分级潜在 变量变分概率104-6。稍后将具体描述分级潜在变量变分概率计算单 元104。

图3是示出了示例性实施例1中的门控函数优化单元106的结构 示例的框图。门控函数优化单元106包括分支节点信息获取单元 106-1、分支节点选择单元106-2、分支参数优化单元106-3和总分支 节点优化结束确定单元106-4。

门控函数优化单元106在对输入数据111、由以下提到的分级潜 在变量变分概率计算单元104计算的分级潜在变量变分概率104-6和 由分量优化单元105估计的模型104-5进行输入时输出门控函数模型 106-6。稍后将具体描述门控函数优化单元106。

数据输入设备101是用于输入该输入数据111的设备。在输入该 输入数据111时，数据输入设备101同时输入模型估计所必需的参数， 比如用于观测概率的类型和分量的数目的候选。

分级潜在结构设置单元102从用于观测概率的类型和分量的数目 的输入候选选择和设置分级潜在变量模型的结果作为优化候选。在本 发明中使用的潜在结构是树结构。在下文中，设置的分量的数目由C 表示，并且在说明书中使用的数学表达式涉及深度为2的分级潜在变 量模型。注意，分级潜在结构设置单元102可以在内部存储器中存储 选择的分级潜在变量模型结构。

例如，在深度为2的树结构的二元树模型(其中每个分支节点具 有两个分支的模型)的情况下，分级潜在结构设置单元102选择具有 两个第一级节点和四个第二级节点(在这一示例性实施例中的最低级 节点)的分级潜在结构。

初始化单元103执行用于估计分级潜在变量模型的初始化处理。 初始化单元103能够通过任意方法执行初始化处理。例如，初始化单 元103可以随机地设置用于每个分量的观测概率的类型，并且根据设 置的类型随机地设置每个观测概率的参数。另外，初始化单元103可 以随机地设置分级潜在变量的最低级路径变分概率。

分级潜在变量变分概率计算单元104计算用于每个级的路径潜在 变量的变分概率。这里，参数f已经由初始化单元103或者由分量优 化单元105和门控函数优化单元106计算。因而，分级潜在变量变分 概率计算单元104使用参数f来计算变分概率。

分级潜在变量变分概率计算单元104通过关于用于完整变量的估 计(例如，最大似然度估计或者最大后验概率估计)进行拉普拉斯 (Laplace)近似边际似然度函数并且最大化它的下界来计算变分概 率。这样的计算出的值在下文中被称为优化判据A。

具体而言，最大化判据A是可以在给定最低级路径潜在变量和分 量的参数时被计算的值。以下使用深度为2的分级潜在变量模型作为 示例来描述计算优化判据的处理。边际对数似然度由以下表达式2给 定。

[数学式3]

   (表达式 2)

首先，考虑由以上所示的表达式2给定的边际对数似然度的下界。 在表达式2中，该等式在最低级路径潜在变量变分概率q(z^N)被最大化 时成立。使用用于完整变量的最大似然度估计来对分子中的完整变量 的边际似然度进行拉普拉斯近似产生对由以下表达式3代表的边际对 数似然度函数的近似。

[数学式4]

   (表达式3)

在表达式3中，上标栏指示用于完整变量的最大似然度估计，并 且D_*指示下标参数*的维度。

接着，通过使用最大似然度估计的性质以最大化对数似然度函数 和对数函数是凹函数的事实，根据以下表达式4来计算表达式3的下 界。根据以下举例说明的表达式4计算出的值对应于优化判据A。

[数学式5]

                                         (表达式4)

第一级分支潜在变量的变分分布q′和最低级路径潜在变量的变 分分布q″各自通过最大化用于变分分布的表达式4而被获得。这里， q″和f是固定的，从而使得q″＝q^(t-1)并且f＝f^(t-1)，并且q′被固定于 由以下表达式A代表的值。

[数学式6]

$q^{\prime }={\Sigma }_{j=1}^{K_2}{q}^{(t-1)}$   (表达式A)

这里，上标(t)指示分级潜在变量变分概率计算单元104、分量 优化单元105、门控函数优化单元106和最优确定单元107的迭代计 算中的第t次迭代。

下文参照图2描述分量潜在变量变分概率计算单元104的操作。 最低级路径潜在变量变分概率计算单元104-1接收对输入数据111和 估计的模型104-5的输入，并且计算最低级潜在变量变分概率q(z^N)。 分级设置单元104-2将最低级设置为变分概率计算目标。

更高级路径潜在变量变分概率计算单元104-3计算紧接更高级的 路径潜在变量变分概率。具体而言，更高级路径潜在变量变分概率计 算单元104-3计算具有与母节点相同的分支节点的当前级的潜在变量 变分概率之和，并且将该和设置为紧接更高级的路径潜在变量变分概 率。

分级计算结束确定单元104-4确定是否存在将为其计算变分概率 的任何更高级。在其中分级计算结束确定单元104-4确定存在更高级 的情况下，分级设置单元104-2将紧接更高级设置为变分概率计算目 标。随后，更高级路径潜在变量变分概率计算单元104-3和分级计算 结束确定单元104-4重复以上提到的处理。在分级计算结束确定单元 104-4确定没有更高级的情况下，分级计算结束确定单元104-4确定 已经为所有级计算了路径潜在变量变分概率。

分量优化单元105优化用于以上所示的表达式4的每个分量的模 型(参数f和类型S)，并且输出经优化的模型104-5。在深度为2 的分级潜在变量模型的情况下，分量优化单元105将q和q″固定于由 分级潜在变量变分概率计算单元104计算的最低级路径潜在变量变分 概率q^(t)，并且将q′固定于由以上所示的表达式A代表的更高级路径潜 在变量变分概率。分量优化单元105然后计算用于最大化表达式4中 的G值的模型。

由表达式4定义的G可以分解用于每个分量的优化函数。因而， 可以分离地优化S1至SK₁K₂和参数h1至hK₁K₂而未考虑分量类型组 合(例如，指明了哪个类型的S1至SK₁K₂)。以这样的方式优化的 能力在这一处理中是重要的。因此，可以在避免组合爆发之时优化分 量的类型。

下文参照图3描述了门控函数优化单元106的操作。分支节点信 息获取单元106-1使用由分量优化单元105估计的模型104-5来提取 分支节点。分支节点选择单元106-2从提取的分支节点列表选择一个 分支节点。下文也将选择的节点称为选择节点。

分支参数优化单元106-3使用输入数据111和从分级潜在变量变 分概率104-6获得的用于选择节点的潜在变量变分概率来优化选择节 点的分支参数。选择节点的分支参数对应于以上提到的门控函数。

总分支节点优化结束确定单元106-4确定是否已经优化了由分支 节点信息获取单元106-1提取的所有分支节点。在其中已经优化了所 有分支节点的情况下，门控函数优化单元106结束该处理。在其中尚 未优化所有分支节点的情况下，分支节点选择单元106-2执行它的处 理，并且然后分支参数优化单元106-3和总分支节点优化结束确定单 元106-4执行它们的相应的处理。

以下使用基于用于二元树分级模型的伯努利分布的门控函数来 描述门控函数的具体示例。下文也将基于伯努利分布的门控函数称为 伯努利门控函数。令x_d是x的第d个维，g^-是在这一个值未超过阈值 w时向二元树的左下分支的概率，而g⁺是在这一个值超过阈值w时向 二元树的左下分支的概率。分支参数优化单元106-3基于伯努利分布 优化以上提到的优化参数d、w、g^-和g⁺。在这一情况下，每个参数具 有与有助于更快优化的在NPL 1中描述的基于罗吉特(logit)函数的 分析求解不同的分析求解。

最优性确定单元107确定使用以上所示的表达式4而计算出的优 化判据A是否已经收敛。在其中优化判据A尚未收敛的情况下，重 复分级潜在变量变分概率计算单元104、分量优化单元105、门控函 数优化单元106和最优性确定单元107的处理。例如，最优性确定单 元107可以在其中优化判据A的增量小于预定阈值的情况下确定优化 判据A已经收敛。

下文也将分级潜在变量变分概率计算单元104、分量优化单元 105、门控函数优化单元106和最优性确定单元107的处理统称为分 级潜在变量变分概率计算单元104至最优性确定单元107的处理。反 复地执行分级潜在变量变分概率计算单元104至最优性确定单元107 的处理以更新变分分布和模型，作为其结果是可以选择适当模型。注 意，反复地执行这些处理保证优化判据A单调地增加。

最优模型选择单元108选择最优模型。具体而言，在其中作为分 级潜在变量变分概率计算单元104至最优性确定单元107的处理的结 果而计算出的优化判据A对于由分级潜在结构设置单元102设置的隐 藏状态的数目C大于当前设置的优化判据A的情况下，最优模型选 择单元108选择该模型作为最优模型。

模型估计结果输出设备109在其中已经为从用于观测概率的类型 和分量的数目的输入候选而设置的分级潜在变量模型结构的候选计 算了模型优化的情况下输出隐藏状态的最优数目、观测概率的类型、 参数、变分分布等作为模型估计结果输出结果112。在另一方面，在 其中存在尚未为其完成优化的任何候选的情况下，该过程继续分级潜 在结构设置单元102的处理，并且执行与以上描述相同的处理。

分级潜在结构设置单元102、初始化单元103、分级潜在变量变 分概率计算单元104(更具体地，为最低级路径潜在变量变分概率计 算单元104-1、分级设置单元104-2、更高级路径潜在变量变分概率计 算单元104-3和分级计算结束确定单元104-4)、分量优化单元105、 门控函数优化单元106(更具体地，为分支节点信息获取单元106-1、 分支节点选择单元106-2、分支参数优化单元106-3和总分支节点优 化结束确定单元106-4)、最优性确定单元107和最优模型选择单元 108由根据程序(分级潜在变量模型估计程序)操作的计算机的CPU 实现。

例如，程序可以被存储在分级潜在变量模型估计设备100中的存 储单元(未示出)中，其中CPU读取程序并且根据程序作为分级潜 在结构设置单元102、初始化单元103、分级潜在变量变分概率计算 单元104(更具体地，最低级路径潜在变量变分概率计算单元104-1、 分级设置单元104-2、更高级路径潜在变量变分概率计算单元104-3 和分级计算结束确定单元104-4)、分量优化单元105、门控函数优 化单元106(更具体地，分支节点信息获取单元106-1、分支节点选 择单元106-2、分支参数优化单元106-3和总分支节点优化结束确定 单元106-4)、最优性确定单元107和最优模型选择单元108操作。

备选地，分级潜在结构设置单元102、初始化单元103、分级潜 在变量变分概率计算单元104、分量优化单元105、门控函数优化单 元106、最优性确定单元107和最优模型选择单元108可以各自由专 用硬件实现。

下文描述了这一示例性实施例中的分级潜在变量模型估计设备 的操作。图4是示出了这一示例性实施例中的分级潜在变量模型估计 设备的操作示例的流程图。

首先，数据输入设备101输入该输入数据111(步骤S100)。接 着，分级潜在结构设置单元102从输入分级潜在结构候选值选择和设 置尚未被优化的分级潜在结构(步骤S101)。接着，初始化单元103 为设置的分级潜在结构执行潜在变量变分概率和用于估计的参数的 初始化处理(步骤S102)。

接着，分级潜在变量变分概率计算单元104计算每个路径潜在变 量的变分概率(步骤S103)。接着，分量优化单元105通过估计观测 概率的类型和参数来优化每个分量(步骤S104)。

接着，门控函数优化单元106优化每个分支节点中的分支参数(步 骤S105)。接着，最优性确定单元107确定优化判据A是否已经收 敛(步骤S106)。也就是说，最优性确定单元107确定模型的最优性。

在其中在步骤S106中未确定优化判据A已经收敛(即，确定了 模型不是最优(步骤S106a：否))的情况下，重复步骤S103至S106 的处理。

在另一方面，在其中在步骤S106中确定了优化判据A已经收敛 (即，确定了模型最优(步骤S106a：是))的情况下，最优模型选 择单元108比较根据当前设置的最优模型的优化判据A的值(例如， 分量的数目、观测概率的类型、参数)与根据在这一处理中优化的模 型的优化判据A的值，并且选择具有更大值的模型作为最优模型(步 骤S107)。

接着，最优模型选择单元108确定是否剩余了尚未被估计的任何 分级潜在结构候选(步骤S108)。在其中候选剩余(步骤S108：是) 的情况下，重复步骤S101至S108的处理。在另一方面，在其中没有 候选剩余(步骤S108：否)的情况下，模型估计结果输出设备109 输出模型估计结果，并且结束该处理(步骤S109)。

下文描述了这一示例性实施例中的分级潜在变量变分概率计算 单元104的操作。图5是示出了这一示例性实施例中的分级潜在变量 变分概率计算单元104的操作示例的流程图。

首先，最低级路径潜在变量变分概率计算单元104-1计算最低级 路径潜在变量变分概率(步骤S111)。接着，分级设置单元104-2设 置路径潜在变量已经被计算至哪一级(步骤S112)。接着，更高级路 径潜在变量变分概率计算单元104-3使用由分级设置单元104-2设置 的级的路径潜在变量变分概率来计算紧接更高级的路径潜在变量变 分概率(步骤S113)。

接着，分级计算结束确定单元104-4确定是否剩余了尚未为其计 算路径潜在变量的任何级(步骤S114)。在尚未为其计算路径潜在变 量的级剩余(步骤S114：否)的情况下，重复步骤S112至S113的 处理。在另一方面，在尚未为其计算路径潜在变量的级未剩余的情况 下，分级潜在变量变分概率计算单元104结束该处理。

下文描述了这一示例性实施例中的门控函数优化单元106的操 作。图6是示出了这一示例性实施例中的门控函数优化单元106的操 作示例的流程图。

首先，分支节点信息获取单元106-1识别所有分支节点(步骤 S121)。接着，分支节点选择单元106-2选择一个分支节点作为优化 目标(步骤S122)。接着，分支参数优化单元106-3优化选择的分支 节点中的分支参数(步骤S123)。

接着，总分支节点优化结束确定单元106-4确定是否剩余尚未被 优化的任何分支节点(步骤S124)。在其中尚未优化的分支节点剩余 的情况下，重复步骤S122至S123的处理。在另一方面，在其中尚未 优化的分支节点未剩余的情况下，门控函数优化单元106结束该处理。

如以上描述的那样，根据这一示例性实施例，分级潜在结构设置 单元102设置分级潜在结构。这里，分级潜在结构是如下结构，在该 结构中，潜在变量由树结构代表，其中分量代表位于树结构的最低级 节点的概率模型。

分级潜在变量变分概率计算单元104计算路径潜在变量的变分概 率。分级潜在变量变分概率计算单元104可以依次从最低级节点为树 结构的每级计算潜在变量的变分概率。例如，分级潜在变量变分概率 计算单元104可以基于给定的参数计算用于最大化优化判据A的最低 级路径潜在变量变分概率，并且还依次在逐级基础上使用用于计算变 分概率求和的表达式来计算更高级路径潜在变量变分概率。例如：

[数学式7]

q(z_iⁿ)∑_jq(z_ijⁿ)。

此后，分量优化单元105优化用于计算出的变分概率的分量，并 且门控函数优化单元106基于分级潜在结构的节点中的潜在变量的变 分概率优化门控函数模型。注意，门控函数模型是用于根据分级潜在 结构的节点中的多变元数据确定分支方向的模型。

由于用于多变元数据的分级潜在变量模型由以上描述的结构估 计，所以可以用适当计算复杂性估计包括分级潜在变量的分级潜在变 量模型而不失理论合理性，并且也可以解决对于分级潜在变量模型的 模型选择问题。

这里，分级潜在结构设置单元102可以基于节点中的潜在变量的 变分概率设置其中潜在变量由二元树结构代表的分级潜在结构，其中 门控函数优化单元106基于伯努利分布优化门控函数模型。在这一情 况下，每个参数具有有助于更快优化的分析求解。

示例性实施例2

图7是示出了根据本发明的分级潜在变量模型估计设备的示例性 实施例2的结构示例的框图。向与示例性实施例1中的结构相同的结 构给予与图1中相同的标号，并且省略它们的描述。在这一示例性实 施例中的分级潜在变量模型估计设备200与分级潜在变量模型估计设 备100不同仅在于分级潜在结构优化单元201被连接而最优模型选择 单元108未被连接。

在示例性实施例1中，分级潜在变量模型估计设备100优化用于 分级潜在结构候选的门控函数和分量的模型，并且选择用于优化该优 化判据A的分级潜在结构。在这一示例性实施例中的分级潜在变量模 型估计设备200中，在另一方面，在分级潜在变量变分概率计算单元 104的处理之后添加如下处理，其中分级潜在结构优化单元201从模 型去除减少了潜在变量的路径。

图8是示出了示例性实施例2中的分级潜在结构优化单元201的 结构示例的框图。分级潜在结构优化单元201包括路径潜在变量求和 运算单元201-1、路径去除确定单元201-2和路径去除执行单元201-3。

路径潜在变量求和运算单元201-1接收分级潜在变量变分概率 104-6的输入，并且计算每个分量中的最低级路径潜在变量变分概率 之和(下文被称为“采样求和”)。

路径去除确定单元201-2确定采样求和是否等于或者小于预定阈 值e。这里，e是与输入数据111一起输入的阈值。具体而言，由路 径去除确定单元201-2确定的条件可以例如由以下表达式5代表。

[数学式8]

$\underset{n=1}{\overset{N}{\Sigma }}q\left(z_{ij}^n\right)\le e$

也就是说，路径去除确定单元201-2确定每个分量中的最低级路 径潜在变量变分概率q(z_ijⁿ)是否满足由以上所示的表达式5定义的判 据。换而言之，路径去除确定单元201-2确定采样求和是否充分地小。

路径去除执行单元201-3将采样求和被确定为充分小的路径的变 分概率设置为0。路径去除执行单元201-3然后使用为每个剩余路径 (即，其变分概率未被设置成0的路径)而归一化的最低级路径潜在 变量变分概率来重新计算用于每级的分级潜在变量变分概率104-6， 并且输出重新计算结果。

以下描述这一处理的有效性。以下作为示例而示出的表达式6是 迭代优化中的q(z_ijⁿ)的更新表达式。

[数学式9]

$\left(\begin{array}{c}{q}^t\left(z_{ij}^n\right)\propto g_i^n{g}_{j|i}^{n}p\left(x^n\right|h_{ij})\\ \exp \{\frac{-D_{b_i}}{2{\Sigma }_{n=1}^N{\Sigma }_{j=1}^{K_2}{q}^{t-1}\left(z_{ij}^n\right)}+\frac{-D_{h_{ij}}}{2{\Sigma }_{n=1}^N{q}^{t-1}\left(z_{ij}^n\right)}\}\end{array}\right)$

                                         (表达式6)

在以上所示的表达式6中，在指数部分中包括负项，并且在先前 处理中计算出的q(z_ijⁿ)存在于在该项的分母中。因而，优化的q(z_ijⁿ)的 值在分母更小时更小。因此，通过迭代计算逐渐地减少小路径潜在变 量变分概率。

注意，分级潜在结构优化单元201(更具体地，路径潜在变量求 和运算单元201-1、路径去除确定单元201-2和路径去除执行单元 201-3)由根据程序(分级潜在变量模型估计程序)操作的计算机的 CPU实现。

下文描述了这一示例性实施例中的分级潜在变量模型估计设备 200的操作。图9是示出了这一示例性实施例中的分级潜在变量模型 估计设备200的操作示例的流程图。

首先，数据输入设备101输入该输入数据111(步骤S200)。接 着，分级潜在结构设置单元102将隐藏状态的数目的初始状态设置为 分级潜在结构(步骤S201)。

在示例性实施例1中，对于分量的数目执行所有多个候选以搜寻 最优求解。在这一示例性实施例中，在另一方面，也可以优化分量数 目，从而使得可以在一个操作中优化分级潜在结构。因此，在步骤S201 中，仅需设置隐藏状态的数目的初始值一次，这不同于示例性实施例 1中的步骤S102，其中从多个候选选择尚未被优化的候选。

接着，初始化单元103为设置的分级潜在结构执行潜在变量变分 概率和用于估计的参数的初始化处理(步骤S202)。

接着，分级潜在变量变分概率计算单元104计算每个路径潜在变 量的变分概率(步骤S203)。接着，分级潜在结构优化单元201通过 估计分量的数目来优化分级潜在结构(步骤S204)。也就是说，由于 分量位于最低级节点处，所以在优化分级潜在结构时，也优化分量的 数目。

接着，分量优化单元105通过估计观测概率的类型和参数来优化 每个分量(步骤S205)。接着，门控函数优化单元106优化每个分支 节点中的分支参数(步骤S206)。接着，最优性确定单元107确定优 化判据A是否已经收敛(步骤S207)。也就是说，最优性确定单元 107确定模型的最优性。

在其中在步骤S207中未确定优化判据A已经收敛(即确定模型 不是最优(步骤S207a：否))的情况下，重复步骤S203至S207的 处理。

在另一方面，在其中在步骤S207中确定优化判据A已经收敛(即 确定模型最优(步骤S207a：是))的情况下，模型估计结果输出设 备109输出模型估计结果，并且结束该处理(步骤S208)。

下文描述了这一示例性实施例中的分级潜在结构优化单元201的 操作。图10是示出了这一示例性实施例中的分级潜在结构优化单元 201的操作示例的流程图。

首先，路径潜在分量求和运算单元201-1计算路径潜在变量的采 样求和(步骤S211)。接着，路径去除确定单元201-2确定计算出的 采样求和是否充分小(步骤S212)。接着，路径去除执行单元201-3 输出在其中采样求和被确定为充分小的最低级路径潜在变量变分概 率被设置成0的状态中重新计算出的分级潜在变量概率，并且结束该 处理(步骤S213)。

如以上描述的那样，在这一示例性实施例中，分级潜在结构优化 单元201通过从模型去除其计算出的分辨概率等于或者小于预定阈值 的路径来优化分级潜在结构。

根据这样的结构，除了示例性实施例1的有利效果之外，还可以 在一个操作中优化分量的数目而无需如在分级潜在变量模型估计设 备100中那样优化多个分级潜在结构候选。这使分量的数目、观测概 率的类型和参数以及变分概率能够被同时估计，从而使得可以减少计 算成本。

示例性实施例3

下文描述了根据本发明的分级潜在变量模型估计设备的示例性 实施例3。这一示例性实施例中的分级潜在变量模型估计设备与分级 潜在变量模型估计设备200不同在于门控函数优化单元106被门控函 数优化单元113取代。

图11是示出了示例性实施例3中的门控函数优化单元113的结 构示例的框图。门控函数优化单元113包括有效分支节点选择单元 113-1和分支参数优化并行处理单元113-2。

有效分支节点选择单元113-1仅从分级潜在结构选择有效分支节 点。具体而言，通过使用由分量优化单元105估计的模型104-5，有 效分支节点选择单元113-1通过考虑从模型去除的路径来仅选择有效 分支节点。因此，有效分支节点意味着未从分级潜在结构去除的路径 上的分支节点。

分支参数优化并行处理单元113-2并行地对于有效分支节点执行 分支参数优化处理，并且输出门控函数模型106-6。具体而言，分支 参数优化并行处理单元113-2使用输入数据111和由分级潜在变量变 分概率计算单元104计算出的分级潜在变量变分概率104-6来并行地 同时优化用于所有有效分支节点的分支参数。

例如，分支参数优化并行处理单元113-2可以如在图11中举例说 明的那样包括并行布置的示例性实施例1中的分支参数优化单元 106-3。这样的结构允许一次优化所有门控函数的分支参数。

也就是说，尽管分级潜在变量模型估计设备100和200一次一个 地执行门控函数的优化处理，这一示例性实施例中的分级潜在变量模 型估计设备可以并行地执行门控函数的优化处理，这有助于更快模型 估计。

注意，门控函数优化单元113(更具体地，有效分支节点选择单 元113-1和分支参数优化并行处理单元113-2)由根据程序(分级潜 在变量模型估计程序)操作的计算机的CPU实现。

下文描述了这一示例性实施例中的门控函数优化单元113的操 作。图12是示出了这一示例性实施例中的门控函数优化单元113的 操作示例的流程图。首先，有效分支节点选择单元113-1选择所有有 效分支节点(步骤S301)。接着，分支参数优化并行处理单元113-2 并行地优化所有有效分支节点，并且结束该处理(步骤S302)。

如以上描述的那样，根据这一示例性实施例，有效分支节点选择 单元113-1从分级潜在结构节点选择有效分支节点，并且分支参数优 化并行处理单元113-2基于每个有效分支节点中的潜在变量的变分概 率优化门控函数模型。这里，分支参数优化并行处理单元113-2并行 地优化用于有效分支节点的分支参数。因此，可以并行地执行门控函 数的优化处理，从而使得除了前述示例性实施例的有利效果之外还可 以实现更快模型估计。

注意，以上描述的每个程序(分级潜在变量模型估计程序)被存 储在计算机可读记录介质中，并且使德计算机通过以上提到的单元执 行处理。

下文使用具体示例来描述本发明。然而，注意，本发明的范围不 限于下文，并且根据本发明的变量模型估计设备适用于各种模型。

首先描述示例性实施例1中的分级潜在变量模型估计设备的具体 示例。这里使用了将示例性实施例1中的分级潜在变量模型估计设备 应用于分析建筑物的电力需求历史这一情形的示例。

通过应用示例性实施例1中的分级潜在变量模型估计设备，例如， 有可能对于多个不同境况中的每个境况(比如“工作日和周末”)分解 在从在建筑物中安装的多个传感器获取的功率消耗和多变元数据之 间的关系。另外，通过应用示例性实施例1中的分级潜在变量模型估 计设备，例如，有可能估计在获取的多个关系之间的切换规则，比如 在“给定的温度或者更高温度”的情况下将它们的关系切换成具体关 系。

对于用于化解电力供应过量或者短缺的功率消耗预测，极为重要 的是不仅估计多个关系而且估计如何在多个关系之间切换。

例如，考虑如下分级潜在变量模型，在该分级潜在变量模型中， 假设的多项式回归表达式被应用于每个分量，该多项式回归表达式以 空气温度、当天时间和当周日子作为说明变量而以在一小时之后的功 率消耗作为响应变量。这里待估计的模型是分级潜在结构、回归参数 (hk)和最低级路径潜在变量变分分布(q)。

首先，数据输入设备101与说明变量和响应变量的数据一起向分 级潜在变量模型估计设备输入多个不同树结构作为分级潜在结构候 选。分级潜在结构设置单元102依次设置输入的树结构。接着，初始 化单元103随机地设置用于设置的分级潜在结构的回归度数和其它参 数作为初始化处理。然后通过分级潜在变量变分概率计算单元104至 最优性确定单元107的处理估计模型。

通过这些处理，可以自动地获得代表不同境况及其切换规则的多 个回归模型。代表不同境况的多个回归模型的示例包括具有如下说明 变量的大回归系数的回归模型和具有如下参数的相对小回归系数的 回归模型，该说明变量指示9点钟，这是到达办公室的时间，该参数 指示当天时间。

另外，最优模型选择单元108自动地选择哪个分级潜在结构最优。 这里，例如，有可能根据建筑物自动地检测不同功率消耗模式的数目 并且对适当模式数目及其切换规则的关系进行建模。

接着描述示例性实施例2中的分级潜在变量模型估计设备的具体 示例。这里使用将示例性实施例2中的分级潜在变量模型估计设备应 用于分析规模零售商的购买信息这一情形的示例。

例如，通过利用比较来分析POS系统信息和天气信息、邻域事件 等，有可能确定脱销或者库存不足并且获得产品何时销售良好的营销 知识。考虑如下二元树分级潜在变量模型，在该二元树分级潜在变量 模型中，假设的多项式回归表达式被应用于每个分量，该多项式回归 表达式以天气、当天时间和当周日子作为说明变量而以每个产品的销 售作为响应变量。

首先，数据输入设备101与说明变量和响应变量的数据一起向分 级潜在变量模型估计设备输入分级潜在结构的深度Dmax和用于路径 选择的阈值e。分级潜在结构设置单元102设置分级潜在结构候选作 为深度为Dmax的二元树。初始化单元103随机地初始化其它参数， 然后通过分级潜在变量变分概率计算单元104至最优性确定单元107 的处理估计模型。

通过这些处理，可以分离在温度低时或者在温度高时销售良好的 模式、在上午或者在下午销售良好的模式和在一周开始或者在周末销 售良好的模式。另外，减少了与任何非典型模式对应的路径模式变量， 并且因此这一路径由分级潜在结构优化单元201去除。因此，有可能 仅提取典型模式作为最终估计结果。

下文描述了本发明的概况。图13是示意性地示出了根据本发明 的分级潜在变量模型估计设备的框图。根据本发明的分级潜在变量模 型估计设备是用于估计用于多变元数据的分级潜在变量模型的分级 潜在变量模型估计设备，并且包括：分级潜在结构设置单元81(例如， 分级潜在结构设置单元102)，用于设置分级潜在结构，该分级潜在 结构是如下结构，在该结构中，潜在变量由树结构代表并且代表概率 模型的分量位于树结构的最低级的节点处；变分概率计算单元82(例 如，分级潜在变量变分概率计算单元104)，用于计算路径潜在变量 的变分概率，该路径潜在变量是在分级潜在结构中的将根节点链接到 目标节点的路径中包括的潜在变量；分量优化单元83(例如，分量优 化单元105)，用于优化用于计算出的变分概率的分量中的每个分量； 以及门控函数优化单元84(例如，门控函数优化单元106)，用于优 化门控函数模型，该门控函数模型是用于基于分级潜在结构的节点中 的潜在变量的变分概率、根据该节点中的多变元数据确定分支方向的 模型。

根据这样的结构，可以解决对于包括分级潜在变量的分级潜在变 量模型的模型选择问题，并且也可以用适当计算复杂性估计分级潜在 变量模型而不失理论合理性。

另外，分级潜在变量模型估计设备可以包括用于通过从模型去除 其计算出的变分概率等于或者小于预定阈值的路径来优化分级潜在 结构的分级潜在结构优化单元(例如，分级潜在结构优化单元201)。 根据这样的结构，可以在一个操作中优化分量数目而无需优化多个分 级潜在结构候选。

另外，门控函数优化单元84可以包括：有效分支节点选择单元 (例如，有效分支节点选择单元113-1)，用于从分级潜在结构的节 点选择有效分支节点，该有效分支节点是未从分级潜在结构去除的路 径的分支节点；以及门控函数优化并行处理单元(例，如分支参数优 化并行处理单元113-2)，用于基于有效分支节点中的潜在变量的变 分概率优化门控函数模型。门控函数优化并行处理单元可以并行地执 行对用于有效分支节点的每个分支参数的优化。根据这样的结构，可 以实现更快模型估计。

另外，分级潜在结构设置单元81可以设置其中潜在变量由二元 树结构代表的分级潜在结构。门控函数优化单元84然后可以基于节 点中的潜在变量的变分概率、基于伯努利优化门控函数模型。在这一 情况下，每个参数具有分析求解，这有助于更快优化。

具体而言，变分概率计算单元82可以计算最低级的路径潜在变 量的变分概率以便最大化基于最低级的路径潜在变量和分量的参数 计算出的优化判据(例如，优化判据A)，并且在逐级基础上计算该 级的路径潜在变量的计算出的变分概率之和作为更高级的路径潜在 变量的变分概率。以下示出了以上陈述的求和的示例。

[数学式10]

q(z_iⁿ)＝∑_jq(z_ijⁿ)。

尽管已经参照本发明的示例性实施例具体地示出和描述了本发 明，但是本发明不限于这些实施例。本领域普通技术人员将理解，其 中可以进行形式和细节上的各种改变而未脱离如权利要求限定的本 发明的精神实质和范围。

本申请要求对通过引用而将全部内容结合于此、提交于2013年2 月4日的第13/758,267号美国专利申请的优先权。

标号列表

100 分级潜在变量模型估计设备

101 数据输入设备

102 分级潜在结构设置单元

103 初始化单元

104 分级潜在变量变分概率计算单元

104-1 最低级路径潜在变量变分概率计算单元

104-2 分级设置单元

104-3 更高级路径潜在变量变分概率计算单元

104-4 分级计算结束确定单元

105 分量优化单元

106 门控函数优化单元

106-1 分支节点信息获取单元

106-2 分支节点选择单元

106-3 分支参数优化单元

106-4 全分支节点优化结束确定单元

107 最优性确定单元

108 最优模型选择单元

109 模型估计结果输出设备

113 门控函数优化单元

113-1 有效分支节点选择单元

113-2 分支参数优化并行处理单元

201 分级潜在结构优化单元

201-1 路径潜在变量求和运算单元

201-2 路径去除确定单元

201-3 路径去除执行单元