多变量数据混合模型估计装置、混合模型估计方法和混合模型估计程序

摘要

关于混合模型的模型选择问题，本发明关于模型候选的数目，基于适当的标准执行高速模型选择，所述模型候选的数目随着要混合的数目和类型的增多呈指数增大。一种混合模型估计装置包括：数据输入单元，所述数据输入单元输入要估计的混合模型的数据、估计数据的混合模型所需的混合数目的候选值、以及配置混合模型的分量的类型和参数；处理单元，所述处理单元根据候选值设置混合数目，针对设置的混合数目来计算针对随机变量的隐变量的变异概率，所述随机变量是数据的混合模型估计的目标，并通过使用计算的隐变量的变异概率优化分量的类型及其参数以便最大化针对混合模型的每个分量分离的模型后验概率的下限，来估计优化混合模型；以及模型估计结果输出单元，所述模型估计结果输出单元输出由处理单元获得的模型估计结果。

说明书

技术领域

本发明涉及多变量数据混合模型估计装置、混合模型估计方法和混 合模型估计程序，更具体地，涉及用于估计要混合的模型的数目、类型 和参数的多变量数据混合模型估计装置、混合模型估计方法和混合模型 估计程序。

背景技术

使用多个模型来呈现数据的混合模型(混合分布)在工业应用中非 常重要。存在多种示例，例如混合正态分布模型和混合隐马尔可夫模型。 例如，工业上这种混合模型用于根据观测到的异常值发现不诚实的医疗 账单(非专利文献1)，或检测网络故障(非专利文献2)。此外，混合模 型的其他重要应用示例包括销售中消费者行为聚类(基于假定类似消费 者属于相同模型的研究)以及对物品主题的分析(基于相同主题的物品 属于相同模型的研究)。

通常，在指定构成混合模型的多个模型(也称作分量)的混合的数 目(也称混合数目)和分量类型的情况下，例如EM算法(非专利文献 3)和变分贝叶斯方法(非专利文献4)之类的公知方法可以用于指定分 布(模型)的参数。确定用于估计这种参数的混合数目和分量类型是必 要的。通常，指定这种模型的问题被称作“模型选择问题”或“系统识 别问题”，并认为是构建可靠模型的重要问题。因此，已经提出了有关该 问题的多种技术。

例如，选择具有最大后验概率的模型的方法被称作用于确定要混合 的模型的数目的方法。为此提出的方法有：1)基于贝叶斯信息量的方法； 2)基于变分贝叶斯方法的方法(例如，非专利文献4)；3)基于使用 Dirichlet过程的非参数化贝叶斯估计的方法(例如，非专利文献5)；等。

现有技术列表：

非专利文献

非专利文献1：Kenji Yamanishi，Jun-ichi Takeuchi，Graham Williams， and Peter Milne，″Online Unsupervised Outlier Detection Using Finite Mixtures with Discounting Learning Algorithms″，Proceedings of the Sixth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining(KDD2000)，ACM Press，2000，pp.320-324。

非专利文献2：Kenji Yamanishi，and Yuko Maruyama，″Dynamic Syslog Mining for Network Failure Monitoring″，Proceedings of the Eleventh ACM SIGKDD International Conference on Knowledge Discovery and Data Mining(KDD2005)，ACM Press，2005，pp.499-508。

非专利文献3：A.P.Dempster，N.M.Laird，and D.B.Rubin，″Maximum Likelihood from Incomplete Data via the EM Algorithm″，Journal of Royal Statical Society.Series B(Methodological)，Vol.39，No.1，1977，pp.1-38。

非专利文献4：Adrian Corduneanu and Christopher M.Bishop， ″Variational Bayesian Model Selection for Mixture Distributions″，In Artificial Intelligence and Statistics2001，T.Jaakkola and T.Richardson (eds.)，Morgan Kaufmann，pp.27-34。

非专利文献5：Carl Edward Rasmussen，″The Infinite Gaussian Mixture Model″，in Advances in Neural Information Processing Systems12，S.A. Solla，T.K.Leen and K.-R.Muller(eds.)，MIT Press(2000)，pp.554-560.

非专利文献6：Ryohei Fujimaki，Satoshi Morinaga，Michinari Monmma， Kenji Aoki and Takayuki Nakata，″Linear Time Model Selection for Mixture of Heterogeneous Components″，Proceedings of the 1st Asian Conference on Machine Learning，2009。

发明内容

技术问题

根据方法1)，可以在不建立模型的先验分布的假设下进行模型选 择。然而，在这种情况下，混合模型的Fischer信息矩阵变为非正则，因 此不能正确地定义准则并且不能选择恰当的混合数目。

根据方法2)和3)，使用Direchlet分布和Direchlet过程作为混合比 的先验分布来确定混合数目。然而，在这种情况下，与其中选择产生高 模型后验概率的模型的常规方法相比较，难以选择优化的混合数目。

此外，根据方法1)到3)，实际中由于计算量导致不可能优化要混 合的模型的类型。作为算出计算量的示例，现在解释混合多项式曲线的 选择。

多项式曲线包括一阶到高阶项，例如线性项(一阶曲线项)、二阶曲 线项和三阶曲线项。因此，如果根据上述方法，在搜索从1到C_max的混 合数目和从第一到D_max的曲线阶数之后选择优化模型，则必须针对所有 模型候选计算信息准则：一条直线和两条二阶曲线(混合数目＝3)、三 条三阶曲线和两条四阶曲线(混合数目＝5)等。例如，如果C_max＝10且 D_max＝10，则模型候选的数目大约是100000，如果C_max＝20且D_max＝20， 则模型候选的数目大约是100亿，要搜索的每个模型候选的复杂度呈指 数增长。

除了上述方法以外，还提出了根据其他模型选择准则(例如Akaike 信息准则和交叉验证)的方法。然而，任何方法都不能避免分量类型的 组合。

非专利文献6提出了一种最小化隐变量的期望值信息准则的方法， 以便有效地搜索要混合的模型的数目和类型，其中隐变量具有最小描述 长度，该期望值信息准则被认为等同于贝叶斯信息准则。然而，在该方 法中，由于与方法1)相同的原因，混合模型的Fischer信息矩阵是非正 则的，因此准则本身是不正确的，不可能进行优化模型选择。

本发明的目的是解决该问题并提供一种混合模型估计装置、混合模 型估计方法和混合模型估计程序，其中针对混合模型的模型选择问题， 可以关于模型候选的数目，根据适当准则快速地进行模型选择，所述模 型候选的数目随着要混合的数目和类型的增多呈指数增大。

解决问题的技术方案

本发明的第一方面提供了一种混合模型估计装置，包括：数据输入 单元，所述数据输入单元输入要估计的混合模型的数据和估计所述数据 的所述混合模型必需的混合数目的候选值以及构成所述混合模型的分量 的类型和所述分量的参数；处理单元，所述处理单元根据所述候选值设 置所述混合数目，相对于设置的所述混合数目来计算针对随机变量的隐 变量的变异概率，所述随机变量是估计所述数据的所述混合模型的目标， 并通过使用计算的所述隐变量的所述变异概率优化所述分量的所述类型 和所述参数以便最大化针对所述混合模型的每个所述分量分离的模型后 验概率的下限，来优化地估计所述混合模型；以及模型估计结果输出单 元，所述模型估计结果输出单元输出由所述处理单元获得的模型估计结 果。

本发明的第二方面提供了一种混合模型估计方法，包括：通过使用 输入单元，输入要估计的混合模型的数据和估计所述数据的所述混合模 型必需的混合数目的候选值以及构成所述混合模型的分量的类型和所述 分量的参数；使处理单元根据所述候选值设置所述混合数目，计算针对 随机变量的隐变量的变异概率，所述随机变量是估计所述数据的所述混 合模型的目标，并通过使用计算的所述隐变量的变异概率优化所述分量 的所述类型和所述参数以便最大化针对所述混合模型的每个所述分量分 离的模型后验概率的下限，来优化地估计所述混合模型；以及使模型估 计结果输出单元输出由所述处理单元获得的模型估计结果。

本发明的第三方面提供了一种混合模型估计程序，用于将计算机操 作为一种混合模型估计装置，所述混合模型估计装置包括：数据输入单 元，所述数据输入单元输入要估计的混合模型的数据和估计所述数据的 所述混合模型必需的混合数目的候选值以及构成所述混合模型的分量的 类型和所述分量的参数；处理单元，所述处理单元根据所述候选值设置 所述混合数目，相对于设置的所述混合数目来计算针对随机变量的隐变 量的变异概率，所述随机变量是估计所述数据的所述混合模型的目标， 并通过使用计算的所述隐变量的所述变异概率优化所述分量的所述类型 和所述参数以便最大化针对所述混合模型的每个所述分量分离的模型后 验概率的下限，来优化地估计所述混合模型；以及模型估计结果输出单 元，所述模型估计结果输出单元输出由所述处理单元获得的模型估计结 果。

本发明的有益效果

根据本发明，针对混合模型的模型选择问题，可以关于模型候选的 数目，根据适当准则快速地进行模型选择，所述模型候选的数目随着要 混合的数目和类型的增多呈指数增大。

附图说明

[图1]示出了根据本发明实施例用于演示混合模型估计装置的结构 的方框图。

[图2]示出了用于演示根据图1所示混合模型估计装置的操作的流 程图。

具体实施方式

下文中将参考附图来详细描述根据本发明实施例的混合模型估计装 置、混合模型估计方法和混合模型估计程序。

本发明的实施例提出了一种用于估计混合模型的装置和方法，由输 入数据(观测值)的等式1的P(X|θ)表示混合模型。

[数学公式1]

$P\left(X\right|\theta )=\underset{c=1}{\overset{C}{\Sigma }}{\pi }_c{P}_c(X;{\phi }_c^{S_c})---\left(1\right)$

在等式1中，C表示混合数目，X表示作为输入数据的混合模型估计的 目标的随机变量，表示模型(分量)的参数， S₁，...，S_C表示分量的类型(参数θ的π₁，...，π_C表示当所述混合数目是1 到C时的混合比，表示当混合数目是1到C时分量S₁到 S_C的分布参数)。此外，例如，在混合分布的情况下，分量S₁到S_C的 分量候选可以是{正态分布，对数正态分布和指数分布}，或者在混合多 项式曲线模型的情况下，分量S₁到S_C的分量候选可以是{零到三阶曲 线}。此外，θ是混合数目C和分量类型S₁，...，S_C的函数。然而，为了 简明省略该函数的描述。

接下来，定义随机变量X的隐变量Z＝(Z₁，...，Z_C)。Z_C＝1意味着X 是来自第c个分量的数据，Z_C＝0意味着X是来自除第c个分量以外的数 据。此外，∑_c＝1^CZ_C＝1。将一对X和Z称作“完整变量”(相反，将X 称作“不完整变量”)。如等式2所示，由P(X，Z|θ)来定义完整变量的联 合分布。

[数学公式2]

$P(X,Z|\theta )=\underset{c=1}{\overset{C}{\Sigma }}{\left({\pi }_c{P}_c(X;{\phi }_c^{S_c})\right)}^{Z_c}---\left(2\right)$

在以下描述中，由x_n(n＝1，...，N)表示随机变量X的N个观测值(数据)， 由Z_n(n＝1，...，N)表示针对观测值x_n的隐变量Z的N个值。如等式3所示， 由P(z_n|x_n，θ)来表示隐变量Z的数值z_n的后验概率：

[数学公式3]

$P\left(z_n\right|x_n,\theta )\propto {\pi }_c{P}_c(x_n;{\phi }_c^{S_c})---\left(3\right)$

尽管在实施例中描述混合模型，本发明并不局限于此。例如，本发明可 以容易地应用于类似模型，例如通过扩展混合模型导出的隐马尔可夫模 型。类似地，尽管实施例中描述了目标随机变量X的分布，本发明并不 局限于此。例如，本发明可以应用于条件模型P(Y|X)(Y是目标随机变量)， 例如混合回归模型和混合分类模型。

参考图1，根据本发明的实施例，将由构成混合模型的多个模型表 示的数据(输入数据)111输入到混合模型估计装置110，混合模型估计 装置110针对输入数据111优化混合数目和分量类型，并输出模型估计结 果112。混合模型估计装置110包括数据输入装置(数据输入单元)101、 混合数目设置单元102、初始化单元103、隐变量变异概率计算单元104、 隐变量变异概率存储单元105、模型优化单元106、优化判定单元107、优 化模型选择单元108和模型估计结果输出装置(模型估计结果输出单元) 109。

混合数目设置单元102、初始化单元103、隐变量变异概率计算单元 104、模型优化单元106、优化判定单元107以及优化模型选择单元108是 本发明的处理单元，例如，可以由根据程序的控制操作的计算机(中央 处理单元(CPU)、处理器、数据处理装置等)构成。只要能够实现功能， 其硬件和软件结构可以是任意结构。

提供数据输入装置101以输入数据111，当向数据输入装置101输入 数据时，还输入模型估计必需的参数，例如分量的类型和参数以及混合 数目的候选值。只要能够输入数据111和模型估计必需的参数，可以按照 任意结构来构建数据输入装置101。例如，可以使用例如通信装置、存储 装置和计算机之类的装置来构建数据输入装置101。

混合数目设置单元102通过从输入候选值中进行选择来设置模型混 合数目。下文中，将设置的混合数目表示为C。

初始化单元103执行估计的初始化处理。可以通过任意方法来执行 初始化。例如，可以针对每个分量随机设置分量类型，并根据设置类型， 随机设置每个分量的参数，并随机设置隐变量的变异概率。

隐变量变异概率计算单元104计算隐变量的变异概率。由初始化单 元103或模型优化单元106来计算参数θ，隐变量变异概率计算单元104使 用计算的值。

通过求解由等式4表示的优化问题来计算隐变量的变异概率q(Z)：

[数学公式4]

$q^{\left(t\right)}=\arg \underset{q\left(Z^N\right)}{\max }\left\{\underset{\bar{q}\left(Z^N\right)\in Q^{(t-1)}}{\max }\left(G(H^{(t-1)},{\theta }^{(t-1)},q\left(Z^N\right),\bar{q}\left(Z^N\right))\right)\right\}---\left(4\right)$

Z^N＝Z₁，...，Z_N表示数据的隐变量，上标(t)用于表示t次迭代之后通过计 算获得的的值。此外，模型被定义为H＝(S₁，...，S_C)。要被优化的G表示 由等式5计算的贝叶斯后验概率的下限。此外，隐变量变异概率存储单元 105存储由之前迭代计算的隐变量变异概率集合Q_(t-1)＝{q⁽⁰⁾，q⁽¹⁾，...， q^(t-1)}。

[数学公式5]