基于实时学习的高斯过程回归多模型融合建模方法

摘要

本发明公开了一种基于实时学习的高斯过程回归多模型融合建模方法。用于复杂多变的多阶段性的化工过程。该方法是一种在线不断更新的多模型策略。用高斯混合模型对过程的不同阶段进行辨识，并采用一种自适应实时学习方法，不断更新所建立的高斯过程回归模型。当新的数据到来时，在每个不同的阶段，基于欧式距离和角度原则选择部分相似的数据，用于建立局部的高斯过程回归模型。最终根据计算得到的新的数据隶属于每个不同阶段的后验概率，对局部模型进行融合输出。能够对关键变量进行精确预测，从而提高产品质量，降低生产成本。

说明书

技术领域

本发明涉及基于实时学习的高斯过程回归多模型融合建模方法，属于复杂工业过程建模和软测 量领域。

背景技术

目前，化工过程的复杂性正在日益增加，对产品质量的要求也在不断提高，现代工业往往需要 装备一些先进的监控系统。然而由于某些关键质量变量的传感器价格昂贵、可靠性差或者具有很大的测量 滞后性等缺点，导致一些重要的过程变量不能实时有效地测量。

为了解决这些问题，软测量技术在工业过程领域受到了越来越广泛的关注。在过去的十几年， 基于数据驱动的软测量建模技术得到了广泛研究，用于提高产品的质量，降低对环境的影响。一些常用的 线性回归的方法如偏最小二乘(partial least squares，PLS)、主成分分析(principal component analysis，PCA) 等能够很好地处理输入变量和输出变量之间的线性关系。然而，输入和输出之间常常呈现非线性的关系， 线性建模方法不再适用，非线性建模方法如人工神经网络(artificial neural networks，ANN)、支持向量机 (support vector machine，SVM)、最小二乘支持向量机(least squares support vector machine，LS-SVM)可以得 到良好的预测精度。

虽然这些方法能够获得很好的全局泛化性能，但是工业过程常常呈现多阶段、时变的动态特性， 预测效果往往不能得到保证。高斯过程回归(Gaussian process regression，GPR)能够基于相似准则建立局部 模型，作为一种非参数概率模型，GPR模型不仅可以给出预测值，还可以得到预测值对模型的信任值。因 此，选择GPR建立软测量模型。

化工过程呈现严重的非线性、时变性和多阶段性。针对于多阶性，可以通过对各个操作模式的 划分，建立不同的局部模型，描述在不同操作阶段的动态特性。虽然可以对化工过程的不同阶段进行有效 地划分，但是在每个操作阶段，过程的时变性和设备特性可能会发生变化，这些会使软测量模型的预测性 能恶化。为了避免预测精度的降低，需要不断更新在线预测模型。

一种基于实时学习(just-in-time learning，JITL)的方法能够很好地处理过程的时变性和非线性，提 高软测量模型的性能。与传统方法所建立的全局模型不同，JITL方法所建立的模型具有局部动态结构。传 统的全局模型是离线建立的，而基于JITL方法的局部模型是在线建立的，该模型能够更好地跟踪过程当 前的状态。同时，由于JITL建立的是局部模型，因此它能更好地处理过程的非线性。

发明内容

针对于化工过程呈现的非线性、时变性和多阶段行性，产品质量往往得不到保证，为了提高产品 的质量，本发明提供一种可实时测量多阶段化工过程产品质量的多模型融合软测量建模方法。

通过GMM对化工过程不同的阶段性进行辨识，然后在特定的阶段用JITL选择部分相似数据 建立局部PCA-GPR模型。最后，对于不同的操作阶段，根据辨识得到的后验概率对不同局部模型的输出 进行融合，实现对化工过程产品质量的在线估计，从而提高产量，降低生产成本。

本发明的目的是通过以下技术方案实现的：

基于实习学习的高斯过程回归多模型融合建模方法，所述方法包括以下过程：针对于复杂多变 的多阶段性的化工过程，用高斯混合模型对过程的不同阶段进行辨识，并采用一种自适应实时学习方法， 不断更新所建立的高斯过程回归模型。

当新的数据到来时，在每个不同的阶段，基于欧式距离和角度原则选择部分相似的数据，用于 建立局部的高斯过程回归模型。

最终根据计算得到的新的数据隶属于每个不同阶段的后验概率，对局部模型进行融合输出，能 够对关键变量进行精确预测，从而提高产品质量，降低生产成本。

附图说明

图1是基于GMM和JITL-GPR的在线软测量多模型融合建模流程图；

图2不同比例CPU耗时；

图3不同比例预测的RMSE；

图4测试数据隶属于每个不同操作阶段的隶属度值；

图5是数据比例为70％时在线预测结果图；

具体实施方式

下面结合图1所示，对本发明做进一步详述：

以常见的化工过程——TE过程为例。实验数据来自于TE过程，对预测产品流中成分A的含 量进行预测。

步骤1：收集输入输出数据组成历史训练数据库。

步骤2：利用这些训练数据估计得到高斯混合模型(Gaussian mixture model,GMM)的参数。然后 把完整的输入和输出训练数据分配到不同的操作阶段。所述的GMM算法为：

GMM是由多个高斯成分混合而成，关于数据X∈R^n×m的概率密度函数可以表示为：

$p\left(X\right|{\Theta }_{\mathrm{GM}})=\underset{k=1}{\overset{K}{\Sigma }}{\pi }_{k}N\left(X\right|{\mu }_k,{\sigma }_k^2)---\left(1\right)$

其中，m是过程变量的数目，n是样本数据的大小。是高斯混合模 型的参数，其中μ_k、和π_k分别代表第k个高斯成分的均值、协方差和权值。同时，参数π_k满足 和0≤π_k≤1。

式(1)中表示多元高斯概率密度函数：

$N\left(x_i\right|{\mu }_k,{\sigma }_k^2)=\frac{\exp \{-\frac{1}{2}{(x_i-{\mu }_k)}^T{\left({\sigma }_k^2\right)}^{-1}(x_i-{\mu }_k)\}}{{\left(2\pi \right)}^{1/2}{\left|{\sigma }_k^2\right|}^{1/2}}---\left(2\right)$

通过期望最大化算法(expectation-maximization,EM)估计模型的参数，求解过程分为不断迭代 的两步：

E-步：根据已有观测数据和由第k个成分产生的概率γ_k(x_i)，得到Q函数：

$Q\left({\Theta }_{\mathrm{GM}}\right)=\underset{i-1}{\overset{n}{\Sigma }}\underset{k=1}{\overset{K}{\Sigma }}{\gamma }_k\left(x_i\right)[\ln {\pi }_k-\ln {\sigma }_k-\frac{{(x_i-{\mu }_k)}^T(x_i-{\mu }_k)}{2{\sigma }_k^2}]---\left(3\right)$

M-步：求解Q函数对每个参数的偏导数，可以获得新的参数估计值：

$\left(\begin{array}{c}{\mu }_k=\frac{1}{N_k}\underset{i=1}{\overset{n}{\Sigma }}{\gamma }_k\left(x_i\right)x_i\\ {\sigma }_k^2=\frac{1}{N_k}\underset{i=1}{\overset{n}{\Sigma }}{\gamma }_k\left(x_i\right)(x_i-{\mu }_k){(x_i-{\mu }_k)}^T\\ {\pi }_k=\frac{N_k}{n}\\ N_k=\underset{i=1}{\overset{n}{\Sigma }}{\gamma }_k\left(x_i\right)\end{array}\right)---\left(4\right)$

根据估计得到的GMM的参数，对于新的输入x^*，其关于每个高斯成分的后验概率可以通过式 (5)求得：

${\gamma }_k\left(x^{*}\right)=\frac{{\pi }_{k}N\left(x^{*}\right|{\mu }_k,{\sigma }_k^2)}{\underset{k=1}{\overset{K}{\Sigma }}{\pi }_{k}N\left(x^{*}\right|{\mu }_k,{\sigma }_k^2)}---\left(5\right)$

步骤3：根据步骤2辨识得到的不同操作阶段，对应建立不同的子数据库。当一个新数据到来， 根据这个新的数据隶属于每个子数据库的后验概率，对应的后验概率最大的子数据库发生更新。

针对不同的操作阶段，为了对过程变量进行降维，解决不同变量之间很强的相关性，利用传统 的PCA方法对过程变量进行分析得到PCA模型的得分变量。PCA算法为：

给定训练数据X∈R^n×m，m是过程变量的维数,n是训练数据的数目。PCA是在X的协方差 矩阵基础上实现的。一般情况下，可以通过奇异值分解(singular value decomposition，SVD)的方法建模PCA 模型。假设PCA模型有q个主成分，X可以被分解为如下形式：

$X={\mathrm{TP}}^T+\tilde{T}{\tilde{P}}^T={\mathrm{TP}}^T+E---\left(6\right)$

式中,T∈R^n×q和分别是主成分子空间和残差子空间的得分矩阵，P∈R^m×q和是 主成分子空间和残差子空间相应的载荷矩阵，E是残差矩阵。

当需要对输入进行预测输出时，不需要知道这个新的数据具体隶属于哪个操作阶段，用JITL在 每个操作阶段选择最相似的数据建立各个操作阶段的局部PCA-GPR 模型。JITL算法如下：

Step1:计算x_q和x_i之间的欧氏距离和角度：

d(x_q,x_i)＝||x_q,x_i||₂，i＝1,...,N     (7)

$\left(\begin{array}{c}\cos \left({\theta }_i\right)=\frac{\Delta x_q\Delta x_i^T}{{\left|\right|\Delta x_q\left|\right|}_2·{\left|\right|\Delta x_i\left|\right|}_2},i=1,...,N\\ \Delta x_q=x_q-x_{q-1},\Delta x_i=x_i-x_{i-1}\end{array}\right)---\left(8\right)$

如果cos(θ_i)≥0，计算相似系数s_i：

$s_i=\gamma \sqrt{e^{-d_i^2}}+(1-\gamma )\cos \left({\theta }_i\right)---\left(9\right)$

式中γ是介于0和1之间的权重系数，如果cos(θ_i)<0，丢弃数据(x_i,y_i)。计算得到的s_i也在0和1之 间，s_i越接近1，x_i与x_q的相似度越高。

对计算所得的所有相似系数s_i进行降序排列，建立局部模型时，只选择前L个相似系数较大的 数据。为了选择合适比例的建模数据，针对于TE化工过程，数据比例选择从10％逐渐增大到100％,最后 得到最佳的数据比例为70％。JITL进行数据选择时，不同的比例下CPU耗时和预测的精度如图2和图3所 示。

根据JITL选择的数据建立的局部GPR模型为：

给定训练样本集X∈R^D×N和y∈R^N，其中X＝{x_i∈R^D}_i＝1...N，y＝{y_i∈R}_i＝1...N分别代表D维的 输入和输出数据。输入和输出之间的关系由公式(10)产生：

y＝f(x)+ε      (10)

其中f是未知的函数形式，ε是均值为0，方差为的高斯噪声。对于一个新的输入x^*，相应 的概率预测输出y^*也满足高斯分布，其均值和方差如式(11)和(12)所示：

y^*(x^*)＝c^T(x^*)C^-1y      (11)

${\sigma }_{y^{*}}^2\left(x^{*}\right)=c(x^{*},x^{*})-c^T\left(x^{*}\right)C^{-1}c\left(x^{*}\right)---\left(12\right)$

式中c(x^*)＝[c(x^*,x₁),…,c(x^*,x_n)]^T是训练数据和测试数据之间的协方差矩阵。是训练数据之间 的协方差矩阵，I是N×N维的单位矩阵。c(x^*,x^*)是测试数据的自协方差。

GPR可以选择不同的协方差函数c(x_i,x_j)产生协方差矩阵Σ，只要选择的协方差函数能保证产 生的协方差矩阵满足非负正定的关系。本文选择高斯协方差函数：

式中v控制协方差的量度，ω_d代表每个成分x^d的相对重要性。

对式(4)中的未知参数v,ω₁,…,ω_D和高斯噪声方差的估计,一般最简单的方法就是通过极大 似然估计得到参数$\theta =[v,{\sigma }_n^2,{\omega }_1,···,{\omega }_D].$

$L\left(\theta \right)=-\frac{1}{2}\log \left(\det \left(C\right)\right)-\frac{1}{2}{y}^T{C}^{-1}y-\frac{N}{2}\log \left(2\pi \right)---\left(14\right)$

为了求得参数θ的值，首先将参数θ设置为一个合理范围内的随机值，然后用共轭梯度法得到优 化的参数。获得最优参数θ后，对于测试样本x^*，可以用式(11)和(12)来估计GPR模型的输出值。

步骤6：对步骤5建立的各个操作阶段的局部模型利用式(5)所求的测试数据隶属于每个不同操作 阶段的隶属度值(如图4所示)进行融合得到全局预测模型:

$y^{*}\left(x^{*}\right)=\underset{k=1}{\overset{K}{\Sigma }}{y}_k^{*}\left(x^{*}\right){\gamma }_k\left(x^{*}\right)---\left(15\right)$

全局预测模型的输出即为产品流中成分A的含量的预测结果。

图5是数据比例为70％时在线预测产品流中成分A的含量和实际值拟合曲线，并且与LSSVM 所建立的软测量模型进行了比较。由图可知，基于实习学习的高斯过程回归多模型融合建模能够有效地预 测产品流中成分A的含量。