用于维护复杂体系光谱校正模型预测能力的方法

摘要

本发明提供了一种用于在光谱仪器或者实验条件发生变化的情况下维护光谱校正模型预测能力的方法，其步骤为：1)首先测得数个标准样本的光谱数据；2)运用原光谱校正模型从标准样本的光谱数据中预测其待测组分的浓度(或其他化学和物理性质)，并计算预测系统偏差；3)在标准样本的光谱数据与校正模型预测结果的系统偏差之间建立一预测结果纠正模型；4)将预测结果纠正模型和原校正模型结合使用，从而解决光谱校正模型在实际应用中其预测结果的准确度随光谱仪器或实验条件的变化而变化的普遍问题。本发明使用简单、适用范围广泛，实现了光谱校正模型在同类仪器之间的共享，以及即使在实验条件发生变化的情况下长期使用的有效性。

说明书

技术领域

本发明涉及一种用于维护光谱校正模型预测能力的方法，属于化工、食品、制药、环境等行业的光谱或色谱等仪器分析和检测领域；本方法能实现光谱校正模型在同类仪器之间的共享，以及即使在实验条件发生变化的情况下长期使用的有效性。

背景技术

近年来，由于光纤探针技术的快速发展，使得光谱分析技术具有分析速度快、很少需要或不需要对样本进行预处理、非常适合原位、实时、快速分析大量的复杂化学与生物样本。原位实时光谱过程分析技术如傅立叶变换红外光谱、近红外光谱、激光拉曼光谱等在精细化工、农业、食品、制药、生物分析、以及临床诊断等领域越来越受到重视。包括美国药品与食品管理局(FDA)在内的官方机构正在积极地推动过程分析技术(PAT)；为了从过程、工艺上保证药品质量，改变目前只能依靠严格而生硬的认证规范的现状，欧盟国家科学家也在2007年11月召开第二次过程分析技术大会，起草过程分析技术倡议书。PAT技术能为精细化工、制药等行业带来：1)消除产品质量隐患；2)提高生产效率；3)实现产品质量是可以从生产过程中预见的，而不只是检测出来的；4)节省分析成本。国内近期在食品和药品领域安全事件的频繁发生(如：三聚氰氨事件)更加凸显快速分析的重要性。光谱过程分析技术能为解决这些问题提供可靠的途径。

使用光谱仪器对复杂化学和生物体系进行分析时，通常不是光谱数据本身而是光谱数据中隐含的化学信息(如样本中待测组分的浓度)才能用于产品质量的控制、疾病的诊断(注：化学信息是指样本中待测化学组分的浓度，或样本的其他化学和物理性质；本说明书中仅以待测组分的浓度检测为例来阐明本发明的原理，但本发明提供的方法同样适用于样本的其他化学和物理性质的检测)。因此需要运用数据分析方法从样本的光谱数据中提取出有用的化学信息。通常可以通过测量一批校正样本(其待测组分的浓度或其他化学和物理性质是已知的)的光谱数据，然后在校正样本的光谱数据与校正样本中待测化学组分浓度(或其他化学和物理性质)之间建立一校正模型。校正模型建立后就可以用于从待测样本的光谱数据中预测出待测样本中待测组分的浓度或其他化学和物理性质(参见图1)。由于要建立一稳健的校正模型一般需要较多的校正样本，这也就意味着需要花费一定的人力和物力，所以校正模型一经建立，通常希望它的有效使用期限尽可能长。

但是，校正模型预测结果的有效性是建立在如下假设的基础上：1)待测样本与校正样本的光谱是在同一光谱仪器上测得；2)待测样本与校正样本的光谱是在同样的实验条件(如温度)下测得。如果以上两个假设得不到满足，则校正模型预测结果的准确度就很难保证。然而在实际的应用中，光谱仪器部件的老化、仪器部件的更换、或实验条件的变化可能会严重影响光谱校正模型预测结果的准确度。另外，当将在某一光谱仪器建立起的光谱校正模型应用于其他同类型的光谱仪上时，光谱校正模型预测结果的有效性也很难保证。当出现上述情况时，可以使用“光谱校正模型维护方法”来维护光谱校正模型预测结果的准确度，从而避免再次耗费大量的人力和物力重新建立光谱校正模型。

自20世纪八十年代以来，光谱校正模型维护方法在光谱分析与检测领域受到了人们的广泛关注。现已开发出多个用于维护光谱校正模型预测能力的方法和专利。这些方法和专利可大致分为三大类，即：校正模型参数更新方法【见参考文献1-3】，预测结果纠正方法【见参考文献4-6】，以及光谱标准化方法【见参考文献7-14】。校正模型参数更新方法如Global Partial Least Square(GPLS)的原理是通过在原校正样本集中加入几个在新光谱仪或新实验条件下测试的代表性标准样本，然后重新计算校正模型参数。这一方法只适用于比较简单的情况。当由光谱仪器或实验条件的变化而产生的光谱响应的变化比较复杂时，校正模型参数更新方法的性能就不太理想。预测结果纠正方法如Univariate Slope and Bias Correction(SBC)的基本原理是在对几个代表性标准样本的预测结果与其真实结果之间建立一单变量校正模型。与校正模型参数更新方法一样，这种单变量预测结果纠正方法也只适用于比较简单的情况。光谱标准化方法如Direct Standardization(DS)和Piecewise Direct Standardization(PDS)的主要思想则是通过一转换矩阵将待测样本在新光谱仪或新实验条件下测得的光谱数据进行标准化，使其等价于在原光谱仪或原实验条件下测得的光谱数据。因而，原光谱校正模型的预测结果的有效性可得到有效的维护。标准化矩阵可按以下方案获得：1)选择几个有代表性的标准样本，2)在原光谱仪或原实验条件下测得标准样本的光谱数据X₁(注：其每一行代表一个样本的光谱)，3)在新光谱仪或新实验条件下测得标准样本的光谱数据X₂；4)转换矩阵B可通过将X₁对X₂进行回归而获得(X₁＝X₂B)。虽然光谱标准化方法可适用于比较复杂的情况，但是它不但要求获得标准样本在新光谱仪器或新实验条件下的光谱，而且还要求获得标准样本在原光谱仪器或原实验条件下的光谱。在实际应用中(如复杂多相化学和生物体系的在线监测)，这一要求很难得到满足。因此，非常有必要开发一种适用于各种复杂体系、且容易实现的性能优良的光谱校正模型维护方法。

基于这样的背景，本发明旨在开发一种简单实用、性能优良的光谱校正模型维护方法，并实现了光谱校正模型在同类型的不同光谱仪器之间，以及不同实验条件之间的正常使用。

参考文献：

【1】H.Swierenga，A.P.de Weijer，L.M.C.Buydens，J.Chemom.1999，13，237-249

【2】C.V.Greensill，P.J.Wolfs，C.H.Spiegelman，K.B.Walsh，Appl.Spectrosc.2001，55，647-653

【3】C.L.Stork，B.R.Kowalski，Chemom.Intell.Lab.Syst.1999，43，151-166

【4】E.Bouveresse，C.Hartmann，D.L.Massart，I.R.Last，K.A.Prebblle，Anal.Chem.1996，68，982-990

【5】J.A.Jones，I.R.Last，B.F.MacDonald，K.A.Prebble，J.Pharma.Biomed.Anal.1993，11，1227-1231

【6】E.Bouveresse，D.L.Massart，P.Dardenne，Anal.Chim.Acta，1994，297，405-416

【7】J.S.Shenk，M.O.Westerhaus，U.S.Patent 4866644，Sept 12，1989

【8】E.Bouveresse，D.L.Massart，P.Dardenne，Anal.Chem.1995，67，1381-1389

【9】Y.D.Wang，D.J.Veltkamp，B.R.Kowalski，Anal.Chem.1991，63，2750-2756

【10】F.W.Koehler，G.W.Small，R.J.Combs，B.B.Knapp，R.T.Kroutil，Anal.Chem.2000，72，1690-1698

【11】F.Despagne，B.Walczak，D.L.Massart，Appl.Spectrosc.1998，52，732-745

【12】R.Goodacre，E.M.Timmins，A.Jones，D.B.Kell，J.Maddock，M.L.Heginbothom，J.T.Magee，Anal.Chim.Acta，1997，348，511-532

【13】D.T.Andrews，P.D.Wentzell，Anal.Chim.Acta，1997，350，341-352

【14】Y.L.Xie，P.K.Hopke，Anal.Chim.Acta，1999，384，193-205

发明内容

本发明要解决的技术问题是，为了克服现有光谱校正模型维护方法不适用于复杂体系、对数据的要求比较苛刻、以及不能应用于复杂多相化学和生物体系的在线监测等缺点，提出一种用于维护复杂体系光谱校正模型预测能力的方法，以解决光谱校正模型在实际应用中其预测结果的准确度随光谱仪器或实验条件的变化而变化的普遍问题，实现光谱校正模型在同类仪器之间的共享，以及即使在实验条件发生变化的情况下长期使用的有效性。

本发明所述用于维护光谱校正模型预测能力的方法包括以下步骤：

(1)在原光谱仪和原实验条件下，测得一校正样本集的光谱数据X_cal(注：其每一行代表一个样本的光谱)，然后在校正样本集光谱数据X_cal与校正样本待测组分的浓度之间建立光谱校正模型：c＝f(x)；其中x为样本的光谱数据，c为样本中待测组分的浓度；

(2)选择几个有代表性的标准样本(注：标准样本中待测组分的浓度矢量c_stand是已知的，或可通过高效液相色谱HPLC等仪器测得)，在新光谱仪或新实验条件下测得标准样本的光谱数据X_stand，利用建立在校正样本光谱数据上的光谱校正模型从标准样本的光谱数据中预测出标准样本中待测组分的浓度，并计算出预测结果的系统偏差；一般地，代表性的标准样本的数目不应少于样本中的对光谱数据有显著贡献的化学组分的数目r；

(3)在标准样本的光谱数据与校正模型预测结果的系统偏差之间建立预测结果纠正模型；

(4)在新光谱仪或新实验条件下测得未知待测样本的光谱数据X_test，然后综合运用预测结果纠正模型与原光谱校正模型，从未知待测样本的光谱数据X_test中对待测样本中待测组分的浓度c_test作出准确预测。

以下对本发明做出进一步说明。

本发明中，所述在标准样本的光谱数据与校正模型预测结果的系统偏差之间建立预测结果纠正模型，采用以下步骤：

a)首先对X_cal和X_stand分别进行奇异值分解(SVD)：

$X_{\mathrm{cal}}=U_{\mathrm{cal}}{\Sigma }_{\mathrm{cal}}{V}_{\mathrm{cal}}^T;$$X_{s\tan d}=U_{s\tan d}{\Sigma }_{s\tan d}{V}_{s\tan d}^T$

其中，上标‘T’代表矩阵转置操作；U_cal，U_stand、V_cal和V_stand均为列正交矩阵；∑_cal和∑_stand均为对角矩阵，其对角元素分别为光谱数据矩阵X_cal和X_stand的奇异值，且按照由大到小的顺序排列；

取V_cal的前K列组成载荷矩阵P_cal，取V_stand的前K列组成载荷矩阵P_stand，其中，K为主成份数目，且K可设定为样本中的对光谱数据有显著贡献的化学组分数目或一稍大的数值；

b)在标准样本的光谱数据与校正模型预测结果的系统偏差之间建立预测结果纠正模型：

$f\left(X_{s\tan d}\right)-c_{s\tan d}=X_{s\tan d}{\left(P_{s\tan d}^T\right)}^{+}{P}_{s\tan d}^T[I-{\left(P_{\mathrm{cal}}^T\right)}^{+}{P}_{\mathrm{cal}}^T]b$

其中，上标‘+’表示矩阵的Moor-Penrose广义逆；I为一单位矩阵，其阶数与相同；b为回归矢量；

然后用主成份回归(PCR)或偏最小二乘回归(PLSR)等多元回归方法从上式中估计出回归矢量b；在所述估计回归矢量b时，所使用的潜变量数应不大于样本中的对光谱数据有显著贡献的化学组分数目r；

上述预测结果纠正模型可能有以下几个变种：

f(X_stand)-c_stand＝X_standb或$f\left(X_{s\tan d}\right)-c_{s\tan d}=X_{s\tan d}{\left(P_{s\tan d}^T\right)}^{+}{P}_{s\tan d}^{T}b$或$f\left(X_{s\tan d}\right)-c_{s\tan d}=X_{s\tan d}[I-{\left(P_{\mathrm{cal}}^T\right)}^{+}{P}_{\mathrm{cal}}^T]b$

所述从未知待测样本的光谱数据X_test中准确预测待测样本中待测组分浓度c_test，采用以下计算公式：

$c_{\mathrm{test}}={f\left(x_{\mathrm{test}}\right)-x_{\mathrm{test}}\left(P_{s\tan d}^T\right)}^{+}{P}_{s\tan d}^T[I-{\left(P_{\mathrm{cal}}^T\right)}^{+}{P}_{\mathrm{cal}}^T]b$

所述几个变种预测结果纠正模型对应的计算未知待测样本中待测组分浓度c_test的计算公式如下：

c_test＝f(X_test)-X_testb    或$c_{\mathrm{test}}={f\left(x_{\mathrm{test}}\right)-x_{\mathrm{test}}\left(P_{s\tan d}^T\right)}^{+}{P}_{s\tan d}^{T}b$或$c_{\mathrm{test}}=f\left(x_{\mathrm{test}}\right)-x_{\mathrm{test}}[I-{\left(P_{\mathrm{cal}}^T\right)}^{+}{P}_{\mathrm{cal}}^T]b$

本发明所述除适用于需要预测的是样本中待测组分浓度的情况之外，还适用于需要预测的是样本的其他化学或物理性质的情况。

本发明方法中所述光谱仪(原光谱仪和新光谱仪)可以是近红外光谱仪器，还可以是红外光谱仪、荧光光谱仪，紫外-可见光谱仪、拉曼光谱仪、原子吸收光谱仪、原子发射光谱仪或X-射线光谱仪等其他光谱仪器，以及其他分析仪器(如：气相色谱、液相色谱、质谱、核磁共振仪等)。

本发明方法不仅适用于仪器发生改变(如：仪器性能随时间的变化，仪器部件的更换、以及使用另一台仪器)的情况，还适用于实验条件(如温度、湿度、压力、搅拌速度、进样量、甚至地点等)发生变化的情况。

本发明从光谱分析领域中使用的最基本的线性模型开始(X＝C×S^T，其中X为光谱数据矩阵，其第i行代表第i个样本的光谱；C为浓度矩阵，其第(i，j)元素代表第i个样本中第j个化学组分的浓度；S为纯光谱矩阵，其第j列代表样本中第j个化学组分的纯光谱；上标‘T’代表矩阵转置操作)，通过严格的数学推导阐述了光谱仪器或实验条件的变化对光谱校正模型预测结果的影响，首次提出了在标准样本的光谱数据与校正模型预测结果的系统偏差之间建立预测结果纠正模型来维护光谱校正模型预测能力的思想。

本发明采用了预测结果纠正模型的策略来维护光谱校正模型在光谱仪器或实验条件发生变化的情况下的预测能力。由于在标准样本的光谱数据与校正模型预测结果的系统偏差之间建立的预测结果纠正模型是多变量回归模型，其应对复杂光谱变化的能力要比单变量预测结果纠正方法(如SBC)强的多。另外，本方法不要求获得标准样本在原光谱仪器或原实验条件下的光谱数据，因此无需保存标准样本。其应用范围要比光谱标准化方法(如DS和PDS)的应用范围广，可以方便地应用于复杂化学和生物体系的在线监测，在精细化工、农业、食品、制药、生物分析、以及临床诊断等领域中真正实现实时、原位、无损光谱分析。

由以上描述可知，本发明为一种在光谱仪器或实验条件发生变化的情况下用于维护光谱校正模型预测能力的方法，它克服了现有光谱校正模型维护方法对光谱数据要求苛刻，不能应对复杂光谱变化，以及不能适用于复杂化学和生物体系的实时在线监测等诸多方面的不足，其优点可概括如下：

1)本发明是建立在合理的、且已经验证的假设上，所有公式均是通过严格的数学推导获得的。因此本发明具有理论基础完善的特点；

2)本发明只要求获得几个标准样本在新光谱仪器或新实验条件下的光谱数据以及这些标准样本中待测组分的浓度。在实际应用中，这一要求很容易得到满足。因此本发明具有应用范围广的优势；

3)本发明所涉及的较高级的数学计算仅包括奇异值分解(SVD)和主成份回归(PCR)或偏最小二乘回归(PLSR)等多元回归方法。而这些方法的原理已十分成熟、计算过程比较简单。因此本发明又具有使用简单的优点，适合非专业人员使用。

附图说明

图1是现有从待测样本的光谱数据中预测出待测样本中待测组分的浓度或其他化学和物理性质的流程图；

图2是本发明技术方案图示；

图3是标准样本数目对光谱校正模型维护方法性能的影响图示(○：本发明，△：PDS，□：GPLSR，◇：SBC)；均方根误差(RMSE)的计算是建立在除标准样本外的所有样本基础上的；

图4是考察了P_cal和P_stand中主成份数目K的取值对本发明性能的影响图示(标准样本的数目为13)，均方根误差(RMSE)的计算建立在除标准样本外的所有样本的基础上；

图5是由不同方法预测出“测试批处理过程1”中产物的浓度曲线(黑色实线)(a：PLSR，b：GPLSR，c：SBC-PLSR，d：本发明-PLSR)；圆圈：HPLC离线测得的产物浓度。

具体实施方式

实施例1：药片中活性成分近红外光谱校正模型的维护

本实施例使用了公开的近红外光谱数据(http://www.idrc-chambersburg.org/shootout2002.html)来测试本发明在光谱仪器发生变化时对光谱校正模型预测能力进行维护的性能。该光谱数据是由在两台Foss NIRsystems近红外光谱仪(其中一台叫做“主光谱仪”，另一台叫做“从光谱仪”)上测得的655片药片的共1308条吸收光谱组成(波长范围：600nm～1638nm，波长间隔：2nm)。每一片药片中的活性成分的含量通过高效液相色谱法进行测定。将每一台仪器上测得的655条光谱分成校正集(155条光谱)、测试集(460条光谱)和验证集(40条光谱)。校正集药片样本中活性成分的含量在151.6～239.1mg之间。

本实验的主要步骤如下：

1)采用偏最小二乘回归法(PLSR)在“主光谱仪”上测得的校正样本的光谱数据与校正样本中活性组分含量之间建立光谱校正模型。通过考察回归模型对测试集的预测误差来确定PLS回归模型中使用的潜变量数。

2)将在“主光谱仪”上建立的光谱校正模型应用于在“从光谱仪”上测得光谱数据，考察光谱仪器变化对光谱校正模型的预测结果的影响。

3)从测试集样本中随机选取6个代表性标准样本后，考察本发明与GPLS、SBC以及PDS在维护光谱校正模型预测能力方面的性能差异。

表1列出了本实验的主要结果。从表1的结果可以看出：光谱仪器的变化对原光谱校正模型预测结果的准确度有着十分显著的影响；当光谱仪器发生变化，且没有采用适当的光谱校正模型维护方法的情况下，原光谱校正模型将很难给出准确的预测结果；光谱校正模型维护方法SBC、GPLS、PDS以及本发明的使用均能有效地提高原光谱校正模型预测结果的准确度。其中，本发明的效果最好。使用本发明能有效地消除光谱仪器变化对于光谱校正模型预测结果准确度的影响。虽然PDS在本例中的效果与本发明相当，但PDS不但要求获得标准样本在新光谱仪器或新实验条件下的光谱，而且还要求获得标准样本在原光谱仪器或原实验条件下的光谱。在实际应用中(如复杂多相化学和生物体系的在线监测)，这一要求很难得到满足。

图3显示的是标准样本数目对光谱校正模型维护方法性能的影响。由图3可知：本发明只需要很少的标准样本就可以有效地维护光谱校正模型的预测能力；相比于SBC、GPLS以及PDS而言，本发明能在明显少得多的标准样本的基础上达到同样的光谱校正模型维护的效果。

图4考察了P_cal和P_stand中主成份数目K的取值对本发明性能的影响。从图4可以看出，K的取值对本发明的性能有一定的影响。但K值在一较宽的范围内变化时，本发明的性能非常良好且没有太大的变化。这说明本发明对K值的变化不是太敏感。因此，在实际应用中K可设定为样本中的对光谱数据有显著贡献的化学组分数目或一稍大的数值。

实施例2：生物发酵过程中抗生素产物近红外光谱校正模型的维护

本实施例中使用了在一生物反应过程中记录的近红外光谱数据来测试本发明在实验条件发生变化时对光谱校正模型预测能力进行维护的性能。该生物反应是一在12升反应器中的链霉菌发酵生产抗生素的过程。该过程涉及两个阶段，即：生长阶段和生产阶段。生产阶段是一持续时间为140小时左右的批处理过程。在本实例，一共进行了两组实验。第一组由7个批处理过程组成，称为“校正批处理过程”。第二组由3个批处理过程组成，称为“测试批处理过程”。7个校正批处理过程均在相同的实验条件下进行。3个“测试批处理过程”则是在不同的实验条件下进行的。对所有10个批处理反应过程的生产阶段均用近红外光谱仪(Zeiss Corona 45NIR，Carl Zeiss，Germany)进行在线监测，每15分钟记录一条反射近红外光谱Log(1/R)(波长范围：1064nm～1430nm，间隔：6nm，扫描次数：10)。使用高效液相色谱(HPLC)离线测定批处理反应过程中产物的浓度。在每一批处理过程中，大约可以获得10个左右的离线产物浓度值。

本实验的主要步骤如下：

1)采用偏最小二乘回归法(PLSR)在“校正批处理过程”中HPLC离线测得的产物浓度与相应样本的近红外光谱数据之间建立光谱校正模型。PLS回归模型中使用的最优潜变量数是通过Leave-One-Batch-Out交互检验法来确定的。

2)将在“校正批处理过程”的光谱数据上建立的光谱校正模型应用于在“测试批处理过程”中测得光谱数据，考察实验条件变化对光谱校正模型预测结果的影响。

3)对每一“测试批处理过程”，选取前两个离线产物浓度值对应的样本作为标准样本，考察本发明与GPLS以及SBC在维护光谱校正模型预测能力方面的性能差异。

表2和图5列出了本实验的主要结果。从表2和图5可以看出：当没有使用模型维护方法时，由于实验条件的变化，建立在“校正批处理过程”上的光谱校正模型无法准确预测“测试批处理过程”中产物的浓度。虽然GPLS和SBC的使用可以显著降低光谱校正模型的预测误差，但它们的结果还是不太理想(图5b、5c)。本发明的性能明显优于其他两个模型维护方法。本发明的使用能使建立在“校正批处理过程”上的光谱校正模型准确地预测出“测试批处理过程”中产物的浓度。

表1：当使用“从光谱仪器”测定药片样本的光谱数据时，原光谱校正模型与不同的维护方法结合使用后对活性组分含量预测结果的均方根误差(RMSE)

注1：PLSR：原光谱校正模型；SBC-PLSR：原光谱校正模型结合SBC维护方法；GPLS：Global Partial Least Square Regression；PDS-PLSR：原光谱校正模型结合PDS维护方法；本发明-PLSR：原光谱校正模型结合本发明维护方法。

注2：光谱校正模型维护方法(SBC，GPLSR，PDS和本发明)均使用相同的6个代表性的标准样本。

注3：括号中的值表示当使用“主光谱仪器”测定药片样本的光谱数据时，原校正模型对样本中活性组分含量预测结果的均方根误差。

表2：原光谱校正模型与不同的维护方法结合使用后对测试批处理过程中产物含量预测结果的均方根误差(RMSE)

注：由于PDS不但要求获得标准样本在新实验条件下的光谱，而且还要求获得标准样本在原实验条件下的光谱，因此PDS无法应用本体系。