聚酯纤维酯化阶段性能指标的多生产线时间序列预测方法

摘要

本发明提出一种基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测方法，选取一条工况稳定且连续生产两个月以上的生产线作为源域，一条缺乏历史数据集且需要构建时间序列预测模型的生产线作为目标域，采用基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测模型，从源域中的酯化阶段历史数据集中迁移可用知识，对目标域中酯化阶段性能指标未来一段时间内的真实值进行预测。本发明针对单一生产线获取历史标签数据有限，难以建立准确且泛化能力强的时间序列预测模型的问题，引入迁移学习策略，利用其他生产线的历史传感器数据增加数据集差异性，填补由于缺少样本而造成的数据空白，从而帮助目标域构建时间序列预测模型。

说明书

技术领域

本发明涉及多生产线工况下聚酯纤维聚合工艺时间序列预测模型的构建，针对单一生产 线获取时序数据不足，难以构建时间序列预测模型的问题。

背景技术

聚酯纤维又称“涤纶”，是三大合成纤维(涤纶、锦纶、腈纶)之一，由于其高强度、高模量、易拉伸收缩、耐热耐光等一系列优良特性，被广泛应用于服装、纺织、建筑等生产领域，目前已发展为世界上合成纤维的第一大品种，在纤维市场中占比高达80％。聚酯纤维是指由对苯二甲酸(PTA)和乙二醇(EG)为原料通过聚合过程形成聚对苯二甲酸乙二醇酯(PET)熔体，后经过熔体输送过程和纺丝过程形成的一种初生纤维(即聚酯纤维)。聚合 过程是首道工序，也是最重要的一个环节，其包含酯化、预缩聚和终缩聚三大阶段，是一个 化学工艺复杂、生产设备多样的复杂流程工业过程。由于聚合过程的复杂性、非线性、耦合 性和时变性，对系统过程进行实时状态监控和数据分析是保障生产效能的关键。

生产过程中基于监控与数据采集系统获得的大量传感器数据为时间序列数据，其中包含 了丰富的工业过程历史信息，这些信息能反映工业过程具体运行情况和指标随时间动态变化 的趋势。时间序列预测就是基于工业传感器采集的历史时序数据对工业过程某些关键变量进 行预测，从而了解过程趋势，正确评估系统的当前状态，提前感知系统的异常状态，实现对 过程指标的监测、控制等。

传感器的大规模部署使得基于数据驱动的工业时间序列预测技术得到了长足的进步，这 些技术依赖传感器收集的历史数据来推断未来生产设备的工作状况和健康程度。尽管研究表 明这些方法取得了一定的效果，但它们需要大量(通常是长时间跨度)的历史数据来训练学 习模型以实现准确的预测。而新建的生产线或者新装传感器的生产设备无法及时收集足够大 的历史数据集，往往难以构建时间序列预测模型。为了解决上述问题，迁移学习能够从任务 相同，数据分布不同但训练数据充足的源域(不同生产线、不同生产工况)中迁移已有知识 到目标域中，从而帮助目标域建立时间序列预测模型。

传统机器学习方法都遵循训练和测试数据满足同一数据分布的假设，迁移学习打破了这 一假设，其能够迁移相关领域(或称为源域)的知识来提高目标域中模型的学习性能或最大 限度地减少目标域训练学习器所需的标记数据。

发明内容

本发明所要解决的是现有技术存在的上述问题，提供一种聚酯纤维酯化阶段性能指标的 多生产线时间序列预测方法。本发明以聚酯纤维聚合过程酯化阶段为背景，针对单一生产线 获取历史标签数据有限，难以建立准确且泛化能力强的时间序列预测模型的问题，引入迁移 学习策略，利用其他生产线的历史传感器数据增加数据集差异性，填补由于缺少样本而造成 的数据空白，从而帮助目标域构建时间序列预测模型。

本发明采取的建模方案是：首先基于最大熵理论对源域时间序列进行分割，使每个子源 域中数据分布近似不变。分割源域后，将多子源域和目标域数据输入基于域对抗的多源域深 度迁移网络(Domain Adversarial-based Multi-source Deep TransferNetwork,DA-MDTN)进行 训练，将目标分布看作多个子源域分布的加权组合，通过域对抗的方式实现多源域迁移。 DA-MDTN的迁移路线为：通过多路对抗策略最小化目标域和每个子源域的分布差异，使用 域混淆分数表示深层特征下目标域样本属于不同子源域的可能性，作为每路预测器的权重系 数；通过包括预训练、多路对抗学习、预测器适应的训练策略，最大程度上利用目标域的有 标签数据，提升模型在目标域上的预测性能并保证模型的泛化能力。

为达到上述目的，本发明所采用的技术方案如下：

一种基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测方法，选取一 条工况稳定(聚酯产品指标要求不发生变化)且连续生产两个月以上的生产线作为源域，一 条缺乏历史数据集(仅采集不超过三天的历史数据)且需要构建时间序列预测模型的生产线 作为目标域，采用基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测模 型，从源域中的酯化阶段历史数据集中迁移可用知识，结合目标域中的酯化阶段历史数据 集，对目标域中酯化阶段性能指标未来一段时间内的真实值进行预测；

基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测模型的建模步骤如 下：

(1)将源域时间序列分割为多个区段，视为多个子源域，并将目标域时间序列和所有 子源域时间序列转换为可以输入多源域深度迁移网络的时序数据集，即目标域时序数据集和 多个子源域时序数据集；

(2)将目标域时序数据集和多个子源域时序数据集输入多源域深度迁移网络(Domain Adversarial-based Multi-source domain Deep Transfer Network,DA-MDTN)中进行训练，得到 训练好的网络模型，训练好的网络模型可直接用于目标域中酯化阶段的时间序列预测任务；

建模完成后，将目标域中酯化阶段的工艺特征时序数据输入训练好的网络模型，获得酯 化阶段性能指标未来多个时间步的预测值。

作为优选的技术方案：

如上所述的基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测方法， 源域时间序列的分割采用基于最大熵的分割方法，目的是最大程度避免由于源域时间序列时 间跨度大而产生的时序分布漂移问题，基于最大熵的分割方法通过寻找分割后彼此最不相似 的时间区段来使每个区段内的样本分布近似一致，即分割的目标如下：

其中，

K

K为子源域个数；

d为数据分布间的距离度量函数；

n为源域时间序列的长度；

Δ

上述优化问题的学习目标是通过搜索K和对应时间区段的边界来最大化平均分布距离， 使得不同时间区段的分布尽可能相异，同一时区内的样本分布可看作不变，能更好地进行域 适配。考虑用贪婪算法解决此优化问题，将时间序列均匀地分成10段，其中每一段是不能 再分割的最小单位周期，在{2,3,5,7,10}中搜寻K值。给定K后，用A和B表示时间序列的 起点和终点，首先考虑K＝2，在九个候选分割点中遍历，求得分割点C，使

如上所述的基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测方法， 将时间序列转换为时序数据集的过程如下：

多元时间序列数据

多元时间序列数据X通过滑动窗口法转换为时序数据集

如上所述的基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测方法， 所述多源域深度迁移网络包含四个组件：特征提取器F、域判别器D、预测器P和无参数的 目标域预测器P

如上所述的基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测方法， 特征提取器F以循环神经网络为主干，包含两层门控循环单元(GRU)网络和两层全连接 网络，特征提取器F将目标域和K个子源域的时序特征映射到一个公共特征空间中，最大 程度上适配目标域和每一个子源域的特征分布。在训练过程中采取对抗学习的方式获得F的 最佳映射，它可以在保留目标域和K个子源域的时序信息的同时学习到域之间的特定关系， 以获取域不变特征。

如上所述的基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测方法， 每一个子源域对应一个域判别器D，则多路域判别器表示为

域间差异可以由域判别器的分类损失来度量，域间差异越小，分类损失越大，所以多路 域判别器

其中，

其中，

每一个子源域对应一个预测器P，则多子源域的预测器(多路预测器)表示为

如上所述的基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测方法， 目标域预测器P

如上所述的基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测方法， 所述多源域深度迁移网络通过三阶段法训练，训练过程包括预训练、多路对抗学习和预测器 适应。首先用源域数据预训练特征提取器F多路预测器

(1)预训练：用K个子源域的带标签时序数据集联合训练特征提取器F和多路预测器

其中，

其中，

y为样本x对应的真实值标签；

预训练后的F能够成功提取出源域样本的时序特征，每个子源域对应的

(2)多路对抗训练：固定多路预测器

多路对抗策略中每条线路的对抗训练寻求能使域判别器损失最大化的特征提取器F，同 时寻求使分类损失最小化的域判别器D；同时，为了使F保留提取时序特征的能力，在优化 目标中添加预测回归损失，则多路对抗策略的优化目标如下：

其中，

其中，

K为子源域个数；

在训练过程中，域判别器努力正确区分样本深层特征的域标签(源域：0，目标域：1)，与此同时特征提取器努力骗过域判别器使其不能正确分类。F和D相互对抗学习最终使域判别器无法区分提取的特征来自于子源域还是目标域，达到使F提取域不变特征的目的。

(3)预测器适应，用K个子源域中的带标签时序数据集和目标域带标签时序数据集分 别更新特征提取器F和多路预测器

为了最终获得理想的预测器，结合源域和目标域带标签样本对F和

其中，

其中，

y为源域样本x对应的标签；

y

目标域预测器是由多路预测器集成而得，DA-MDTN训练完成后，当目标域的无标签样 本到来时，首先计算对应多个域判别器的域混淆分数，然后加权各路预测器的预测结果进行 输出。

如上所述的基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测方法， 源域中的酯化阶段历史数据集包含连续两个月每隔1分钟采集的传感器数据，目标域中的酯 化阶段历史数据集包含连续2天每隔1分钟采集的传感器数据；作为源域的生产线和作为目 标域的生产线中的传感器相同，传感器数据包括预测序列和非预测序列，为14维多元时间 序列，非预测序列包括：酯化釜压力、酯化釜液位、酯化搅拌机电流、工艺塔汽相管线温 度、酯化釜温度、酯化分离塔塔顶压力、酯化分离塔塔中压力、分离塔顶部温度、分离塔温 度、分离塔液位、酯化分离水回流流量、水回流泵频率和塔底EG泵回流流量，预测序列为 酯化阶段的产物——低聚物的密度指标。

有益效果

(1)本发明采用基于最大熵理论的源域分割方法，通过分割源时间序列为多个区段再 进行迁移工作有效缓解由于源域的时序数据量大，时间跨度长导致的时序分布漂移问题。

(2)本发明中的多源域迁移网络通过多路对抗训练学习域不变、可迁移的特征表示， 同时用域混淆分数表示目标域样本属于某一子源域的概率，实现细粒度集成预测模型构建。

(3)本发明中网络训练采用三阶段训练方法有效提升训练效率，并在多路对抗训练后 添加预测器适应阶段，在保证目标域中模型预测性能的同时使模型不损失泛化能力。

附图说明

图1是基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测模型建模方 法；

图2是DA-MDTN网络结构；

图3是DA-MDTN训练及验证过程；

图4是两种多源域迁移模型的单步预测结果；

图5是预测误差箱图。

具体实施方式

下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而 不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员 可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范 围。

如图1所示，一种基于迁移学习的聚酯纤维酯化阶段性能指标的多生产线时间序列预测 方法，具体步骤如下：

(1)目标域时序数据集和多个子源域时序数据集的获取

(1.1)选取一条工况稳定(聚酯产品指标要求不发生变化)且连续生产两个月以上的 生产线作为源域，采取该生产线连续两个月每隔1分钟采集的传感器数据作为原始源域时间 序列；

(1.2)选取一条缺乏历史数据集(仅采集不超过三天的历史数据)且需要构建时间序 列预测模型的生产线作为目标域，采取该生产线连续2天每隔1分钟采集的传感器数据作为 原始目标域时间序列；

其中，作为目标域的生产线中的传感器与作为源域的生产线中的传感器相同；传感器数 据为14维多元时间序列，包括预测序列和非预测序列，非预测序列包括：酯化釜压力、酯 化釜液位、酯化搅拌机电流、工艺塔汽相管线温度、酯化釜温度、酯化分离塔塔顶压力、酯 化分离塔塔中压力、分离塔顶部温度、分离塔温度、分离塔液位、酯化分离水回流流量、水 回流泵频率和塔底EG泵回流流量，预测序列为酯化阶段的产物—低聚物的密度指标；

(1.3)对原始源域时间序列和原始目标域时间序列的数据进行预处理，得到源域时间 序列和目标域时间序列；

其中预处理包括异常值检测、数据平滑处理及标准化处理；

异常值检测时，异常值一般定义为由于测量仪器出问题或传感器工作状态异常等不可控 因素造成的偏离正常工况太多的观测数值，一般定义时间窗口ω，在这个时间窗口内通过 3δ法则来检测异常值并将其替代为前一个时间步和后一个时间步的平均值，具体为：对于 时间序列的所有特征维度

其中，

数据平滑处理时，使用滑动平均法最小化噪声影响，滑动平均法通过依次取原始序列窗 口内的平均值来构造新的时间序列，具体为：

其中，

采用z-score方法对特征数据进行标准化处理，对于时间序列的所有特征维度

其中，

(1.4)采用基于最大熵的分割方法，将源域时间序列分割为K个子区间，使每个区间 内的样本分布近似一致，视为K个子源域；

分割的目标如下：

其中，K

通过搜索K和对应时间区段的边界来最大化平均分布距离，使得不同时间区段的分布尽 可能相异，同一时区内的样本分布可看作不变，能更好地进行域适配；考虑用贪婪算法解决 分割问题，将时间序列均匀地分成10段，其中每一段是不能再分割的最小单位周期，在 {2,3,5,7,10}中搜寻K值；给定K后，用A和B表示时间序列的起点和终点，首先考虑 K＝2，在九个候选分割点中遍历，求得分割点C，使

(1.5)将目标域时间序列和所有子源域时间序列转换为时序数据集，得到目标域时序 数据集和多个子源域时序数据集；

其中，将时间序列转换为时序数据集的过程如下：

多元时间序列数据

多元时间序列数据X通过滑动窗口法转换为时序数据集

(2)网络模型的训练

将步骤(1)得到的目标域时序数据集和多个子源域时序数据集输入基于域对抗的多源 域深度迁移网络(Domain Adversarial-based Multi-source domain DeepTransfer Network,DA- MDTN)中进行训练，然后根据三阶段训练方法，得到训练好的网络模型，训练好的网络模 型可直接用于目标域中酯化阶段的时间序列预测任务；

其中，多源域深度迁移网络结构如图2所示，多源域深度迁移网络包含四个组件：特征 提取器F、域判别器D、预测器P和无参数的目标域预测器P

特征提取器F以循环神经网络为主干，包含两层门控循环单元(GRU)网络和两层全连接网络，特征提取器F将目标域和K个子源域的时序特征映射到一个公共特征空间中， 最大程度上适配目标域和每一个子源域的特征分布；在训练过程中采取对抗学习的方式获得F的最佳映射，它可以在保留目标域和K个子源域的时序信息的同时学习到域之间的特定关系，以获取域不变特征；

每一个子源域对应一个域判别器D，则多子源域的域判别器(多路域判别器)表示为

其中，

其中，

每一个子源域对应一个预测器P，则多路预测器表示为

目标域预测器P

多源域深度迁移网络的具体参数如表1所示；

表1多源域深度迁移网络的具体参数

多源域深度迁移网络的训练过程包括预训练、多路对抗训练和预测器适应；

预训练阶段时，用K个子源域中的带标签时序数据集联合训练特征提取器F和多路预 测器

其中，

其中，

多路对抗训练阶段时，固定多路预测器

其中，

其中，K为子源域个数；

在训练过程中，域判别器努力正确区分样本深层特征的域标签(源域：0，目标域：1)，与此同时特征提取器努力骗过域判别器使其不能正确分类；F和D相互对抗学习最终使域判别器无法区分提取的特征来自于子源域还是目标域，达到使F提取域不变特征的目的；

预测器适应阶段时，用K个子源域中的带标签时序数据集和目标域中的带标签时序数据 集分别更新特征提取器F和多路预测器

其中，目标域预测器是由多路预测器集成而得，预测器适应阶段的训练过程为：

其中，

其中，y为源域样本x对应的标签，y

(3)酯化阶段性能指标未来多个时间步的预测

将目标域中酯化阶段的工艺特征时序数据输入训练好的网络模型，目标域的无标签样本 到来时，预测器的预测结果进行输出，获得酯化阶段性能指标首先计算对应多个域判别器的 域混淆分数，然后加权各路未来多个时间步的预测值；

其中，DA-MDTN的训练及验证过程如图3所示，具体的算法流程如图4所示。

引入两个对比实验的设置标准：1)表现最好的子源域(Single best)：在多源域中，将迁移 效果最好的子源域拿出来作对比实验；2)多源域结合(Source combine)：将多个子源域聚合 为一个单源域(在我们的实验中即为不对源域进行分割)作对比实验；3)多源域(Multi- source)：不对多源域做处理；第一个设置标准能够验证引入其他源域是否对改进单源域迁移 有价值，第二个设置标准能够验证多源域迁移结构是否有价值，不同设置标准的迁移实验结 果如表2所示；

表2不同模型的迁移实验结果

表2中，TCA-LSTM为传统迁移方法迁移成分分析(Transfer Component Analysis)与 LSTM网络相结合、DTN(Deep Transfer Network)为深度迁移网络，SDS-DTM(SourceDomain Segmentation-based Deep Transfer Model)为基于源域分割的深度迁移模型，Only source domain方法表示仅用源域数据训练模型，然后直接用于目标域的预测任务，DANN (Domain Adversarial Neural Network)为基于域对抗的单源域迁移方法；DANN在前两种设 置标准下都取得了最好的迁移效果，相比于将分布距离作为训练损失正则化项的DTN， DANN通过对抗学习能更好提取样本的域不变特征；第二种设置标准下，将所有子源域合并 为一个源域，相当于未对源域作分割，由于时序分布漂移的影响，所有方法的预测精度相比 于Single best标准下都变差不少；第三种多源域的设置标准下，SDS-DTM和DA-MDTN两 种模型对目标域时序数据的预测误差都比Single best标准下效果最好的DANN预测误差 小，说明引入其他源域对改进单源域迁移效果有提升；同时Source combine标准下效果最好 的DANN预测效果远不及SDS-DTM和DA-MDTN，说明多源域迁移结构对于聚酯酯化阶段 生产线间的迁移任务有研究价值。

图4给出了SDS-DTM和DA-MDTN的单步预测曲线，以更直观展示预测效果；如图所示DA-MDTN的预测曲线和真实值曲线拟合更好，在序列峰值附近能更及时捕捉到序列走 向变化并做出调整。

图5给出了多源域迁移和不同单源域迁移的绝对预测误差对比，从误差箱图可以看出， DA-MDTN多源域迁移模型相比于DANN单源域迁移模型具有更好的预测效果，说明DA-MDTN能结合各子源域的有用知识进行迁移，验证了多源域迁移模型的有效性。