融合时序预测模型和机器学习模型的备件需求预测方法

摘要

本发明提供了一种融合时序预测模型和机器学习模型的备件需求预测方法。该方法包括：采集备件需求预测相关的元数据，将ETL处理后的元数据存入数据库中；对数据库中存储的元数据进行预处理，对预处理后的元数据进行数据特征挖掘，确定影响备件需求的各个因素，分析出各个因素对备件需求的影响程度，在备件需求预测阶段，以经过影响程度分析处理后的元数据、各个有用的影响因素以及排序后的各个影响因素对备件需求的影响程度作为源数据，将源数据输入到基于LSTM、GRU时序预测和XGBoost、Randomforest机器学习融合模型预测方法中，对未来某个月份的备件需求量进行预测分析，并输出预测结果。本发明方法能够通过供应链经济原理，做出合理的购买计划，有利于部门充分利用资源，合理地分配购买各备件数量，减少不必要的财产成本和其他运营成本。

说明书

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种融合时序预测模型和机器学习模型的备件需求预测方法。

背景技术

在当今快速发展的经济社会中，企业获得更多竞争优势的方式之一就是要更加合理的利用现有的资金产更大的经济效益，这对企业的发展十分重要。企业部门可以通过备件需求的预测以及调节备件需求的关键因素决定未来的备件需求，及时掌握未来需求趋势，做出合理规划和决策，最终提高企业整齐竞争优势和经济效益。

在现有的方式下，传统的分析处理方式，不仅难度大，结果也不准确。因此针对影响备件需求的因素大量存在且复杂多变的情况，提出更加准确有效的备件需求预测方法，对方便决策者做出更加合理的计划和提高企业整体竞争力具有重要的意义。

发明内容

本发明的实施例提供了一种融合时序预测模型和机器学习模型的备件需求预测方法，以实现准确、有效地预测出备件需求量。为了实现该目的，本发明采取了如下技术方案。

一种备件需求预测方法，包括：

一种融合时序预测模型和机器学习模型的备件需求预测方法，包括：

采集备件需求预测相关的元数据，将ETL处理后的元数据存入数据库中；

对数据库中存储的元数据进行预处理，该预处理包括数据汇总、数据整合和分析处理；

对预处理后的元数据进行数据特征挖掘，确定影响备件需求的各个因素，分析出各个因素对备件需求的影响程度，将各个因素按照影响程度的大小进行排序；

在备件需求预测阶段，以经过关键因素识别算法处理后计算出的影响程度靠前的元数据作为源数据，将所述源数据输入到基于LSTM、GRU时序预测和XGBoost、Randomforest机器学习融合模型预测方法中，对未来某个月份的备件需求量进行预测分析，并输出预测结果。

优选地，所述的采集备件需求预测相关的元数据，将ETL处理后的元数据存入数据库中，包括：

配置数据采集任务，设置数据采集任务的任务属性，该任务属性包括采集对象、采集时间、采集周期和审核级别，通过软件程序执行所述数据采集任务，通过数据采集、交换处理、数据汇总和导入加载服务功能从企业部门的数据源中采集元数据；所述元数据涉及备件信息的各个方面，所述数据源来自从备件生产到备件使用的各个环节；对采集的元数据进行ETL处理，将ETL处理后的元数据存入数据库中。

优选地，所述的元数据包括：各备件的基本信息、已消耗备件的历史工作量、备件的库存信息、备件的采购信息、备件的工作环境、备件的维修信息、备件的分类信息、备件的保养信息、备件的供应信息、备件的消耗信息、备件的经济型和脆弱性数据。

优选地，对所述的数据库中存储的元数据进行预处理，该预处理包括数据汇总、数据整合和分析处理，包括：

通过元数据管理功能对数据库中存储的元数据进行数据汇总、数据整合和分析处理，在整个业务过程中通过使用元数据对各环节、各阶段存在的各种数据进行全方位描述，所述整个业务流程是指备件的生产、运输、使用、消耗和更换环节，所述各环节包括备件的供应环节、采购环节、运输环节、生产环节、使用环节以及检修环节，所述各阶段包括备件使用的各个阶段；所述数据汇总用来审查数据的正确性与有效性。

优选地，所述影响因素包括备件市场供应量、修理次数、备件每月消耗量、修理数量、修理程度、采购数量、备件设备工作时间、备件供应商数量、采购单价、保养效果、采购次数和保养次数。

优选地，所述的在备件需求预测阶段，以经过关键因素识别算法处理后计算出的影响程度靠前的元数据作为源数据，将所述源数据输入到基于LSTM、GRU时序预测和XGBoost、Randomforest机器学习融合模型预测方法中，对未来某个月份的备件需求量进行预测分析，并输出预测结果，包括：

在备件需求预测阶段，使用关键因素识别算法剔除掉无用的影响因素，以经过关键因素识别算法处理后计算出的影响程度靠前的元数据作为源数据，对不同类型的影响因素进行编码处理后，使用模型算法对基于LSTM、GRU时序预测和XGBoost、Randomforest机器学习融合模型预测方法进行训练，将处理后的源数据输入到训练后的基于LSTM、GRU时序预测和XGBoost、Randomforest机器学习融合模型预测方法中，对未来某个月份的备件需求量进行预测分析，通过报表、图表和地图展示方式在前端展示平台展示备件需求量的预测结果。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例方法得到的备件需求量预测能够对部门决策和规划具有积极的意义，决策者可以依靠预测结果，通过供应链经济原理，做出合理的购买计划，有利于部门充分利用资源，合理地分配购买各备件的数量，减少不必要的财产成本和其他运营成本。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种融合时序预测模型和机器学习模型的备件需求预测方法的实现原理图；

图2为本发明实施例提供的一种融合时序预测模型和机器学习模型的备件需求预测方法的处理流程图；

图3为本发明实施例提供的一种基于LSTM、GRU时序预测和XGBoost、Randomforest机器学习融合模型预测方法对未备件需求量进行预测分析的处理流程图；

图4为本发明实施例提供的一种影响备件需求的各个因素示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

备件需求预测不同于一般物资的需求预测，因为备件需求具有很大的不确定性以及间断型，如果单纯地利用简单的预测技术，预测结果难免与实际需求有较大的偏差，导致备件库存量过多使企业积压大量的流动资金，或者过少造成设备停机损失，影响企业的经济效益。

本发明实施例提供一种融合时序预测模型和机器学习模型的备件需求预测方法，目的是解决当前备件需求预测方法繁琐，预测结果与实际差距较大，可靠性较低，没有一个完整的备件需求预测系统进行系统性地预测分析其需求量。

本发明实施例中的备件需求预测是按月的时间间隔进行预测，通过已有的历史数据，进行备件需求特征挖掘，预测未来月份的备件需求量，这可以为决策者根据供应链关系快速决定备件购买量，提高经济效益，提供了有力的科学依据。

本发明实施例提供的一种融合时序预测模型和机器学习模型的备件需求预测方法的实现原理图如图1所示，具体处理流程如图2所示，包括如下的处理步骤：

步骤S10、采集备件需求预测相关的元数据，将ETL(Extract-Transform-Load，抽取、转换、加载)处理后的元数据存入数据库中。

在数据采集阶段，首先定义需要采集的备件需求预测相关的元数据，确定元数据的含义和标准。

元数据主要是对业务数据本身及其运行环境的描述与定义的数据，例如对数据库、表、列、列属性(类型、格式和约束等)等的描述。对于ETL过程来说，元数据的重要意义集中表现为：

(1)定义数据源的位置及数据源的属性；

(2)确定从源数据到目标数据的对应规则；

(3)确定相关的业务逻辑；

(4)在数据实际加载前的其它必要的准备工作。元数据一般贯穿整个数据仓库项目，ETL的所有过程必须最大化地参照元数据。合理的元数据能够有效地描绘出信息的关联性，将它与数据质量结合起来，可以更加有效地指导ETL过程。

在本申请中元数据主要包括各备件的基本信息、已消耗备件的历史工作量、备件的库存信息、备件的采购信息、备件的工作环境、备件的维修信息、备件的分类信息、备件的保养信息、备件的供应信息、备件的消耗信息、备件的经济型和脆弱性等基础数据。元数据是ETL过程的“指挥中心”，因此元数据的选取、规范以及管理都直接影响到ETL过程的正确性和效率。

配置数据采集任务，根据数据的实际情况灵活调整采集任务，设置数据采集任务的采集对象、采集时间、采集周期和审核级别等任务属性。

通过软件程序执行上述数据采集任务，通过数据采集、交换处理、数据汇总、导入加载等服务功能从企业部门的数据源中采集元数据。实际应用中，数据源较多采用的是关系数据库，其他数据源也有文件形式，例如txt文件、excel文件、xml文件、PDF文件等。

由上述的元数据我们可以得知，需要采集的元数据涉及备件信息的各个方面，需要从备件的生产到使用的各个环节采集信息。因此元数据采集的数据源来自从备件生产到备件使用的各个环节。使用的方式有人工记录、机器扫描，将信息同步在数据库中，使用ETL工具进行数据清理已达到使用要求。

由于从数据源中采集的元数据不一定完全满足数据库的要求，因此要对采集的元数据进行ETL处理。将ETL处理后的元数据存入数据库中，以便于对元数据进行汇总、分析处理。

一个ETL系统需要能够在限定时间内完成对日常数据周期性的自动加载，支持对初始数据及历史数据的加载，并满足未来扩充的要求。系统中数十个或者更多目标数据表及其相当大数量的源数据意味着ETL程序的复杂性，庞大的数据量则需要充分考虑系统运行的效率，为方便开发复杂的程序，就要求灵活而简单明了的程序结构；而程序的效率的优化的要求又往往需要针对不同数据做个性化设计。因此，ETL的设计必须在开发的可管理性和程序性能之间取得平衡。

步骤S20、对数据库中存储的元数据进行预处理，该预处理包括数据汇总、数据整合和分析处理。

通过元数据管理功能对数据库中存储的元数据进行数据汇总、数据整合和分析处理，在整个业务过程中通过元数据对各环节、各阶段存在的各种数据进行全方位描述，使系统中的数据信息全程可解读、可管理。

整个业务流程是指备件的生产、运输、使用、消耗和更换等环节，包含了一个备件完整的生命周期，确保备件的每个环节都在考虑之中，便于提升备件模型预测的准确率。其中各环节主要涉及备件的供应环节(包含市场供应量、供应商数量、供应最低单价、供应最高单价、备件获取难度等信息)、采购环节(包含备件采购数量、采购次数、采购单价、采购标准、备件缺货成本等信息)、运输环节(包含备件运输成本、备件存储成本等信息)、生产环节(包含备件制造商、备件厂家、技术规范、备件材质、是否标准、备件用料、备件所属类别、备件设备工作时间、生成设备工作强度等信息)、使用环节(包含备件重要性、备件可替换性、库存环境、备件工作温度、备件工作强度、备件工作位置、备件易损程度等信息)以及检修环节(包含备件修理次数、备件修理数量、修理程度、保养次数、保养效果等信息)；各阶段则是针对备件使用的各个阶段，比如制造、运输、采购、使用以及检修等阶段。

数据汇总是总体把握数据、审核数据的综合性方法，用来审查数据的正确性与有效性。对于需求预测工作来说，汇总审查数据的作用至关重要，数据正确有效是需求预测的基础。数据汇总业务主要是通过系统定制的汇总规则，实现采集数据自动汇总功能，产生汇总数据报表，并提供导出打印。然后通过数据转换加载服务进行格式转换后存储到系统的数据库中，而且终保存上报单位的原样数据作为存档。

上述对元数据的ETL处理和预处理的目的是为了保证数据的时效性、合法性、完整性、一致性、可审计和安全性以及平台的管理。

步骤S30、对预处理后的元数据进行数据特征挖掘，确定影响备件需求的各个因素，分析出各个因素对备件需求的影响程度，将各个因素按照影响程度的大小进行排序。

本发明实施例提供的一种影响备件需求的各个因素示意图如图4所示。在数据中的影响因素有很多，如图4所示，可以看到对结果有影响的因素有备件市场供应量、修理次数、备件每月消耗量、修理数量、修理程度、采购数量、备件设备工作时间、备件供应商数量、采购单价、保养效果、采购次数和保养次数等因素有关。

步骤S40、在备件需求预测阶段，可以使用关键因素识别算法剔除掉无用的影响因素，减少训练特征，提升模型训练效果。以经过影响程度分析处理后计算出的影响程度靠前的元数据、各个有用的影响因素以及排序后的各个影响因素对备件需求的影响程度作为源数据，通过基于LSTM、GRU时序预测和XGBoost、Randomforest机器学习融合模型预测方法对未来月份备件需求量进行预测。本发明实施例所采用的方法是一种融合建模方法，系统通过编程语言进行算法实现。

一、LSTM时序预测模型

长短期记忆(LSTM)是一种特殊的循环神经网络(RNN)。RNN是一种用于处理序列数据的神经网络，将当前状态下的输入与上一节点的输入进行计算，输出当前状态下的输出，以及向下一节点进行输出，这样可以实现对序列数据的处理计算，但同时也会带来梯度消失和梯度爆炸的问题。

LSTM可以解决一般RNN模型中梯度消失和梯度爆炸的问题。从外部结构看，LSTM的每个单元接收三个变量，分别是当前状态的原始输入值和上一单元的两个输出量，随后在单元内部进行复杂计算，输出两个值，这两个值分别作为当前状态的输出值和下一神经元的输入值。

在神经元细胞中，每一节点收到的数据包含上一节点的输入数据和h

在遗忘门阶段，进行下式操作。

f

在此阶段，首先把h

在输入门阶段，进行下式操作。

i

此阶段分为两个步骤。第一步，首先把h

在输出门阶段，进行下式操作。

o

h

在此阶段，首先，通过一个sigmoid层来确定细胞状态的哪个部分将输出。接着，通过tanh进行处理，得到一个-1到1的值，并将它和sigmoid门的输出相乘，作为该状态节点的输出。

LSTM递归神经网络能够通过门控控制传输信息，处理需要长期记忆的数据结果良好。

二、GRU时序预测模型

GRU的输入输出结构与RNN结构相同，每个神经单元将会接收当前节点状态的输入信息和上一节点状态的输出信息，经过神经单元复杂计算后，输出信息向量，将会输出到下一节点。

GRU优化了门控装置，共两个门控结构，分别为更新门和重置门。

在更新门阶段，通过下式进行信息处理。

z

由h

在重置门阶段，通过下式进行信息处理。

r

由h

XGBoost其目标函数为：

其中

T表示叶子节点的个数，W表示叶子节点的分数。直观上看，目标要求预测误差尽量小，且叶子节点T尽量少(γ控制叶子结点的个数)，节点数值W尽量不极端(控制γ叶子节点的分数不会过大)，防止过拟合。

XGBoost在模型训练速度和效率上做到了极致。

四、Randomforest机器学习模型

随机森林是树形分类器，构建没有剪枝的分类的分类回归决策树。每棵树的按照如下规则生成：

1)如果训练集大小为N，对于每棵树而言，随机且有放回地从训练集中的抽取N个训练样本(这种采样方式称为bootstrap sample方法)，作为该树的训练集；

2)如果每个样本的特征维度为M，指定一个常数m＜＜M，随机地从M个特征中选取m个特征子集，每次树进行分裂时，从这m个特征中选择最优的；

3)每棵树都尽最大程度的生长，并且没有剪枝过程。

然后，可以通过报表、图表和地图展示等方式在前端展示平台展示备件需求量的预测结果，供使用者简便、快捷地查看。前端展示平台采用B/S架构，由一整套组件或服务构成，并通过功能强大、基于Web的通信框架相连接，满足不同用户的应用需求。前端展示平台可以采用Jquery、JS等页面展示技术。

上述基于LSTM、GRU时序预测和XGBoost、Randomforest机器学习融合模型预测方法通过编程语言进行算法实现。

本发明实例提供的一种基于LSTM、GRU时序预测和XGBoost、Randomforest机器学习融合模型预测方法对备件需求量进行预测分析的处理流程图如图3所示。在整个备件需求量的预测过程中，系统平台集成相关的预测功能，实现配置管理。从预测所需数据、到预测所需的工具、算法、功能，乃至分析结果的展现形式均可自行定义，这样就提供了一个可扩展的分析平台供用户自行进行分析活动。

备件需求预测系统客户端运用可视化与用户交互技术，集查询、统计、数据挖掘和分析于一体，在建立和完善数据汇交、数据更新的机制的基础上，通过对各备件的基本信息、已消耗备件的历史任务工作量、备件的库存信息、备件的采购信息、备件的工作环境、备件的维修信息、备件的分类信息、备件的保养信息、备件的供应信息、备件的消耗信息、备件的经济型和脆弱性等基础数据和专题信息的汇集、整合，建立备件需求预测系统，观测企业备件的需求情况，充分反映企业对不同备件在不同时间段的需求情况，做到资源需求“一览无余”。通过可视化界面以及数据管理技术，直接面向用户提供友好的人机交互界面，方便非专业的管理与决策人员操作。通过基于LSTM、GRU时序预测和XGBoost、Randomforest机器学习融合模型预测方法，对数据进行全方位的数据模型训练，并预测数据，为相关部门提供数据共享和信息化服务，为企业的管理决策提供支撑。系统根据用户需求、知识库的数据模式与专家知识，以及相关的软件工程标准进行设计，利用开发工具编程实现。

综上所述，本发明实施例方法得到的备件需求量预测能够对部门决策和规划具有积极的意义，决策者可以依靠预测结果，通过供应链经济原理，做出合理的购买计划，有利于部门充分利用资源，合理地分配购买各备件数量，减少不必要的财产成本和其他运营成本，因此能够达到节约成本，聚焦更需要的备件的目的，最终提高部门收益。

本发明实施例方法得到的备件需求量预测结果的准确性对于部门决策有着巨大的影响，不准确的预测结果将会对部门产生更大的损失，所以对传统方法的改进与创新，弥补缺点与不足或者引进新方法也是很重要的一环，因此，加强对备件需求预测的研究也是具有现实意义与很强的社会经济价值。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。