基于CPS制造组件自相似建模和自组织分层聚集方法及无人生产线自相似分形重构系统

摘要

本发明公开了一种基于CPS制造组件自相似建模和自组织分层聚集方法及无人生产线自相似分形重构系统，首先获取订单任务信息；在当前产线状态无法完成订单任务情况下对当前无人生产线进行解耦得到不同层级的CPS制造组件；将订单任务分解成若干子加工任务；形成可完成订单子任务的多层次多粒度CPS制造组件；将订单任务和CPS制造组件进行匹配组合，以获得当前状态下符合要求的CPS制造组件集合，形成订单定制重构生产线。本发明提供的方法是一种基于层次化数字孪生的方法及系统，根据自相似分形理论和数字孪生技术实现人机物虚实融合驱动的自相似分形重构制造系统，以实现当当前产线无法满足生产需求时，对产线进行自适应快速重构。

说明书

技术领域

本发明涉及智能制造技术领域，特别是一种基于CPS制造组件自相似建模和自组织分层聚集方法及无人生产线自相似分形重构系统。

背景技术

随着社会经济的发展，多样化的个性化客户需求变化(汽车、热水器等)也越来越快，而使得产品市场需求的种类、数量也在随之快速增长、波动、变化，然而现有制造系统已经无法适应当前快速变化的市场形势。此外，当前缺乏自主重构能力的生产线在加工生产任务时，不可避免的出现生产能力过剩或者生产能力不足的现象，造成生产成本的不合理利用和非必要闲置浪费。此外，随着人力成本暴涨式增加和在极端工作环境(高温、高压、缺氧等极端工作环境)下人员安全因素的考虑，生产线逐渐部署更多信息化技术及AI技术，呈现大数据驱动的无人化发展趋势。在此背景下，为实现对生产过程的精细化感知控制，在重构过程中对人(专家的知识信息)、机(计算机中的加工过程信息模型)、物(生产设备信息)的虚实融合信息进行考虑是必不可少的，因此人机物虚实融合驱动无人化生产线的自主动态重构能力至关重要。

因此，为了快速满足个性化多样化的客户需求，提高企业市场竞争力，研究可重构无人自主制造系统势在必行。

然而当前确实有一些具有可重构能力的制造系统，例如可重构制造系统(RMS)、子细胞制造系统(HMS)、分形制造系统(FrMS)、虚拟细胞制造系统(VCM)。但是这些系统均未考虑无人生产过程中人机物虚实融合信息，无法适用于人机物虚实融合的无人生产线自主重构过程，更无法实现无人加工生产线高度抽象和自然解耦。

发明内容

有鉴于此，本发明的目的在于提供一种基于CPS制造组件自相似建模和自组织分层聚集方法及无人生产线自相似分形重构系统。

为达到上述目的，本发明提供如下技术方案：

本发明提供的基于CPS制造组件自相似建模方法，包括以下步骤：

在数字孪生模型中按照分形原理及自相似性，将无人生产线进行解构，形成基本分形元件集，并对基本分形元件进行自主分层聚集得到CPS制造组件；

获取与CPS制造组件对应的物理模型并将物理模型存入数据库；

设置CPS制造组件信息模型的时空信息更新因子γ，适时更新模型属性；

设置CPS制造组件的属性接口；所述属性接口包括输入属性、模型属性、输出属性中的任一项或多项组合；

所述输入属性，用于确定输入信息；

所述模型属性，用于确定模型参数；

所述输出属性，用于确定输出信息。

进一步，所述模型属性包括模型类型、机理、约束、控制中的任一项或多项组合；

所述模型类型，用于确定设备的三维模型、关联模型、环境模型中的任一项或多项组合；

所述机理，用于确定加工机理和/或演变规律；

所述约束，用于确定时间约束、环境约束、逻辑约束、关系约束中的任一项或多项组合；

所述控制，用于确定控制模型、控制算法、控制精度中的任一项或多项组合。

本发明提供的利用权利要求1-2中任一项所述的CPS制造组件服务组合来实现的无人生产线自相似分形架构方法，所述CPS制造组件的形成方式及其自组织聚集方式均具有自相似性；包括以下步骤：

获取订单任务信息；

在当前产线状态无法完成订单任务情况下依据订单信息，将各层加工任务分解成下一级子加工任务集；

对当前无人生产线进行解耦得到最低粒度的CPS制造组件；

用于依据各层的子加工任务集，形成特定加工任务的CPS制造组件候选服务集；

每个CPS制造组件聚集单元对应于上一层的一个加工任务；根据上一层的加工任务，基于DPD-DQN进行多次当前层CPS制造组件自组织，形成完成上一层加工任务的当前层CPS制造组件服务组合，即上一层的CPS制造组件；经过多次聚集当前层CPS制造组件自组织聚集，形成上一层的一个加工任务的CPS制造组件候选服务集；各层所述CPS制造组件自组织聚集方式均具有自相似性；

将各层次的加工任务及其所需的CPS制造组件进行匹配，以获得当前状态下符合要求的CPS制造组件集合，形成订单定制重构生产线；

订单定制重构生产线生成单元。

进一步，所述CPS制造组件逐层自组织聚集过程是按照以下步骤来进行的：

构建低层次的CPS制造组件自组织聚集模型，分别针对DQN的过拟合、简单随机采样、学习效果较差三方面，引入优化策略，提出求解单层CPS制造组件自组织聚集模型的DPD-DQN；利用DPD-DQN逐层求解CPS制造组件自组织聚集模型，直至得到可完成订单子任务的层次化的CPS制造组件；形成CPS制造组件多层次自主聚集模型；

所述DPD-DQN中的参数定义如下：

传统的DQN中有两个结构相同参数更新有时差的神经网络，即：

Q_eval(Q

神经网络超参数：

学习率α、最小批数量b、抽样权重β、折扣系数γ、ε；

进一步，所述传统的DQN利用深度网络取近似当前的值函数，应用另一个相同结构不同参数的深度网络去产生目标Q值(Q

所述DPD-DQN采取多个优化策略用于防止过拟合，通过Q

进一步，所述优化策略包括以下策略中任一项或任意多项的组合：

优化策略1：用于防止过拟合，利用Q

优化策略2：考虑经验数据重要性的抽样策略按照DQN经验数据的重要程度抽取经验数据，具体如下：应用SumTree方法将经验数据形成一个树形结构，每片树叶存储着每个样本的优先级，每个树枝节点只有两个分支，且节点值为两个分支值和；抽样时，将p的总和等分成batch_size份区间(n＝sum(p)/batch_size)，然后在每个区间里随机选取一个数；

优化策略3：在模型优化过程中将DQN每一个动作的Q值更新方式修订为以下公式：

Q(s,a；θ,α,β)＝V(s；θ,β)+A(s,a；θ,α)。

进一步，所述DPD-DQN求解每层CPS制造组件自组织聚集模型按照以下步骤进行：

初始化DPD-DQN神经网络参数，所述参数包括学习率α、最小批数量b、抽样权重β、折扣系数γ、贪婪策略(ε-greedy)概率ε；输入最底层CPS制造组件集的TQCS数据；

进入训练过程：

每一训练回合中，每个智能体选择行为；多个智能体形成联合动作a；环境分别执行联合动作集中的行为，并针对每一个动作更新状态；待到执行完所有动作后，更新系统总状态s；计算即时回报r；更新存储s,a,r,s；等到经验池溢出，启动学习机制；并于固定步长周期更新Q

经过固定的训练次数后，获得该层某个子任务的最优的CPS制造组件组合，然后依据古田口实验方法，按照多因素四水平改变目标权重值，重新进行训练，获得相应的最优的CPS制造组件组合；以此类推，获得上层某个子任务的CPS制造组件候选集；

应用DPD-DQN获得上级各子任务的CPS制造组件候选服务集，以此类推，直到获得能够完成订单生产任务的层次化的CPS制造组件组合。

本发明提供的无人生产线自相似分形重构系统，利用CPS制造组件的形成方式及其自组织聚集方式均具有自相似性构建无人生产线自相似分形重构系统，具体包括

订单管理单元，用于获取订单任务信息；

在当前产线状态无法完成订单任务情况下将订单加工任务分解单元，用于将各层加工任务分解成下一级子加工任务集；

CPS制造组件生成单元，用于对当前无人生产线进行解耦得到低粒度的CPS制造组件；

CPS制造组件分类单元，用于依据各层的子加工任务集，形成特定加工任务的CPS制造组件候选服务集；

CPS制造组件聚集单元，每个CPS制造组件聚集单元对应于上一层的一个加工任务；根据上一层的加工任务，基于DPD-DQN进行多次当前层CPS制造组件自组织，形成完成上一层加工任务的当前层CPS制造组件服务组合，即上一层的CPS制造组件；经过多次聚集当前层CPS制造组件自组织聚集，形成上一层的一个加工任务的CPS制造组件候选服务集；显然各层的CPS制造组件自组织聚集方式均具有自相似性；

订单定制重构生产线生成单元，用于将各层次的加工任务及其所需的CPS制造组件进行匹配，以获得当前状态下符合要求的层次化多粒度的CPS制造组件集合，形成订单定制重构生产线。

进一步，所述CPS制造组件聚集单元包括基于DPD-DQN的CPS制造组件聚集分形模型和基于古田口的权重参数调整方法；

所述改进的DQN自组织分层聚集模型生成单元，用于构建每层的CPS制造组件自组织聚集模型，所述基于DPD-DQN的CPS制造组件自组织聚集分形模型，针对DQN的过拟合、简单随机采样、学习效果较差三方面，引入优化策略；

所述DPD-DQN中的参数定义如下：

所述传统的DQN中有两个结构相同参数更新有时差的神经网络：

Q_eval(Q

神经网络超参数：学习率α、最小批数量b、抽样权重β、折扣系数γ、ε；

所述传统的DQN利用深度网络取近似当前的值函数，应用另一个相同结构不同参数的深度网络去产生目标Q值，即Q

所述DPD-DQN采取的多个优化策略用于防止过拟合，利用Q

进一步，所述优化策略包括以下策略中任一项或任意多项的组合：

优化策略1：利用Q

优化策略2：根据经验数据重要性的抽样策略按照DQN经验数据的重要程度抽取经验数据，具体如下：应用SumTree方法将经验数据形成一个树形结构，每片树叶存储着每个样本的优先级，每个树枝节点只有两个分支，且节点值为两个分支值和；抽样时，将p的总和等分成batch_size份区间，即n＝sum(p)/batch_size，然后在每个区间里随机选取一个数；

优化策略3：在模型优化过程中，将DQN每一个动作的Q值更新方式修订为以下公式：

Q(s,a；θ,α,β)＝V(s；θ,β)+A(s,a；θ,α)；

所述DPD-DQN求解每层CPS制造组件自组织聚集模型按照以下步骤进行：

初始化DPD-DQN神经网络参数，所述参数包括学习率α、最小批数量b、抽样权重β、折扣系数γ、贪婪策略(ε-greedy)概率ε等；输入最底层CPS制造组件集的TQCS数据；

进入训练过程：

每一训练回合中，每个智能体选择行为；多个智能体形成联合动作a；环境分别执行联合动作集中的行为，并针对每一个动作更新状态；待到执行完所有动作后，更新系统总状态s；计算即时回报r；更新存储s,a,r,s；等到经验池溢出，启动学习机制；并于固定步长周期更新Q

经过固定的训练次数后，获得该层某个子任务的最优的CPS制造组件组合，然后依据古田口实验方法，按照多因素四水平改变目标权重值，重新进行训练，获得相应的最优的CPS制造组件组合；以此类推，获得上层某个子任务的CPS制造组件候选集；

应用DPD-DQN获得上级各子任务的CPS制造组件候选服务集；基于CPS制造组件自组织聚集模型的自相似分形特性，以此类推，直到获得能够完成订单生产任务的层次化的CPS制造组件组合。

本发明的有益效果在于：

本发明提供的基于CPS制造组件自相似建模和分形架构方法及系统，是一种基于层次化数字孪生的无人生产线自组织自相似分形重构方法及系统，根据自相似分形理论和数字孪生技术提出了人机物虚实融合驱动的基于层次化数字孪生的无人生产线自相似分形重构制造系统(DTFRMS)，以实现当当前产线无法满足生产需求时，对产线进行自适应快速重构。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为无人生产线自相似分形架构示意图。

图2为DPD-DQN去求解CPS制造组件自主分层聚集模型示意图。

图3为图训练过程示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

实施例1

本实施案例提供的(在当前产线状态无法完成订单任务情况下)无人生产线自相似CPS制造组件快速均质有机建模方法，是基于分形理论和无人生产线/设备/生产过程的自相似性，将无人产线的设备、制造过程、协作过程、管控过程等高度抽象成具有自相似性的制造分形单元；其中，分形单元设置有三个属性：输入属性(输入对象、工艺参数、辅助参数、输入动作等)、模型属性、输出属性(完工时间、性能、输出对象等)。所述模型属性包括四个子属性，具体如下：模型(设备3维模型、关联模型、环境模型等)、机理(加工机理、演变规律等)、约束(时间约束、环境约束、逻辑约束、关系约束等)、控制(控制模型、控制算法、控制精度等)；只要确定分形单元的三个属性就能具体构建异构的分形单元。此外分形单元也可以通过三个属性的融合向上层、当前层、下层演化扩展，形成不同粒度的CPS制造组件模型，即多层次多粒度的CPS制造组件。

本实施例中的CPS制造组件中的物理模型和信息模型可以实时双向交互控制，所述无人生产线自相似CPS制造组件快速均质有机建模方法，包括以下步骤：

步骤一：在数字孪生模型中按照分形原理将无人生产线进行构件级解构，形成基本分形元件集，采用基于多智能体深度强化学习的方法实现CPS制造组件层次化自主分层聚集；

步骤二：将数字孪生模型中的CPS制造组件与其物理模型一一对应映射，然后基于PLC/WLAN/5G/PROFINET等协议对分形元件物理模型进行实时信号采集，然后存入数据库；

步骤三：应用Navicat动态管理数据库，基于数据库中的数据，适时更新Unity中的模型属性，以实时动态展示CPS制造组件；设置CPS制造组件信息模型的时空信息更新因子γ(γ＜5)，以表征第γ次的CPS制造组件输入信息更新；

步骤四：构建matlab/pycharm平台与数据库的实时通信，并在matlab/pycharm环境中中构建包含模型原理、控制方法、加工机理、约束等CPS制造组件信息模型；

步骤五：基于步骤四中的模型，确定CPS制造组件的输入、输出，并适时读写数据库数据；

步骤六：根据时空信息更新因子γ，记录所有CPS制造组件信息，若时空信息更新因子γ＝5，则依次覆盖之前信息；

依据上述CPS制造组件建模方法，可以向下构建当前分形。以此类推，当前分形仍可向下分形成若干个CPS制造组件加工过程子分形单元。通过三个属性接口迅速桥连组合，快速完成对无人加工生产线进行分形解构，构建层次化不同粒度的CPS制造组件模型。

如图1所示，图1为无人生产线自相似分形架构，由于制造业中个性化订单生产类型通常为单件小批量或多品种小批量生产。该类型订单不是一次性需求的专用产品，如重型机器制造、大型发电设备制造、远洋船舶等，就是产品品种较多小批量生产订单。这些都不能维持常年联系生产。因此花费大量时间和精力构建专门的无人产线得不偿失。

本实施例提供的无人生产线自相似分形架构方法，是一种个性化订单任务驱动的无人生产线自相似分形架构，以动态的自适应完成生产任务，接到个性化订单后，无人生产线自组织自相似分形重构系统首先会分析当前产线生产能力是否满足该订单的生产任务，当不满足时，就需要依据上述分形方法对无人生产线进行有机均质解耦，形成多粒度的CPS制造组件；然后系统将订单生产任务分解成子加工任务；接着基于CPS制造组件自组织聚集方法的自相似分性特性，从最低级的CPS制造组件(分形单元)开始，向上逐层自组织聚集形成可完成订单子任务的CPS制造组件；然后无人生产线自组织自相似分形重构系统对订单加工任务和CPS制造组件服务进行匹配和组合优化，以获得当前状态下最优的定制CPS制造组件集合，即为该个性化订单定制重构的生产线。

CPS制造组件自组织分层聚集模型

(1)通过无人生产线自相似CPS制造组件快速均质有机建模方法构建了大量多粒度多层次CPS制造组件服务，如何在每层大量小粒度的CPS制造组件自主聚集构成较大粒度的CPS制造组件对于无人生产线自组织自相似分形重构系统至关重要；显然这是一个多层次的组合优化问题，此外每层的CPS制造组件的自组织聚集方法具有自相似性，下面对所述的基于多智能体强化学习模型(DPD-DQN)的单层CPS制造组件自组织聚集模型参数进行定义，主要包括多智能体、环境、状态集、动作集。

1)环境变量(environment)

重要参数：

T

Q

C

S

LC

LT

Location

优化目标：

DPD-DQN模型中将TQCS作为优化目标；

Obj＝w

式中Obj为目标值；T

状态空间(State)与动作空间(Action)设置：

当层的CPS制造组件聚集模型可以建模成一个马尔科夫过程，在该过程中为每个子任务选择一个CPS制造组件服务，直到完成对所有子任务的CPS制造组件服务选择。

在本实施例中，将每个为子任务选择CPS制造组件的过程视为一个智能体。显然每个智能体有两种状态，一种发生过动作，一种未发生动作，在底层有n个智能体。且每个智能体从CPS候选服务集中选择一个CPS制造组件，视为该智能体的动作action。智能体执行动作会改变对应的CPS制造组件状态(选择1与未选择0)。随着CPS制造组件服务组合的进行(例如，CPS制造组件服务选择从一个智能体移动到另一个智能体决策)，子任务的状态和CPS制造组件服务的状态都会发生变化。所有上述过程状态构成整个CPS制造组件服务组合的状态Sn+1,m，系统状态空间由智能体状态空间(Sn+1,m第一行)和所有CPS制造组件服务的状态空间(Sn+1,m非第一行)组成。

负责每个子任务CPS制造组件选择的智能体都有一个动作空间action，空间大小与CPS制造组件候选服务集的大小一致。即智能体做出的动作即为选择了相应候选集中CPS制造组件(选择为1，否则为0)。

奖励reward函数：奖励功能在引导DRL搜索最佳CPS制造组件服务组合解决方案方面发挥着关键作用，奖励是根据标准化的QoS值计算，如以下公式所示。

reward＝w1*Tnor+w2*Qnor+w3*Cnor+w4*Snor；

其中Tnor,Qnor,Cnor,Snor分别为归一化的子任务总的加工时间、加工质量、加工成本和服务质量。

4)DQN算法的改进

元启发式算法(如遗传算法、鲸鱼优化算法)是解决服务组合问题的常用算法。然而，这些算法不仅需要设计复杂的框架流程，还需要进行艰难的参数调整。此外，元启发算法模型缺乏对动态环境的适应性。多智能体深度强化学习(MADRL)为解决雾制造范式下CPS制造组件服务组合(FMfg-CPSMCSC)问题提供了一种动态鲁棒性方法。深度强化学习是一种无模型的人工智能方法，可以使系统通过训练学习到最优的CPS制造组件服务组合解决方案。

本实施例致力于多智能体强化学习MARDRL在FMfg-CPSMCSC中的应用探索，设计了一种基于多智能体联合决策具有优先重放的双决斗深度Q-网络(Double Priortized-replay Durling DQN,DPD-DNQ)算法。

传统DQN采用深度神经网络来逼近q函数,在智能体与环境进行交互以获得最大化未来奖励。DQN通过引入经验重放机制和单独的目标网络解决了这一问题。前者的引入打破了样本之间的相关性。在每个时间步骤中，由智能体和环境之间的交互获得的转换被存储在一个经验重放缓冲区中。在训练过程中，从经验回放缓冲区中随机抽取小批量样本，利用随机梯度下降(SGD)算法更新q-网络参数θ。此外DQN应用一个深度网络取近似当前的值函数，应用另一个相同结构不同参数的深度网络去产生目标Q值(Q_Target).所述DPD-DQN采取多个优化策略用于防止过拟合，通过Q估计神经网络计算动作a；在传统DQN经验重放机制的采样过程考虑了数据的重要性；同时着重考虑状态和所采取的动作的影响；DQN中的Q现实计算公式如下。

优化策略1：由于神经网络预测Qmax本来就有误差，且每次也向着最大误差的Q现实改进网络，因此将会导致产生过拟合的情况出现。为了避免此种情况，Double-DQN引入另一个神经网络抵消最大误差的影响。使用Q

优化策略2：考虑经验数据重要性的抽样策略，像人的记忆有重要程度的不同一样，DQN经验数据的也具有不同重要程度。即在提取经验数据时按照其重要程度进行抽取(Priortized-replay)，以代替之前的随机抽样，优先学习重要的经验数据，有效提高学习效率。应用SumTree方法将经验数据形成一个树形结构，每片树叶存储着每个样本的优先级，每个树枝节点只有两个分支，且节点值为两个分支值和。抽样时，将p的总和等分成batch_size份区间(n＝sum(p)/batch_size).然后在每个区间里随机选取一个数。

优化策略3：During-DQN核心思想在于Q值Q(s,a)可以被分成了这个state的值和每个动作在这个state上的优势，在模型优化过程中，存在某些状态下，无论采取什么动作都不会影响下一状态；为模拟此种情况，分别同时着重考虑状态和所采取的动作的影响，如下公式所示。因为有的时候在某种状态state，无论做什么动作，对下一个状态都没有多大影响。

Q(s,a；θ,α,β)＝V(s；θ,β)+A(s,a；θ,α) (3)

由此公式可以看出，无论是状态值还是此状态发生的动作值发生变化，都会影响Q值，这有助于提高模型的学习效率；优势可以是积极的，也可以是消极的，总的来说，优势的大小可以是任意的。Q值的明显分离和网络结构上的优势使训练稳定性更好，收敛速度更快。

5)提出DPD-DQN

如图2所示，图2为DPD-DQN去求解具有自相似分形特性的CPS制造组件自主分层聚集模型(具有自相似分形特性)，基于上述三种DQN优化策略，本实施例设计了一种DPD-DQN去求解具有自相似分形特性的CPS制造组件自主分层聚集模型，包括以下步骤：

步骤一：初始化DPD-DQN神经网络参数，所述参数包括学习率α、最小批数量b、抽样权重β、折扣系数γ、贪婪策略(ε-greedy)概率ε等；输入最底层CPS制造组件集的TQCS数据；

步骤二：进入训练；

步骤三：每一训练回合中，每个智能体选择行为；多个智能体形成联合动作a；环境分别执行联合动作集中的行为，并针对每一个动作更新状态；待到执行完所有动作后，更新系统总状态s；计算即时回报r；更新存储s,a,r,s；等到经验池溢出，启动学习机制；并于固定步长周期更新Q

步骤四：经过固定的训练次数后，获得该层某个子任务的最优的CPS制造组件组合，然后依据古田口实验方法，按照多因素四水平改变目标权重值，重新进行训练，获得相应的最优的CPS制造组件组合；以此类推，获得上层某个子任务的CPS制造组件候选集；

步骤五：应用DPD-DQN获得上级各子任务的CPS制造组件候选服务集；基于CPS制造组件自组织聚集模型的自相似分形特性，以此类推，直到获得能够完成订单生产任务的层次化的CPS制造组件组合。

6)CPS制造组件自主聚集实施例

由于本方法中的每层CPS制造组件自组织聚集过程具有自相似性，以一个规模50_4(其中“50”为子任务数，“4”表示每个子任务有4个候选服务)的实际应用案例展示所提出DPD-DQN的有效性。

该案例数据如下所示：

T＝[18,23,21,30,30,18,23,21,30,30,18,23,21,30,30,18,23,21,30,30,18,23,21,30,30,18,23,21,30,30,18,23,21,30,30,18,23,21,30,30,18,23,21,30,30,18,23,21,30,30；24,12,18,19,19,24,12,18,19,19,24,12,18,19,19,24,12,18,19,19,24,12,18,19,19,24,12,18,19,19,24,12,18,19,19,24,12,18,19,19,24,12,18,19,19,24,12,18,19,19；36,20,24,25,25,36,20,24,25,25,36,20,24,25,25,36,20,24,25,25,36,20,24,25,25,36,20,24,25,25,36,20,24,25,25,36,20,24,25,25,36,20,24,25,25,36,20,24,25,25；21,26,27,29,29,21,26,27,29,29,21,26,27,29,29,21,26,27,29,29,21,26,27,29,29,21,26,27,29,29,21,26,27,29,29,21,26,27,29,29,21,26,27,29,29,21,26,27,29,29；23,26,27,29,29,23,26,27,29,29,23,26,27,29,29,23,26,27,29,29,23,26,27,29,29,23,26,27,29,29,23,26,27,29,29,23,26,27,29,29,23,26,27,29,29,23,26,27,29,29]；

Q＝[8.1,8.4,8.5,9.1,9.1,8.1,8.4,8.5,9.1,9.1,8.1,8.4,8.5,9.1,9.1,8.1,8.4,8.5,9.1,9.1,8.1,8.4,8.5,9.1,9.1,8.1,8.4,8.5,9.1,9.1,8.1,8.4,8.5,9.1,9.1,8.1,8.4,8.5,9.1,9.1,8.1,8.4,8.5,9.1,9.1,8.1,8.4,8.5,9.1,9.1；8.6,8.7,7.9,7.8,7.8,8.6,8.7,7.9,7.8,7.8,8.6,8.7,7.9,7.8,7.8,8.6,8.7,7.9,7.8,7.8,8.6,8.7,7.9,7.8,7.8,8.6,8.7,7.9,7.8,7.8,8.6,8.7,7.9,7.8,7.8,8.6,8.7,7.9,7.8,7.8,8.6,8.7,7.9,7.8,7.8,8.6,8.7,7.9,7.8,7.8；9.2,9.4,8.2,8.1,7.8,9.2,9.4,8.2,8.1,7.8,9.2,9.4,8.2,8.1,7.8,9.2,9.4,8.2,8.1,7.8,9.2,9.4,8.2,8.1,7.8,9.2,9.4,8.2,8.1,7.8,9.2,9.4,8.2,8.1,7.8,9.2,9.4,8.2,8.1,7.8,9.2,9.4,8.2,8.1,7.8,9.2,9.4,8.2,8.1,7.8；8.3,8.3,9.0,7.8,7.8,8.3,8.3,9.0,7.8,7.8,8.3,8.3,9.0,7.8,7.8,8.3,8.3,9.0,7.8,7.8,8.3,8.3,9.0,7.8,7.8,8.3,8.3,9.0,7.8,7.8,8.3,8.3,9.0,7.8,7.8,8.3,8.3,9.0,7.8,7.8,8.3,8.3,9.0,7.8,7.8,8.3,8.3,9.0,7.8,7.8；8.0,8.3,8.0,7.8,7.8,8.0,8.3,8.0,7.8,7.8,8.0,8.3,8.0,7.8,7.8,8.0,8.3,8.0,7.8,7.8,8.0,8.3,8.0,7.8,7.8,8.0,8.3,8.0,7.8,7.8,8.0,8.3,8.0,7.8,7.8,8.0,8.3,8.0,7.8,7.8,8.0,8.3,8.0,7.8,7.8,8.0,8.3,8.0,7.8,7.8]；

C＝[50,57,80,90,90,50,57,80,90,90,50,57,80,90,90,50,57,80,90,90,50,57,80,90,90,50,57,80,90,90,50,57,80,90,90,50,57,80,90,90,50,57,80,90,90,50,57,80,90,90；27,86,45,86,86,27,86,45,86,86,27,86,45,86,86,27,86,45,86,86,27,86,45,86,86,27,86,45,86,86,27,86,45,86,86,27,86,45,86,86,27,86,45,86,86,27,86,45,86,86；46,21,32,58,58,46,21,32,58,58,46,21,32,58,58,46,21,32,58,58,46,21,32,58,58,46,21,32,58,58,46,21,32,58,58,46,21,32,58,58,46,21,32,58,58,46,21,32,58,58；70,36,70,72,72,70,36,70,72,72,70,36,70,72,72,70,36,70,72,72,70,36,70,72,72,70,36,70,72,72,70,36,70,72,72,70,36,70,72,72,70,36,70,72,72,70,36,70,72,72；30,36,50,72,72,30,36,50,72,72,30,36,50,72,72,30,36,50,72,72,30,36,50,72,72,30,36,50,72,72,30,36,50,72,72,30,36,50,72,72,30,36,50,72,72,30,36,50,72,72]；

S＝[0.8,0.9,0.7,0.8,0.8,0.8,0.9,0.7,0.8,0.8,0.8,0.9,0.7,0.8,0.8,0.8,0.9,0.7,0.8,0.8,0.8,0.9,0.7,0.8,0.8,0.8,0.9,0.7,0.8,0.8,0.8,0.9,0.7,0.8,0.8,0.8,0.9,0.7,0.8,0.8,0.8,0.9,0.7,0.8,0.8,0.8,0.9,0.7,0.8,0.8；0.6,0.7,0.8,0.9,0.9,0.6,0.7,0.8,0.9,0.9,0.6,0.7,0.8,0.9,0.9,0.6,0.7,0.8,0.9,0.9,0.6,0.7,0.8,0.9,0.9,0.6,0.7,0.8,0.9,0.9,0.6,0.7,0.8,0.9,0.9,0.6,0.7,0.8,0.9,0.9,0.6,0.7,0.8,0.9,0.9,0.6,0.7,0.8,0.9,0.9；0.5,0.8,0.9,0.7,0.7,0.5,0.8,0.9,0.7,0.7,0.5,0.8,0.9,0.7,0.7,0.5,0.8,0.9,0.7,0.7,0.5,0.8,0.9,0.7,0.7,0.5,0.8,0.9,0.7,0.7,0.5,0.8,0.9,0.7,0.7,0.5,0.8,0.9,0.7,0.7,0.5,0.8,0.9,0.7,0.7,0.5,0.8,0.9,0.7,0.7；0.6,0.8,0.7,0.6,0.6,0.6,0.8,0.7,0.6,0.6,0.6,0.8,0.7,0.6,0.6,0.6,0.8,0.7,0.6,0.6,0.6,0.8,0.7,0.6,0.6,0.6,0.8,0.7,0.6,0.6,0.6,0.8,0.7,0.6,0.6,0.6,0.8,0.7,0.6,0.6,0.6,0.8,0.7,0.6,0.6,0.6,0.8,0.7,0.6,0.6；0.7,0.8,0.8,0.6,0.6,0.7,0.8,0.8,0.6,0.6,0.7,0.8,0.8,0.6,0.6,0.7,0.8,0.8,0.6,0.6,0.7,0.8,0.8,0.6,0.6,0.7,0.8,0.8,0.6,0.6,0.7,0.8,0.8,0.6,0.6,0.7,0.8,0.8,0.6,0.6,0.7,0.8,0.8,0.6,0.6,0.7,0.8,0.8,0.6,0.6]；

Location＝[4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1；2,4,2,2,2,2,4,2,2,2,2,4,2,2,2,2,4,2,2,2,2,4,2,2,2,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1；2,3,4,3,3,2,3,4,3,3,2,3,4,3,3,2,3,4,3,3,2,3,4,3,3,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1；1,2,1,4,4,1,2,1,4,4,1,2,1,4,4,1,2,1,4,4,1,2,1,4,4,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1；1,2,1,4,4,1,2,1,4,4,1,2,1,4,4,1,2,1,4,4,1,2,1,4,4,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1,4,2,1,1,1]；

LC＝[10,30,20,23,19,19；30,10,26,29,20,20；20,26,10,36,32,32；23,29,26,10,41,41；19,20,32,41,10,10；19,20,32,41,10,10]；

LT＝[1,10,8,6,6,6；10,1,5,4,6,6；8,5,1,7,3,3；6,4,7,1,2,2；6,6,3,2,1,1；6,6,3,2,1,1]；

w1＝0.2；w2＝0.4；w3＝0.3；w4＝0.1.批大小batch_size＝16；训练次数为200；学习率lr＝0.0005；epsilion＝0.95；γ＝0.9；目标网络(Q_Target)更新步长target_replace_iter＝50,经验池容量memory_capacity＝100.

DPD-DQN三层卷积神经网络结构参数如下：

(n_states×300,300×400,400×500,500×n_actions)。

图3为某一次随机的DPD-DQN求解过程。如图3所示，DPD-DQN模型在训练到100次后，其网络结构参数明显得到了优化，本次求解的最优结果为第171次结果[2 3 3 1 1 5 52 4 3；2 3 3 1 1 5 3 3 4 1；5 3 4 3 3 2 3 3 1 1；2 3 3 2 1 2 3 3 1 1；2 3 3 3 1 23 4 3 1],目标值为1544.56。

然后依据古田口实验方法，按照多因素四水平改变目标权重值，重新进行训练，获得相应的最优的CPS制造组件组合。以此类推，获得上级某个子任务的CPS制造组件候选集。以此类推，直至获得定制化订单服务链。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。