复杂系统中资源配置的集体行为涌现及鲁棒性分析

摘要

自然界中,很多真实系统都可以被抽象为一个复杂的资源配置系统,且呈现出丰富有趣的物理现象(羊群行为,恐慌,股票失控等),多年来已被学术界广泛关注和研究.为研究资源配置系统的复杂行为,很多相关的模型已被提出.比如,非常经典的少数者博弈模型就是其中的一种,并已经通过数学和计算物理及统计物理等方法给出了相应的微观机制.该系统中,一个普遍的动力学现象是羊群行为的自发涌现,即大量的个体去争夺少量有限的资源时出现资源的非优化配置.从可持续经营的角度考虑,羊群行为使得部分资源过度利用,而出席这些资源的个体收益非常小,不利于资源的长久开发使用,甚至可能使整个资源配置系统在短时间内发生全局性瘫痪.这种损失是不可估量的,因此对羊群行为的控制研究将是非常的重要,目前的工作所关注的控制策略一般都是给系统施加外部驱动,例如钉扎控制,即一定比例的个体被固定选择某一种动作.但这种控制方法有它自身的局限性,比如成本大,难于操作等.那么如果不施加外界干预,群体通过自组织是否可以自发的消除羊群行为?我们的答案是肯定的,这个问题我们将在本论文的第三章进行详细讨论.　　本论文的第二个工作内容是讨论供需系统的鲁棒性问题.我们已经知道供需过程发生在大量的真实系统中,例如电网,因特网,社会关系网及城市交通网等.随着人类社会的快速发展,各种供需系统规模正在以惊人的速度持续扩张,因而导致系统中对资源的负载需求也在日益增长.这样带来的问题就是输运的效率降低,资源匮乏和部分系统失效.特别的,在一定的条件下,基于级联失效动力学,局部的损毁有可能使得整个系统发生全局性的崩塌.因此,这里我们通过构建供需系统模型,对其具有的鲁棒性问题以及系统扩张所带来的输运效率问题进行了详细的分析讨论,且给出了一些有趣的结果.　　本论文的主要结果和研究创新点如下:　　第一章,我们主要介绍复杂系统的基础知识.首先介绍复杂系统中网络的形成历史及描述复杂网络的基本概念和数学表述,并引进针对真实系统所提出的各种复杂网络模型及相应的特性.第二,随着网络科学的不断发展成熟,真实系统的模型建立也更加细化,为服务于本文研究工作,我们将主要介绍供需系统中的各几种典型的供需网络模型和已经获得的相关重要结论.第三,随着社会科学技术的发展,人工智能逐渐渗透到人类社会的各个角落是完全可能的.这里我们为探究多体人工智能复杂系统,也对机器学习基础知识做一简要介绍,以服务于第三、四章的研究工作.第四,我们也简单介绍了复杂资源配置系统相关工作以及研究现状.　　第二章,我们通过构建该供需系统的网络模型,主要探究了时序供需系统的可恢复性和优化.在一个静态的供需系统中,我们统计了系统在不同优化程度下的基态流量分布.通过逐个扰动供需系统的流量通道,重点观察了级联失效在网络中的传播速度极其相关的影响因素.对该系统的研究发现,首先,一个被优化的供需系统是更鲁邦的,由于通过对该系统加外部扰动时所触发级联尺寸更小.第二,在一个供需系统中,当资源通过最短路径被有向的运输时,相当程度的链接处于零负载状态,而且这些零负载链接占比不会随着系统的优化发生变化.一般的,系统中的零负载链接可以认为是路径破坏时的备选路径,但是一旦级联被触发时,将导致系统更大的失效规模.因此,零负载链接在该系统中扮演非常重要的角色.第三,级联失效的传播路径及失效规模强烈的依赖于流量通道的容忍参数.还发现虽然不同的扰动位置决定了不同的级联失效的传播路径,但是对最终的级联失效尺寸没有影响.另外,在本论文中我们提出了两类具有代表性的供应机制,即为负载驱动下的供应和固定资源比例的供应.发现当系统扩张时明显的降低系统的效率,且供给站的位置被优化超过一个扩张周期时,更少的资源负载被需求.同时,我们对不同的拓扑结构做了研究,发现异质网络所具有的这些结果是普遍的,这将有助于我们设计和优化真实复杂的扩张供需系统.　　第三章,在本章内容中,我们将典型的资源配置系统与强化学习算法进行了有效的结合,发现在不施加外部干预的条件下,个体通过试错的方式进行优化,羊群行为也可以被有效的消除.特别的,我们论证了具有强化学习(尤其是Q-learning强化学习算法)的自主个体可以逐渐熟悉未知的博弈环境并且尝试传递最优的动作以获得最大的奖励,揭示了羊群行为被有效控制的动力学机制.更进一步,计算结果显示不论初始状态如何,系统都将坚定的向着最优状态靠近,所有的资源都被有效利用.然而在演化过程没有被中断时,有一个大的涨落间歇性的发生,且在相继两个涨落之间的时间间隔的统计分布依赖于演化的奇偶性.换句话说,这个时间间隔长度被明确的分为奇数分布和偶数分布.另外,我们基于平均场近似给出了这些现象的物理图像理解和数学解析.在本章中,我们将人工智能算法以一种全新的视角引入到复杂系统中,并得到了一些有趣的结果.同时发现了系统状态突变、集体行为涌现等宏观物理现象,且从个体的水平给出了相应的微观机制.希望我们所构建的自主个体所组成的复杂系统模型能够得到更广泛的应用.　　第四章,基于第三章我们将人工智能多体资源配置系统推广到多种群系统中.在两类个体共同作用下,我们通过数值及理论分析方法研究了多体复杂系统的动力学行为.结果发现通过短时间的演化,在多种群系统中,具有增强学习算法的自主个体仍然可以找到系统的最优动作获得奖励.一个特别的现象是在我们调整系统中种群数量比例时,系统将出现相互作用机制的转变,即从自组织优化到资源的博弈竞争的转化.同时我们在相空间中给出了作用机制转变的临界曲线.另外,当系统中只有一种相互作用时,智能体探索能力随着探索率呈现非单调的变化趋势.最后基于平均场近似给出了智能群体的演化方程以便理解这些现象.这个工作基于简单的自主学习算法结合复杂系统动力学背景给出的结果将为人工智能领域的物理机制以及资源配置优化提供了一个新的视角.　　第五章,对上述工作内容进行了总结,并基于目前所取得的研究成果进行了一些工作展望.

目录

声明

第一章简介

1.1复杂网络

1.1.1网络的基本概念及数学表述

1.1.2网络模型及特性

1.2供需网络及网络鲁棒性

1.2.1供需网络模型简介

1.2.2级联失效动力学

1.3机器学习理论

1.3.1机器学习分类

1.3.2增强学习

1.4资源配置理论

1.4.1少数者模型

1.4.2布尔博弈及其控制方法

1.5小结

第二章单层多源供需系统的级联失效及鲁棒性

2.1研究动机

2.2供需网络模型

2.2.2增长网路模型

2.3供需系统中的退火优化算法

2.4供需系统的鲁棒性

2.4.1优化和鲁棒性

2.4.2级联失效中的边容量效应

2.4.3级联失效中的冗余边作用

2.4.4不同负载的同质性

2.5持续扩张供需系统的优化

2.5.1 LDS增长机制

2.5.2 FFS增长机制

2.6总结与讨论

第三章AI系统中的资源配置

3.1研究动机

3.2 AI-MG模型

3.3 RL个体的自组织行为

3.3.1振荡收敛

3.3.2 AI - MG系统的间歇性跃变失效

3.3.3跃变之间的时间间隔

3.3.4 AI - MG系统的理论分析

3.4 RL个体Q矩阵重构

3.5总结与讨论

第四章时变环境中的增强学习

4.2模型

4.3自组织优化

4.3.1相空间划分

4.3.2 RL个体可以迅速响应时变环境

4.3.3 ε的影响

4.3.4环境变化频率f的影响

4.4时间序列ρ+的理论分析

4.5总结与讨论

第五章总结与展望

5.1总结

5.2展望

参考文献

在学期间的研究成果

致谢