任意个数自主体平均场线性二次最优控制问题研究

摘要

线性二次平均场(Mean field)最优控制问题作为多自主体优化的一个重要组成部分，由于其在天文物理，统计分析，数学金融以及生态学上面的广泛应用，自从出现就引起许多学者的广泛关注.而团队决策(Team decision)优化作为一种重要的优化理论在多自主体的决策优化问题中起着重大作用.它涉及到多个自主体依靠自己的观测信息共同合作优化一个公共的指标.由于各自主体只依赖于自己的观测信息去实施控制行为，因此信息结构(自主体实施控制行为所依赖的观测信息）和最优控制理论成为处理它的主要工具.我们的工作一方面是在两者的基础上，利用团队决策理论去解决任意个（特别是小种群和中等种群）自主体系统线性二次平均场最优控制问题(为了区分大种群的情形，用单词Average field)，另一方面是去处理乘性噪声驱动的多自主体系统线性二次平均场博弈问题. 本文主要围绕平均场线性二次团队最优控制以及无穷时间线性二次平均场博弈问题进行讨论.关于平均场线性二次团队最优控制问题，目前存在的方法主要是利用社会型确定等价原理(Social certainty equivalence principle)在一定条件下（大种群自主体系统和自主体参数满足一定的统计特性）通过平均场项逼近状态平均项，进而设计出分散式控制策略.自然的，如何解决小种群或中等数量种群的团队优化问题成为一个亟待解决的问题;另一方面，自主体往往只能获得局部的信息（比如说获得局部的信息通常比获得全局信息廉价些）去施行控制行为，因此如何只依赖局部信息去设计分散式控制策略就显得尤为重要.另外，由于随机动力系统的状态过程通常情况下不易获取，取而代之的是一个与动力系统相关的观测过程，如何利用每个自主体的观测过程设计分散式控制策略也成为一个现实中急需解决的问题.关于无穷时间平均场线性二次博弈问题，目前存在的结果多是针对加性噪声驱动的动力系统讨论的.乘性噪声的工作还很少，它们主要针对多自主体系统参数一致以及构造多自主体状态均方稳定的分散式控制策略的情形讨论的.而通常情况下，种群自主体动力系统参数往往表现出微小差异，另外在工程需要方面，满足系统状态均方稳定的容许控制集并不是很宽泛.如何同时处理参数存在微小差异的乘性噪声驱动的多自主体系统线性二次博弈问题并尽可能使容许控制集扩大成为一个有意思的问题.针对上述问题，论文做了以下几方面的工作: 1)加性噪声多自主体系统LQ平均场团队最优控制.这一章中，借助于团队决策理论处理加性噪声驱动的多自主体线性二次平均场模型的团队最优控制问题.借助于古典变分法推导该问题满足的充要条件.其中，为了能够得到分散式控制，通过对指标泛函进行代数处理，分离出每个控制变量所满足的必要条件以及相应的自主体状态过程的伴随状态过程所满足的倒向随机微分方程.关于分散式控制器设计方面，借助于正向随机微分方程和倒向随机微分方程的滤波理论设计状态反馈型的分散式控制策略.该部分主要针对自主体对自身状态信息完全可观和部分可观两种情形设计分散式控制策略.在前一种情况下，讨论与社会型指标平均场线性二次最优控制的联系[53].具体的，在小种群或中等种群自主体系统情形时，离线计算部分需要解决一个常微分方程组的边值问题.而当动力参数相同时，该常微分方程组的边值问题可以退化为一个常微分方程的边值问题.比较有意思的是，在这种情形下当种群数量趋于无穷大时，得到的结果与文章[53]一致.在自主体对自身状态信息部分可观情形下，借助于Kalman滤波理论将问题转化为自主体对自身状态信息完全可观的情形，继而推导分散式控制策略并证明了每个自主体控制和估计满足分离性. 2)乘性噪声多自主体系统LQ平均场团队最优控制.这一章中，借助于团队决策理论处理乘性噪声驱动的多自主体系统线性二次平均场模型的团队最优控制问题，是前一章工作的推广.利用古典变分法推导该问题满足的充要条件.类似于前一章，为了能够得到分散式控制，利用前一章中的方法分离出每个控制变量所满足的必要条件以及相应的自主体状态过程的伴随状态过程所满足的倒向随机微分方程.然后，借助于正向随机微分方程和倒向随机微分方程的滤波理论设计状态反馈型的分散式控制策略.与前一章不同的是，在乘性噪声情形下由于扩散项包含状态和控制过程，前一章中积分伴随方程然后取条件期望的方法不再适用.从指标泛函中的被积函数得到启发，假定伴随过程是关于状态过程的一个仿射变换，继而利用待定系数法求解.所得到的结果与前一章相比，控制策略中的系数过程所满足的Riccati方程和倒向的常微分方程稍显复杂一些.容易看出，当扩散项不包含状态过程和控制过程时和前一章的结果相同. 3)部分观测信息下随机系统的团队优化理论与应用.这一章中推导随机系统部分观测信息下的团队最优决策控制问题满足的极小值原理，并将所得结果应用到部分观测信息下乘性噪声驱动的多自主体系统平均场线性二次团队最优控制上去.对参照测度和原始测度两种情形下的极小值原理进行推导.与文章[12]不同的是避免状态扩维的方法，这样得到的极小值原理，伴随过程要相对简单一些，这在应用上减少了计算量.最后，将所得结果运用到部分观测信息下乘性噪声驱动的多自主体系统线性二次团队最优控制中.针对这个例子，利用前两章中的方法推导每个自主体系统的控制过程所满足的必要条件，并利用正向随机微分方程和倒向随机微分方程的滤波理论设计状态反馈型的分散式控制策略. 4)连续统参数的多自主体系统平均场随机LQ博弈.这一章中，讨论乘性噪声驱动下的连续统参数多自主体系统的平均场线性二次博弈问题.考虑指标泛函为时间平均的形式，容许控制集定义为使得状态变量的均方积分同阶于终端时刻的所有循序可测过程的集合.针对上述模型，推导满足渐近均衡性质的分散式控制策略，包括控制策略设计与渐近均衡分析两个方面.关于控制策略设计，借助于线性二次最优追踪问题的讨论和Nash确定等价原理(Nash certain equivalent principle)最终设计出分散式控制策略.关于渐近均衡分析方面，利用Dynkin公式和比较定理进行自主体闭环系统稳定性分析并利用摄动法进行渐近均衡分析.

目录

声明

摘要

0．1 基本符号

1．1课题背景与意义

1．2 国内外研究现状

1．2．1团队决策理论

1．2．2部分观测下的最优控制

1．2．3平均场博弈

1．3 本文的主要工作及章节安排

第二章加性噪声多自主体系统LQ平均场团队最优控制

2．1 引言

2．2 问题描述

2．3主要结果及证明

2．3．1 充要条件

2．3．2状态反馈控制器设计

2．4部分观测的情形

2．5 本章小结

第三章乘性噪声多自主体系统LQ平均场团队最优控制

3．1 引言

3．2 问题描述

3．3主要结果与证明

3．3．1 充要条件

3．3．2 状态反馈控制器设计

3．4本章小结

第四章部分观测信息下随机系统的团队优化理论与应用

4．1 引言

4．2 问题描述

4．3极小值原理

4．3．1 参照测度上的极小值原理

4．3．2 原始测度上的极小值原理

4．4在平均场LQ团队最优控制中的应用

4．5 本章小结

第五章连续统参数的多自主体系统平均场随机LQ博弈

5．1 引言

5．2 问题描述

5．3 分散式控制器的设计

5．3．1 随机LQ系统最优追踪控制

5．3．2状态平均逼近

5．4渐近均衡分析

5．4．1 闭环系统稳定性分析

5．4．2最优性分析

5．5 应用举例

5．6 本章小结

6．1 总结

6．2 今后工作

参考文献

致谢

博士期间发表的论文