基于协同进化算法的调频反馈纳什均衡控制方法

摘要

本发明公开了基于协同进化算法的调频反馈纳什均衡控制方法，包括步骤包括：步骤1、考虑调速器死区、控制动作幅值限制、机组爬坡速率约束等工程实际因素，建立IEEE两区域互联系统中一、二次调频间的微分博弈模型；步骤2、采用协同进化算法求解带有各种复杂约束的一、二次调频间的微分博弈模型，求得其反馈纳什均衡解；步骤3、将求得的反馈纳什均衡策略作为区域的一、二次调频控制量，有效解决了一、二次调频间的冲突反调问题，从而实现了电力系统一、二次调频间的协调控制。具有减少了机组损耗量，获得了良好的控制效果等优点。

说明书

技术领域

本发明涉及一种电力系统自动控制技术，特别涉及一种基于协同进化算法 的调频反馈纳什均衡控制方法。

背景技术

在电力系统中，一次调频和二次调频（自动发电控制，AGC）是实时跟踪负 荷变化，调整发电出力实现有功平衡，维持频率稳定的主要手段。

一次调频和二次调频的工作方式、响应周期、控制信号、控制目标均有较 大差异，一次调频以设备所在地频率偏差为信号，经DEH系统或机械调速器改 变机组有功出力，是当地频率闭环控制；二次调频以频率偏差和区域联络线交 换功率偏差为信号，经总站控制器计算后给出各AGC机组的有功调整量，最后 由各机组协调控制系统实现，是全区功率闭环控制。双方的实时调整方向可能 相反，而它们又同时作用于机组有功出力，任意时刻机组功率输出变化量为一、 二次调频机组有功出力调整量总和，故可能发生冲突反调现象，造成调整动作 次数的增多和调整量的浪费。在大规模间歇式能源并网情况下，新能源功率波 动将导致系统频率和区域联络线交换功率更大的波动，大大增加了冲突反调现 象发生概率。

本发明使用微分博弈理论解决一次调频和二次调频之间的冲突反调问题。 由于一次调频根据当前频率偏差做出响应，二次调频根据当前区域控制偏差 （ACE）做出响应，故是一个反馈博弈模型，在考虑各类复杂约束后，频率控制 系统模型应是非线性的，控制变量和状态变量受不等式约束的。

非线性、控制变量和状态变量有约束模型的反馈博弈模型求解起来非常困 难,难以找到理论上的均衡解。为了弥补传统数学方法的不足，本发明采用协同 进化算法对该复杂模型进行求解（因协同进化算法是多个种群的进化，每个种 群用遗传算法来单独实现进化，协同进化算法的进化过程中包括遗传算法）。协 同进化算法借鉴自然界中的协同进化(Coevolution,也称共同进化或协同演化) 机制。应用最早可追溯到Hillis的宿主和寄生物模型和Husbands的车间作业 调度的多物种协同进化模型。协同进化算法可以处理多主体问题，且由于考虑 了主体间的相互冲突和作用，很好地符合博弈的自然演化过程，是求解博弈问 题的一个有效方法。在现有的研究中，用协同进化算法求解带有复杂约束的线 性二次型微分博弈这一领域仍是一个空白，本发明尝试证明协同进化算法在该 领域的应用前景。

本发明是在国家863计划项目基金资助下，建立一二次调频协调控制的线 性二次型反馈微分博弈，并考虑控制器死区、控制动作幅值限制、机组爬坡速 率约束等工程因素，用协同进化算法求得其反馈纳什均衡解（FNES），所求得的 控制量能在满足各种工程因素下有效解决一二次调频间的冲突反调问题。本发 明为微分博弈理论应用于电力系统实际调频系统中提供了强有力的计算工具。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于协同进化算 法的调频反馈纳什均衡控制方法，该方法在复杂电力系统中，协调一次调频和 二次调频控制量，有效减少了机组损耗量，获得了良好的控制效果。

本发明的目的通过以下技术方案实现：

本发明将目标函数为线性二次型的，信息集为无记忆、完全状态信息的反 馈博弈引入电力系统频率控制中，n人非零和、非合作、确定性无限时长线性二 次型微分博弈中，每位参与者i力图最小化各自的支付函数J_i：

$J_i={\int }_{t_0}^{\infty }\frac{1}{2}[x^T\left(t\right)Q_{i}x\left(t\right)+u_i^T\left(t\right)R_i{u}_i\left(t\right)]\mathrm{dt},---\left(1\right)$

其中，t₀是博弈开始时间，Q_i是对应于状态变量的权系数矩阵，R_i为对应 于控制变量的权系数矩阵，Q_i、R_i为对称正定阵，u_i(t)对应参与者i的控制策 略，x(t)为状态变量。系统状态方程为：

，          (2)

A为m阶状态矩阵，B_i为m维列向量，B为m×n阶的输入矩阵 [B₁B₂…B_n]。

若反馈博弈过程的信息集是无记忆、完全状态信息的，则博弈各方的均衡 策略为：

${u_i}^{*}\left(t\right)=-R_i^{-1}{B_i}^T{P}_{i}x\left(t\right),$i=1,…,n，

其中，(P₁,P₂,…,P_n)为代数Riccati方程组的解，P_i,i=1,…n皆为对称阵

$-P_{i}A-A^T{P}_i-Q_i-\underset{j=1}{\overset{N}{\Sigma }}(-P_i{B}_i{R}_i^{-1}{B}_i^T{P}_i-P_i{B}_j{R}_j^{-1}{B}_j^T{P}_j,$

$-P_j{B}_j{R}_j^{-1}{B}_j^T{P}_i)=0$

各参与者的支付函数大小为：

$J_i^{*}=\frac{1}{2}{x}^T{P}_{i}x,$

线性二次型最优控制在状态方程为线性，控制变量和状态变量为无约束情 况下，得到的最优控制率为状态变量的线性反馈。然而，工程实际中，控制变 量和状态变量往往有约束，而实际系统模型也为非线性。电力系统中，一次调 频和二次调频控制量有幅值限制，AGC机组有爬坡速率限制，调速器死区限制使 调频系统成为非线性系统。这种情况下的最优控制率难以求得。

有约束非线性系统的最优控制率为状态量的非线性反馈，但该控制率的求 解非常复杂，且不易于工程实现。本发明求取满足复杂约束下的最优饱和线性 反馈，在控制率到达约束边界时，将保持该最大值不变。

为使算法能考虑较多的实际因素，本发明采用协同进化算法来求解有约束 非线性系统的反馈纳什均衡。协同进化算法的框架类似于多代理仿真，符合博 弈演化框架。每个最优控制子问题采用遗传算法独立进化求解，采取精英保留 策略。算法过程描述如下：

步骤1：n个参与者以状态变量的线性反馈系数k为变量，即令参与者i的 策略为u_i=k_ix，为每个参与者设置独立种群pop_i；

步骤2：设当前系统进化至第L代，各个种群在协同机制下进化，式(2)描 述的系统状态方程为联系各种群的枢纽，将式(1)表达的支付函数的倒数1J_i作 为种群中染色体适应度的评价函数。以种群i为例，采用c-best策略，选择将 其他种群-i在第L-1代适应度最高的染色体所对应的策略作为代表，形成代表 策略集表示为将种群i中每一条染色体对 应策略与其他种群的代表策略集代入式(2)求出系统状态轨迹，将参与 者i的支付函数倒数1/J_i设置为该个体的适应度；

步骤3：将种群i中适应度最高的个体设为该种群的代表策略，单独对 种群i进行选择、交叉、变异；

步骤4：重复步骤2和3，使n个代表策略的种群都实现进化；

步骤5：重复步骤2到4，终止条件为代表策略收敛。

迭代中策略的选择有可能使系统无法收敛，如频率最终无法收敛至设定值。 采用惩罚函数法来处理这一情况，即当系统不收敛时，适应度设置为1/(J_i+M)， 惩罚因子M为一常数，取值远大于收敛情况下的J_i。

一次调频u1和二次调频的控制量u2都是ui=ki*x(t)的模式所以才都是 状态量的线性反馈。

种群pop1和种群pop2均都由多个染色体组成，如果对于种群pop1，染色 体代表的值就是代表区域1的一次调频的线性反馈系数k1，如果是对于种群 pop2，染色体代表的值就是代表区域1二次调频的线性反馈系数k2，每个染色 体均具有一个适应度值，所述适应度值作为遗传算法的选择操作的依据，设置 支付函数倒数1/Ji作为适应度值，选择pop1中适应度值最大的那个染色体作 为种群pop1的代表策略；选择pop2中适应度值最大的那个染色体作为种群pop2 的代表策略。

本发明的工作原理：本发明提出的基于协同进化算法的调频反馈纳什均衡 控制方法，首先根据AGC机组、调速器、联络线功率传输等的动态行为，并考 虑调速器死区、控制动作幅值限制、机组爬坡速率约束等工程实际因素，建立 IEEE两区域互联系统中一、二次调频间的微分博弈模型；同时令区域2保持采 用传统的比例积分控制方式，而将区域1的一二次调频信号为用微分博弈控制 器求取的控制信号u₁和u₂；采用协同进化算法求解建立起的带有复杂约束的一、 二次调频间的微分博弈模型，求得其反馈纳什均衡解；将求得的反馈纳什均衡 策略作为区域的一、二次调频控制量，有效解决了一、二次调频间的冲突反调 问题，从而实现了电力系统一、二次调频间的协调控制。

本发明相对于现有技术具有如下的优点及效果：

1、本发明能在考虑各种复杂约束的电力系统中，协调一次调频和二次调频 控制量，有效减少了机组损耗量，获得了良好的控制效果；本发明有效解决了 一、二次调频间的冲突反调问题，实现了电力系统一、二次调频间的协调控制。

2、本发明使用了协同进化算法，对非线性、控制变量和状态变量有约束模 型的反馈博弈模型进行求解，并成功得到近似的纳什均衡策略，解决了该模型 利用传统数学方法难以求解的问题。

3、本发明中，区域1的一、二次调频达到了反馈纳什均衡，即一、二次调 频单独改变策略将导致己方的收益下降，从而两者间的博弈达到一个稳定的局 势，彰显均衡策略的“协调性”。

附图说明

图1是考虑复杂约束的两区域调频微分博弈模型图。

图2是用协同进化算法求得的一次调频微分博弈控制量的曲线图，图中ΔP_r1代表区域1一次调频控制量。

图3是用协同进化算法求得的二次调频微分博弈控制量的曲线图，图中ΔP_c1代表区域1二次调频控制量。

图4是一次调频支付函数随反馈系数k₁的变化曲线图。

图5是二次调频支付函数随反馈系数k₂的变化曲线图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方 式不限于此。

实施例

以两区域互联系统为例，两区域互联系统是两个频率控制区域为实现调频 机组容量的充分利用，经过区域联络线实现互联和功率交换的系统。加入调速 器死区、控制动作幅值限制、机组爬坡速率约束因素后，博弈模型如图1所示。

区域1的一二次调频信号为用反馈微分博弈理论求取的控制信号u₁和u₂， 区域2采用传统的控制方式，其一、二次调频有功调节信号分别为：

ΔP_r2=-1/R₂×Δf₂，

ΔP_c2=-K₁₂×∫ACE₂dt-K_t2×ACE₂，

其中，Δf₂为区域2的频率偏差量，R₂为区域2一次调频调差系数，K₁₂、K_t2分别为区域2二次调频的积分系数和比例系数，ACE₂为区域2控制偏差，计算 公式为ΔP_tie-10B₂Δf₂，ΔP_tie为区域间联络线交换功率偏差，B₂为频率响应系数， 取负值。

系统状态变量：

x(t)=[Δf₁ ΔP_g1 ΔX_g1 Δf₂ ΔP_g2 ΔX_g2 ΔP_c2 ΔP_tie]^T，

负荷扰动项为ΔP_L=[ΔP_L1 ΔP_L2]。ΔX_g1和ΔX_g2是调速器阀门位置改变量，ΔP_g1和ΔP_g2是机组出力变化量。则系统状态方程为

状态矩阵A形式为：

$A=\left(\begin{array}{cccccccc}\frac{-1}{T_{p1}}& \frac{K_{p1}}{T_{p1}}& 0& 0& 0& 0& 0& \frac{{-K}_{p1}}{T_{p1}}\\ 0& \frac{-1}{T_{T1}}& \frac{1}{T_{T1}}& 0& 0& 0& 0& 0\\ 0& 0& \frac{-1}{T_{G1}}& 0& 0& 0& 0& 0\\ 0& 0& 0& \frac{-1}{T_{p2}}& \frac{K_{p2}}{T_{p2}}& 0& 0& \frac{K_{p2}}{T_{p2}}\\ 0& 0& 0& 0& \frac{-1}{T_{T2}}& \frac{1}{T_{T2}}& 0& 0\\ 0& 0& 0& \frac{-1}{R_2{T}_{G2}}& 0& \frac{-1}{T_{T2}}& \frac{-1}{T_{G2}}& 0\\ A_{71}& 0& 0& A_{74}& A_{75}& 0& 0& A_{78}\\ {2\mathrm{\pi T}}_{12}& 0& 0& -2\pi T_{12}& 0& 0& 0& 0\end{array}\right),$

A₇₁=-2πT₁₂K_t2，$A_{74}=\frac{K_{i2}}{R_2}-\frac{K_{t2}}{R_2{T}_{p2}}+2\pi T_{12}{K}_{t2},$

$A_{75}=\frac{K_{t2}{K}_{p2}}{R_2{T}_{p2}},$$A_{78}=\frac{K_{t2}{K}_{p2}}{R_2{T}_{p2}}-K_{i2},$

输入矩阵B₁、B₂的形式为：

$B_1=B_2={\left(\begin{array}{cccccccc}0& 0& \frac{1}{T_{G1}}& \frac{1}{T_{G1}}& 0& 0& 0& 0\end{array}\right)}^T,$

负荷扰动项系数矩阵为:

$\Gamma ={\left(\begin{array}{cccccccc}-\frac{K_{p1}}{T_{p1}}& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& -\frac{K_{p2}}{T_{p2}}& 0& 0& 0& 0\end{array}\right)}^T,$

一、二次调频控制动作幅值约束为：

$u_1=\left(\begin{array}{c}{u}_{1\max },u_1>u_{1\max }\\ u_1,u_{1\min }\le u_1\le u_{1\max }\\ u_{1\min },u_1<u_{1\min }\end{array}\right),$${\mathrm{\Delta P}}_{r2}=\left(\begin{array}{c}{\mathrm{\Delta P}}_{r2\max },{\mathrm{\Delta P}}_{r2}>{\mathrm{\Delta P}}_{r2\max }\\ {\mathrm{\Delta P}}_{r2},{\mathrm{\Delta P}}_{r2\min }\le {\mathrm{\Delta P}}_{r2}\le {\mathrm{\Delta P}}_{r2\max }\\ {\mathrm{\Delta P}}_{r2\min },{\mathrm{\Delta P}}_{r2}<{\mathrm{\Delta P}}_{r2\min }\end{array}\right),$

$u_2=\left(\begin{array}{c}{u}_{2\max },u_2>u_{2\max }\\ u_2,u_{2\min }\le u_2\le u_{2\max }\\ u_{2\min },u_2<u_{2\min }\end{array}\right),$${\mathrm{\Delta P}}_{c2}=\left(\begin{array}{c}{\mathrm{\Delta P}}_{c2\max },{\mathrm{\Delta P}}_{c2}>{\mathrm{\Delta P}}_{c2\max }\\ {\mathrm{\Delta P}}_{c2},{\mathrm{\Delta P}}_{c2\min }\le {\mathrm{\Delta P}}_{c2}\le {\mathrm{\Delta P}}_{c2\max }\\ {\mathrm{\Delta P}}_{c2\min },{\mathrm{\Delta P}}_{c2}<{\mathrm{\Delta P}}_{c2\min }\end{array}\right),$

一次调频考虑调速器死区后，控制量为：

$u_1=\left(\begin{array}{c}0,\left|{\mathrm{\Delta f}}_1\right|<{\mathrm{\Delta f}}_{1\min }\\ u_1,\left|{\mathrm{\Delta f}}_1\right|{\ge \mathrm{\Delta f}}_{1\min }\end{array}\right),$${\mathrm{\Delta P}}_{r2}=\left(\begin{array}{c}0,\left|{\mathrm{\Delta f}}_2\right|<{\mathrm{\Delta f}}_{2\min }\\ {\mathrm{\Delta P}}_{r2},\left|{\mathrm{\Delta f}}_2\right|\ge \Delta f_{2\min }\end{array}\right),$

机组爬坡速率用机组出力的导数来近似，约束为：

假设负荷作确定性阶跃变化，以扰动后稳态值作为参考点定义系统状态：

x¹(t)=x(t)-x_ss(t)，

u_i¹(t)=u_i(t)-u_iss(t)，

ΔP_L¹(t)=ΔP_L(t)-ΔP_Lss(t)=0，

Q_i与R_i取：

$Q_1=\left(\begin{array}{cccccccc}1& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\end{array}\right),$$Q_2=\left(\begin{array}{cccccccc}1& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 2\end{array}\right),$

R₁=10     R₂=1，

，

得到u₁和u₂间的微分博弈模型的标准形式，表示如下：

i=(1,2)

$J_i={\int }_{t_0}^{\infty }\frac{1}{2}[x^{1T}\left(t\right)Q_i{x}^1\left(t\right)+{u_i}^{1T}\left(t\right)R_i{u_i}^1\left(t\right)]\mathrm{dt}$

，

${\stackrel{·}{x}}^1\left(t\right)={\mathrm{Ax}}^1\left(t\right)+B_1{u^1}_1\left(t\right)+B_2{u^1}_2\left(t\right)$

博弈双方的支付函数意为：u₁追求f₁贴近额定值且调速器阀门动作量尽量 小；u₂追求f₁和P_tie贴近额定值，有功功率基准值设定尽量精确跟踪负荷变化， 并适当支援区域2。

利用协同进化算法步骤求解上面的考虑复杂约束的两区域互联模型，得到 区域1的一次调频，二次调频控制量，具体步骤如下：

1）区域1的一次调频和二次调频以状态变量的线性反馈系数k为变量；区 域1的一次调频和二次调频均采用遗传算法来求解，所述遗传算法的计算方法 为：给区域1的一次调频和二次调频设置用于遗传算法的种群pop₁和pop₂，每 个种群由多个染色体组成，每个染色体为区域1一次调频或二次调频变量k的一 个随机样本；

2）假设当前算法进化至第L代，种群pop₁和pop₂在协同机制下进化，将步 骤c所述系统状态方程作为联系两种群的枢纽，将区域1一次调频和二次调频支付函 数的倒数1/J_i作为种群中染色体的适应度。种群pop₁和pop₂均执行以下操作：以种群 pop₁为例，选择将另一种群pop₂在第L-1代适应度最高的染色体所对应的策略 作为代表，形成代表策略集表示为将种群pop₁中每一条 染色体对应策略与另一种群的代表策略集代入系统状态方程求出系统 状态轨迹，将区域1一次调频的支付函数倒数1/J₁设置为该染色体的适应度，设置 完种群pop₁中所有染色体的适应度后，选择种群pop₁中适应度最高的个体为该种群的代表策略，单独对种群pop₁进行遗传算法的选择、交叉、变异操作；

3）重复步骤2），使两个代表策略的种群都实现进化；

4）重复步骤2）到3），终止条件为算法收敛。

5）步骤1）至4）求得的最佳线性反馈系数组成微分博弈的反馈纳什 均衡策略，即该策略作为区域1的一、二次调频控制量u₁,u₂。

求得了区域1的一次调频，二次调频控制量后，将控制量作用于互联系统 中，得到图2、图3所示的控制效果，可见一、二次调频信号在整个暂态过程中 保持同号，从而在考虑各种复杂约束下有效避免了冲突反调问题。

通过仿真验证一二次调频在策略达到了反馈纳什均衡。令：

$u_1^{\prime }=k_1{u}_1^{*},$$u_2^{\prime }=k_2{u}_2^{*},$

令k₁在[-10,10]变化，以为控制信号仿真，则支付函数J₁在k₁=1达极值， 如图4。令k₂在[-10,10]变化，以为控制信号进行仿真，则支付函数J₂在k₂=1 达极值，如图5。更一般地，固定不变，令k₁中8个元素在[-10,10]内随机 取值1000次，仿真得到支付函数J₁值总比时大，固定不变，令k₂中 8个元素在[-10,10]内随机取值1000次，仿真得到支付函数J₂值总比时大。 由此证明了协同进化算法成功地求取出问题的反馈纳什均衡。

本发明将反馈微分博弈应用于解决电力系统一、二次调频间的冲突反调问题 中，符合一、二次调频信号对当前系统状态量进行反馈的实际。当考虑调速器死 区、控制信号幅值限制、机组爬坡速率约束等工程因素的影响时，调频系统为非 线性且控制量和状态量有约束的，传统算法难以求解。本发明用协同进化算法成 功求解了该问题，所得的控制策略达到了反馈纳什均衡，实现了一、二次调频间 的协调控制。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实 施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。