基于POMDP的受控无线网络系统动态资源分配方法

摘要

基于POMDP的受控无线网络系统动态资源分配方法，属于受控无线网络与通信资源分配领域。通过构造小区用户接入基站数的状态转移矩阵和反馈观测矩阵，计算用户信度状态概率和用户依据基站天线开启数所获得的传输速率，从而判决系统获得最大收益时的基站天线开启数与最优用户接入数，完成小区内最优资源分配。本发明是在小区中存在多个用户和一个多天线基站的情况下，分别以小区内用户接收功率最大和用户数据传输误码率最小，从而获得最大系统收益为目标，确定最终的基站天线开启数和用户接入基站数。本发明克服了能源过度消耗、小区基站负载较大、天线开启与用户接入数不匹配等问题。在提高用户接收功率、抗干扰和系统整体收益方面具有一定的优势。

说明书

技术领域

本发明涉及一种基于部分可观察马尔可夫决策过程(POMDP)的受控无线通信网络系 统动态资源分配方法，通过POMDP方法，设计一种有利于无线通信网络的资源分配的选择 方案，属于受控无线网络与通信资源分配研究的相关领域。

背景技术

移动通信在近几十年来得到了迅猛发展，用户对无线通信网络的服务质量需求也在不 断提高，促使无线通信系统正在从2G、3G、B3G、4G以及5G演进，网络主体也将从语音 主导的网络向着高速数据为主导的网络转型。与此同时，移动多媒体业务对带宽的要求越 来越高，“宽带化”成为移动通信技术的发展趋势。目前，影响无线通信网络服务质量 (Quality of Service,QoS)主要有以下三个方面：第一，无线移动通信网络的高动态性、 用户位置的随机改变带来的频繁切换操作和网络拓扑的易变性，将会导致数据传输速率和 连通性的不稳定；第二，无线通信网络的信道衰落和移动终端的功率或能量受限等特性， 导致小区用户接收到基站的功率损耗占有很大比重；第三，受基站和用户间的信道衰落、 基站和用户的天线开启数、用户的信噪比等影响，数据传输中的误码率也会受很大影响， 从而影响数据链路传输的可靠性。多年来，尽管业内对无线通信网络的设计算法等不断优 化改进，提出了诸多改善网络服务质量的方法，推动了无线通信网络设计向前发展，但始 终无法彻底解决诸如网络功耗损失、数据传输可靠性等问题，因此，基于传统的无线通信 网络系统架构以及通信分层协议体系的设计和部署已不能更有效解决这些矛盾。

在控制工程领域，反馈控制策略作为最基本的控制方法，成为闭环控制系统的核心， 对系统各个节点状态的控制、调节起到了至关重要的作用。反馈策略从提出之始，便在工 业系统的闭环控制、信息论以及信道编码等领域获得了广泛而深入的应用。借助于反馈策 略，控制系统本身具备了自调整、自适应和自镇定的能力，系统性能指标得到了全面的提 高。与此同时，无线网络控制系统(Wireless Network Control Systems,WNCS)的研究引 起国内外学者的高度关注。德国凯泽斯劳滕大学的L.Litz教授和A.Chamaken博士提出将无 线通信网络嵌入工业控制系统中，设计满足控制系统性能指标需求的系统架构、控制算法 以及无线通信网络架构和通信协议，从而提升系统的传感器、控制器和执行器之间对信息 的处理和对系统的控制，实现了对工业控制系统的预测和优化。意大利拉奎拉大学的 M.D.Di Benedetto等学者对WNCS设计有深入研究，他们提出了一个相关代价函数，利用该 函数，首先将控制系统的噪声、编码、调制方式以及系统功率等参数映射到无线网络中， 然后选择适当的无线网络类型，从而满足提升控制系统的鲁棒性和灵活性的需要。

部分可观察马尔可夫决策过程(POMDP)是通过引入信念状态空间将非马尔可夫链问 题转化为马尔可夫链问题来求解，其最大的特点在于假设系统的状态信息不能直接观测得 到，是部分可知的，对只有不完全状态信息的系统建模，依据当前的不完全状态信息做出 决策，从而获得最大收益。这种状态转移模型更符合于无线通信网络场景中的部分状态信 息不完全可知，需要通过观测从而获得最优资源分配的特点。

综上所述，本发明的主要目的是引入控制反馈优化策略，将POMDP模型应用于受控无 线通信网络系统，通过给定小区用户接入数构成的状态转移概率矩阵和反馈网络QoS服务 指标(用户接收功率和用户传输误码率)构成的观测概率矩阵，并根据某时刻的小区用户 接入状态(Belief State)和对应的基站开启天线数的收益，从而预测判断下一时刻小区用 户最优接入数；同时，根据最大收益，判决此时刻小区基站天线开启数，最终达到小区内 基站天线、用户接入的最优资源分配。

发明内容

本发明的主要目的是在小区通信网络最优资源分配的角度上，考虑小区网络中存在一 个多天线基站和多个用户的情况下，以每时刻接入用户数与小区开启天线数动态资源分配 最优为优化目标，通过POMDP模型以及控制反馈策略的应用，完成小区基站天线开启与接 入用户的最优资源分配策略。本方法解决了在小区网络中有多个天线的基站和多个通信用 户的情况下，如何选择确定最优资源分配的问题，并通过最优资源分配获得小区无线通信 网络系统的最大收益。

本发明所适应的小区环境场景模型见图1。

本发明技术方案中的系统运行原理流程图见图2。

本发明系统用户接收功率基站情况对比图见图3。

本发明系统误码率情况对比图见图4。

本发明系统小区内不同条件下平均收益对比图见图5。

本发明系统小区接入用户数情况与基站开启天线数对比图见图6。

本发明的小区环境场景模型示意图如图1所示，基于POMDP的受控无线网络系统动态 资源分配方法，其特点在于：在某个通信小区内，包含有一个具有N根天线的基站和M个 单天线的用户，当已知小区用户接入数的状态转移概率矩阵和反馈网络QoS指标(用户接 收功率和用户传输误码率)的观测矩阵后，依据某一时刻用户接入数的信度状态概率(belief  state,BS)，从而获得此时刻具有最大收益的基站天线开启数和下一时刻小区用户最优接 入数，具体依次按以下步骤实现：

步骤(1)，系统初始化，根据实际情况有：

小区内包含有M个单天线用户，某一时刻，需要接入基站的用户数表示为 s₁,s₂,…,s_m,…,s_M，s_m表示有m个用户接入基站，同时，包含有一个N根天线的基站，开 启天线数表示为T₁,T₂,…,T_n,…,T_N，T_n表示基站开启n根天线。基站与各用户之间的传输带 宽为B，信道衰落系数均为h_S,D，基站发送功率为P_total，各发送天线均相同，对应每根天 线的发送功率P_tr＝P_total/N，系统噪声功率表示为σ；

步骤(2)，构造用户接入基站数的状态转移矩阵：根据基站开启各个天线数，确定小区 内用户接入数的转移概率矩阵，当基站开启天线数为T_n时，小区用户接入数转移概率矩阵 S_n可以表示为：

用s_i表示当前时刻，用户接入基站数为i(1≤i≤M)个，s'_j表示下一时刻，用户接入基站 数为j(1≤j≤M)个，p_ij表示用户接入基站数从i个到j个的概率，其计算方法表示如 下：

当基站开启天线数为T_n时，随机重复A次观测，观察用户接入数转移情况，当用户接 入基站数从i个转移到j个共有B(B≤A)次时，概率p_ij表示为：

$p_{\mathrm{ij}}=\frac{B\{m=j\}}{A};$

步骤(3)，构造反馈观测矩阵：根据反馈控制策略，针对系统待优化的反馈QoS目标， 即用户接收功率和用户传输误码率，确定观测矩阵，具体步骤如下：

步骤(3.1)，当开启天线数为T_n，用户接入基站数为m时，计算用户接收功率，表示为：

$P_{\mathrm{user}\_m}=m·T_n·P_{\mathrm{tr}}·{\left(\frac{l_n}{H_n}\right)}^{-h_{S,D}}$

其中，基站的发射功率为P_total，每一根天线的发射功率可以表示为P_tr＝P_total/N，l_n为基站 与用户之间的距离，H_n为用户天线高度，h_S,D为路径衰落系数；

步骤(3.2)，当开启天线数为T_n，用户接入基站数为m时，计算用户传输误码率：

小区内用户接收基站发送数据的误码率会随用户接入数与基站开启数，以及路径损耗 有关，因此，用户接收误码率可以表示为：

$\mathrm{Pe}={\left(\mathrm{SNR}\right)}^{-(m·T_n)}$

$\mathrm{SNR}=10\lg (1+\frac{T_n·P_{\mathrm{tr}}}{{\sigma }^2})$

步骤(3.3)，当基站开启天线数为T_n时，根据用户接收功率和用户传输误码率，计算系 统反馈观测概率矩阵O_n，可以表示为：

其中，o₁表示考虑用户接收功率所带来的影响，o₂表示考虑用户误码率所带来的影响， pp_m1表示在用户接入数是m个的情况下，满足用户接收功率的门限阈值α的概率，pp_m2表 示在用户接入数是m个的情况下，满足用户误码率的门限阈值β的概率，

门限阈值α和β分别满足：

$0<\alpha \le M·T_n·P_{\mathrm{tr}}·{\left(\frac{l_n}{H_n}\right)}^{-h_{S,D}}$

${\left(\mathrm{SNR}\right)}^{-\left(T_n\right)}<\beta \le {\left(\mathrm{SNR}\right)}^{-(M·T_n)}$

pp_m1和pp_m2的计算方法如下：

${\mathrm{pp}}_{m1}=\left(\begin{array}{cc}1-\delta & P_{\mathrm{user}\_m}\ge a\\ \delta & P_{\mathrm{user}\_m}<a\end{array}\right)$

${\mathrm{pp}}_{m2}=\left(\begin{array}{cc}1-ϵ& \mathrm{Pe}>\beta \\ ϵ& \mathrm{Pe}\le \beta \end{array}\right)$

其中，δ和ε分别满足：

0＜δ≤1,0＜ε≤1

步骤(4)，在完成步骤(1)-步骤(3)构造用户数转移矩阵和反馈观测矩阵后，开始计算每 一时刻的最优资源分配，按下式计算所述的用户信度状态概率(belief state,BS)，即根据 天线开启数T_n所对应的状态转移矩阵S_n和反馈观测矩阵O_n，以及上一时刻k-1的用户BS 值b(s)_nlm，计算此时刻k的b_nlm值：

$b_{\mathrm{nlm}}=\eta O_n\left(o_l\right|s_m^{\prime },T_n)\underset{s_m=s_I}{\overset{s_m=s_M}{\Sigma }}{S}_n\left(s_m^{\prime }\right|s_m,T_n)b{\left(s\right)}_{\mathrm{nlm}}$

η＝1/Pr(o|b,T)

$\mathrm{Pr}\left(o\right|b,T)=\underset{s_m^{\prime }=s_I^{\prime }}{\overset{s_m^{\prime }=s_M^{\prime }}{\Sigma }}{O}_n\left(o_l\right|s_m^{\prime },T_n)\underset{s_m=s_I}{\overset{s_m=s_M}{\Sigma }}{S}_n\left({s^{\prime }}_m\right|s_m,T_n)b{\left(s\right)}_{\mathrm{nlm}}$

其中，S_n(s'_m|s_m,T_n)表示在基站开启天线数为T_n时，用户接入数从s_m转移到s'_m的概率， O_n(o_l|s'_m,T_n)表示在基站开启天线数为T_n时，接入用户数s'_m对应第l(l＝1或l＝2)种反馈 QoS优化目标的概率，η为中间变量，第一时刻的初始b(s)_nlm值设定为：

分别计算后，分别带入b_nlm值，可得到在基站天线开启数从1至T_N、接入用户数从1到M、 对应两种反馈QoS优化目标的b'(s')_nlm矩阵：

步骤(5)，计算基站开启天线数为T_n、接入用户数为s_m时的系统传输速率c_nm，即对应 各种情形所获得的数据传输速率C：

其中，$c_{\mathrm{nm}}=B·{\log }_2(1+\frac{P_{\mathrm{user}\_m}}{{\sigma }^2}{h}_{S,D}{h_{S,D}}^T);$

步骤(6)，根据步骤(4)所得的b'(s')_nlm和步骤(5)所得的数据传输速率C，计算系统在考 虑第l(l＝1或l＝2)种反馈QoS优化目标时，基站天线开启数从1至T_n所获得的系统收益 $R_{o_1}:$

其中，R_nm＝c_nm·b_nlm；

步骤(7)，确定优化目标：

步骤(7.1)，对应第l种反馈QoS优化目标方法，确定收益表示为：

$R_{o_l}=\max R(T_n,P_{\mathrm{user}\_m},\mathrm{Pe})$

即选取中最大的R_nm所对应的T_n，即为当前时刻k时，对应考虑第l(l＝1或l＝2)种 反馈QoS优化目标方法时应开启的基站天线数，对应的s_m，即为下一时刻k+1时，小区用 户接入数的初始状态b(s)_nlm；

步骤(7.2)，综合考虑用户接收功率和数据传输误码率的最大收益，表示为：

$R_{\mathrm{total}}=\gamma R_{o_1}+\lambda R_{o_2}$

其中，γ和λ分别为两种反馈QoS优化目标方法所对应的权重系数，满足：

$\left(\begin{array}{c}0<\gamma \le \mathrm{1,0}<\lambda \le 1\\ \gamma +\lambda =1\end{array}\right).$

本发明的优势在于在具有多天线基站、多用户的通信小区中，通过考虑小区内接入基 站的用户数的变化，并结合用户接收功率和数据传输误码率，使小区内的基站天线开启数 和小区用户接入数达到资源分配最优。另一方面，通过考虑反馈的QoS优化目标，进一步 完善系统优化方向，提高系统性能。通过仿真实验考察所提出的基于POMDP的受控无线网 络系统动态资源分配方法对小区内基站天线开启和接入用户数的性能影响。

附图说明

图1，通信小区模型包含基站和用户的结构示意图。

图2，基于POMDP的受控无线网络系统动态资源分配方法设计流程图。

图3，小区内用户接收功率情况对比图，图中表示本发明所述方法，表 示未考率用户接收功率的方法。

图4，小区内用户数据传输误码率情况对比图。图中表示本发明所述方法， 表示未考率用户数据传输误码率的方法。

图5，小区内不同条件下平均收益对比图。图中表示为考虑反馈优化策略，表示只考虑用户接收功率情况，表示只考虑用户数据传输误码率情况，表示 本发明所述方法。

图6，小区接入用户数情况与基站开启天线数情况对比图。表示本发明所述方 法条件下，8个用户需要接入小区基站情况，表示未考虑反馈优化策略条件下，8 个用户需要接入小区基站情况。

具体实施方式

下面结合附图和实施例对受控无线网络系统动态资源分配方法的技术方案做进一步说 明。

本发明所述方法流程图如图2所示，包括以下步骤：

步骤1，系统初始化：设定小区内包含基站天线数和用户数、设定基站发送功率、路径 衰落系数；

步骤2，重复多次观测，确定小区用户连接基站数的状态概率转移矩阵；

步骤3，根据实际需求，设定用户接收功率门限阈值a与用户数据传输误码率门限阈值 β，分别计算满足两种反馈QoS目标需求的概率，构造反馈观测矩阵；

步骤4，根据用户数转移矩阵和反馈观测矩阵以及上一时刻的用户信度状态概率(belief  state,BS)，计算此时刻的用户信度状态概率b'(s')。

步骤5，分别计算各种天线开启数所对应的各种用户接入数时可获得传输速率C。

步骤6，根据所得的b'(s')和所得的数据传输速C，计算系统在考虑用户接收功率或用 户数据传输误码率时，不同基站天线开启数所对应的系统收益

步骤7，选取最大的系统收益所对应的基站天线开启数和用户接入数，即为考虑用 户接收功率或用户数据传输误码率时，此时刻使小区获得最优资源分配的基站天线开启数 和下一时刻的用户接入数，综合考虑用户接收功率和用户数据传输误码率，可获得系统最 大收益：$R_{\mathrm{total}}=\gamma R_{o_1}+\lambda R_{o_2}.$

本发明在PC机上仿真实现是使用Matlab语言进行编程。MATLAB是一种高级的矩阵 语言，包含控制语句、函数、数据结构、输入和输出和面向对象编程特点，是包含大量计 算算法的集合。其拥有600多个工程中要用到的数学运算函数，可以方便的实现用户所需 的各种计算功能。

图3为小区内用户接收功率情况对比图。由图3可知，本发明所述方法在不同基站开 启天线数的条件下，用户接收功率数值始终优于未考虑反馈接收功率的情况。在基站开启 天线数为3根时，本发明所述方法对应的用户接收功率可达72.5W，而未考虑反馈优化的 方法对应用户接收功率仅为62.5W。可以得出，用户接收功率与基站开启天线数有关，总 趋势均随基站天线开启数的增大而增大，但基于本发明所述内容所得的用户接收功率始终 优于未考虑反馈优化方法所对应的情况。

图4为小区内用户数据传输误码率情况对比图。由图4可知，在数据传输过程中，在 不同基站开启天线数的条件下，小区内用户数据传输误码率也随之变化。当基站开启天线 数为4根时，本发明所述方法所对应的用户数据传输误码率仅为6.30％，而未考虑反馈优 化的方法对应用户数据传输误码率为9.62％。同时，在相同传输误码率的条件下，相比于 未考虑反馈优化方法，本发明所述方法可明显降低基站天线开启数，从而达到节能目的。 例如，当传输误码率均要求达到10％左右时，使用本发明所述方法，基站仅需开启1根天 线即可，而使用未考虑反馈优化的方法则需要基站开启4根天线。

图5为小区内用户接入数与基站天线开启数的情况对比图。由图5可知，当基站开启 相同天线数时，相比于不采用反馈优化方法，采用本发明所述方法可显著提升小区内用户 接入数。某时刻，当小区内有8个用户需要接入基站时，本发明所述方法基站只需开启4 根基站，而采用未考虑反馈优化的方法，需要基站开启6根天线。由此可见，当用户数接 入相同条件下，采用本发明所述方法可有效降低基站天线开启数，换言之，若基站开启天 线数相同，则采用本发明方法时，小区基站可接入更多的用户。

为了与现有技术和本发明所述方法中的各个反馈优化目标进行比较，图6同时对不同 方法的系统收益进行了仿真实验。图6根据不同反馈优化目标条件下，本发明所述方法与 现有技术方法的系统收益对比图。由图6可知，在基站开启任意天线数的条件下，本发明 所述方案中综合考虑用户接收功率和用户数据传输误码率时，可获得最大系统收益，所述 方法中的只考虑功率反馈策略所获得的系统收益要优于只考虑用户接收功率所获得的系 统收益，但三种情况所获得的系统收益均优于未考虑反馈优化的方法，进一步证明了使用 本发明所述将使系统获得更大的收益。