无线网状网络实现最优化联合连接允许和路由控制的方法

摘要

本发明涉及一种无线网状网络实现最优化联合连接允许和路由控制的方法，包括确定无线网状网络中的状态空间以及系统当前的状态、确定对应的行为空间、在行为空间中根据最大化网络运营平均报酬准则决定选择相应的行为、执行被决定选择的行为、更新系统当前的状态、当无线网状网络中有下一个事件发生时返回重复执行。采用该种无线网状网络实现最优化联合连接允许和路由控制的方法，能够最佳控制允许或不允许接入以及是允许新的连接还是允许切换连接接入，保证了切换连接在所有相同等级的连接请求中优先级最高，适应无线网状网络的多种业务类型和业务条件，有效提高了网络服务质量和运营收益，降低了计算复杂度，工作性能稳定可靠，适用范围较为广泛。

说明书

技术领域

本发明涉及移动通信技术领域，特别涉及无线网状网络中的业务调度的控制技术领域，具体是指一种无线网状网络实现最优化联合连接允许和路由控制的方法。

背景技术

无线网状网络是多跳无线网络结构，它包含网状路由器和网状客户端。它是一种与传统无线网络完全不同的新型无线网络技术。网状路由器可以组成无线网状网络的回传链路。这种结构的最大好处在于如果最近的路由由于流量过大而导致拥塞的话，那么数据可以自动重新路由到一个通信流量较小的邻近节点进行传输。依此类推，数据包还可以根据网络的情况，继续路由到与之最近的下一个节点进行传输，直到到达最终目的地为止。这样的访问方式就是多跳访问。一些路由器被称为网关节点，可以通过有线的宽频网路连接到互联网的骨干网。其实人们熟知的国际互联网就是一个网状网络的典型例子。例如，当发送一份电子邮件时，电子邮件并不是直接到达收件人的信箱中，而是通过路由器从一个服务器转发到另外一个服务器，最后经过多次路由转发才到达用户的信箱。在转发的过程中，路由器一般会选择效率最高的传输路径，以便使电子邮件能够尽快到达用户的信箱。与传统的交换式网络相比，无线网状网络去掉了节点之间的布线需求，但仍具有分布式网络所提供的冗余机制和重新路由功能。在无线网状网络里，如果要添加新的设备，只需要简单地接上电源就可以了，它可以自动进行自我配置，并确定最佳的多跳传输路径。添加或移动设备时，网络能够自动发现拓扑变化，并自动调整通信路由，以获取最有效的传输路径。

近来，基于IEEE 802.16系列标准的WiMax系统因为能提供宽带无线接入，正成为一种很有前途的系统。WiMax能够提供更宽的带宽和更大传输范围，因此WiMax是能够为大型无线网状网络提供快速回传的最理想的选择。

在无线网状网络中，终端用户可以在无线骨干网上通过直接或多跳通信方式和有线的互联网之间进行业务交互。在无线网状网络中可以执行多种具有不同服务质量要求的业务。在一个多跳的无线网状网络中，提供保证服务质量的通信对于无线网状网络来说是一种挑战。

在无线网状网络中，已经理论上开始研究允许控制和路由机制。参考文献1(D.Niyato andE.Hossain，“A radio resource management framework for IEEE 802.16-based OFDM/TDDwireless mesh networks，”in Proc.IEEE ICC’06，pp.3911-3916，June 2006.)的作者和参考文献2(M.P.G.W.S.Lee，G.Narlikar and L.Zhang，“Admission control for multihop wireless backhaulnetworks with QoS support，”in Proc.IEEE WCNC’06，pp.92-97，April 2006.)的作者都提出了一些在无线网状网络中保证服务质量的算法，但是，这些算法仅仅考虑了一种类型的服务，要扩展这种机制能应用到多种类型的服务中去并不是一件很容易的事。

另外，在无线网状网络中，为了能够向移动用户提供无缝的移动支持，在基站与基站之间必须要保证正在进行的连接能够进行切换。从用户的角度来说，强行终止一个正在建立的连接比阻止一个新的连接接入更可恶，连接的切换功能应该具有更高的优先级。所以保证服务质量就应当将多种业务的新连接或切换连接的阻塞概率限制在一个最高的门限范围之内。

发明内容

本发明的目的是克服了上述现有技术中的缺点，提供一种能够适应无线网状网络的多种业务类型和业务条件、有效提高网络服务质量和运营收益、降低计算复杂度、工作性能稳定可靠、适用范围较为广泛的无线网状网络实现最优化联合连接允许和路由控制的方法。

为了实现上述的目的，本发明的无线网状网络实现最优化联合连接允许和路由控制的方法如下：

该无线网状网络实现最优化联合连接允许和路由控制的方法，其主要特点是，所述的方法包括以下步骤：

(1)确定无线网状网络中的状态空间以及系统当前的状态；

(2)在所述的状态空间中确定对应的行为空间；

(3)在所述的行为空间中根据最大化网络运营平均报酬准则决定选择相应的行为；

(4)执行该被决定选择的行为；

(5)更新系统当前的状态；

(6)当无线网状网络中有下一个事件发生时，返回上述步骤(2)。

该无线网状网络实现最优化联合连接允许和路由控制的方法中的确定无线网状网络中的状态空间以及系统当前的状态，包括以下步骤：

(11)根据以下公式确定无线网状网络中的系统状态x(t)：

$x\left(t\right)={\left(\begin{array}{cccc}{z}_1^1\left(t\right)& z_1^2\left(t\right)& ...& z_1^K\left(t\right)\\ z_2^1\left(t\right)& z_2^2\left(t\right)& ...& z_2^K\left(t\right)\\ ...& ...& ...& ...\\ z_J^1\left(t\right)& z_J^1\left(t\right)& ...& z_J^K\left(t\right)\end{array}\right)}_{J\times K}\in {Z_{+}}^{J\times K};$

其中z_j^k(t)为当前在路由k上所承载的激活的业务类型为j的连接的数量；

(12)根据以下公式确定该无线网状网络的状态空间X以及系统当前的状态：

$X=\{x\in Z_{+}^{J\times K}:\underset{k=1}{\overset{K}{\Sigma }}\underset{j=1}{\overset{J}{\Sigma }}{f}^l\left(k\right)z_j^{k}b\left(j\right)\le B\left(l\right),\forall l\in L\};$

其中，f^l(k)路径k通过链接，l的业务数量，l∈L，

b(j)为第j种类型业务所要求的带宽，B(l)是链路的容量。

该无线网状网络实现最优化联合连接允许和路由控制的方法中的在状态空间中确定对应的行为空间，包括以下步骤：

(21)根据以下公式确定要求无线网状网络的业务所执行的选择行为a(t_n)：

$a\left(t_n\right)={\left(\begin{array}{cccc}{a}_1^1\left(t_n\right)& a_1^2\left(t_n\right)& ...& a_1^K\left(t_n\right)\\ a_2^1\left(t_n\right)& a_2^2\left(t_n\right)& ...& a_2^K\left(t_n\right)\\ ...& ...& ...& ...\\ a_J^1\left(t_n\right)& a_J^1\left(t_n\right)& ...& a_J^K\left(t_n\right)\end{array}\right)}_{J\times K};$

其中t_n为决策时间点，a_j^k(t_n)为在t_n时系统对在路由k上进行的第j种业务类型连接的行为，1代表系统允许第j种类型连接接入到路由k上，0代表系统拒绝这个连接；

(22)根据以下公式确定无线网状网络的状态空间X中的行为空间A_x：

其中，$e_{\mathrm{jk}}^u\in {\left\{\mathrm{0,1}\right\}}_{J\times K}$为一个除了第j行和第k列的元素为1外，其他元素都为0的矩阵，(x+e_jk^u)表示在无线网状网络的路径k上进行的第j种类型连接的数目增加一个。

该无线网状网络实现最优化联合连接允许和路由控制的方法中的根据最大化网络运营平均报酬准则决定选择相应的行为，包括以下步骤：

(31)根据以下公式得到系统的状态转移概率p_xy(a)：

其中τ_x(a)为系统(x，a)对下的期望逗留的时间，

${\tau }_x\left(a\right)={[\underset{k=1}{\overset{K}{\Sigma }}\underset{j=1}{\overset{J}{\Sigma }}{\lambda }_j{a}_j^k+\underset{k=1}{\overset{K}{\Sigma }}\underset{j=1}{\overset{J}{\Sigma }}{\mu }_j{z}_j^k]}^{-1};$

所述的p_xy(a)为在时刻t_n状态为x行为为a的条件下，在时刻t_n+1系统状态转移到y的概率；如果第j种业务类型的连接能够被路由k接受，那么其中的连接到达过程的概率为∑_k＝1^K∑_j＝1^Jλ_j^k，连接分离过程的概率为∑_k＝1^K∑_j＝1^Jμ_j^kz_j^k；

(32)根据以下公式得到系统运营的平均报酬J_u：

$J_u=\left(x_0\right)=\underset{T\to \infty }{\lim }\frac{1}{T}E\left\{{\int }_0^{T}r(x\left(t\right),a\left(t\right))\mathrm{dt}\right\};$

其中，x₀为初始状态，r(x(t)，a(t))为当行为a(t)在状态x(t)下被选择时所期望的一直持续到下一个决策时间点的报酬，

$r(x,a)=\underset{j=1}{\overset{J}{\Sigma }}\underset{k=1}{\overset{K}{\Sigma }}{w}_j^k{a}_j^k$

w_j^k是在路径k上进行第j种业务类型的连接的数量；

(33)根据使单位时间内网络运营平均报酬最大化的控制准则列出以下方程组：

$\underset{z_{\mathrm{xa}}\ge 0,x\in X,a\in A_x}{\max }\underset{x\in X}{\Sigma }\underset{a\in A_x}{\Sigma }r(x,a){\tau }_x\left(a\right)z_{\mathrm{xa}},$

相应的约束条件为：

$\underset{a\in A_y}{\Sigma }{z}_{\mathrm{ya}}-\underset{x\in X}{\Sigma }\underset{a\in A_x}{\Sigma }{p}_{\mathrm{xy}}\left(a\right)z_{\mathrm{xa}}=0,y\in X;$

$\underset{x\in X}{\Sigma }\underset{a\in A_x}{\Sigma }{z}_{\mathrm{xa}}{\tau }_x\left(a\right)=1;$

$\underset{x\in X}{\Sigma }\underset{a\in A_x}{\Sigma }\underset{k=1}{\overset{K}{\Pi }}(1-a_j^k)z_{\mathrm{xa}}{\tau }_x\left(a\right)\le {\gamma }_j,j=\mathrm{1,2},...,J;$

其中，z_xaτ_x(a)为收益r(x，a)的权值，即系统状态(x，a)被选择后的稳定状态的概率，γ_j为进行第j种业务类型的连接的网络阻塞率的上限值；

(34)使用线性规划算法或者加强学习算法对于以上的方程组求解，得到被决定选择的最佳行为。

采用了该发明的无线网状网络实现最优化联合连接允许和路由控制的方法，由于其将网状网络中的联合连接允许和路由控制的问题建模成为半马尔可夫决策过程，并基于可编程的线性算法来计算最佳允许控制和路由路径，从而在保证多种业务类型的服务质量的同时将全部收益最大化，并能够最佳的控制允许或不允许接入以及是允许一个新的连接还是允许切换连接接入，而且考虑了不同服务类型业务的报酬率，能够最大化网络的收益，还可以保证如阻止新连接或切换连接的阻塞率等的网络层的服务质量约束，且保证了切换连接在所有具有相同等级的连接请求中优先级是最高的，能够适应无线网状网络的多种业务类型和业务条件，有效提高了网络服务质量和运营收益，降低了计算复杂度，而且工作性能稳定可靠，适用范围较为广泛。

附图说明

图1为无线网状网络联合系统架构示意图。

图2为本发明的无线网状网络实现最优化联合连接允许和路由控制的方法的整体状态转移示意图。

具体实施方式

为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。

无线城域网状网的基础结构和骨干结构都是采用IEEE 802.16技术。请参阅图1所示，其中显示了一个无线网状网络的示例。这种网状网络包含固定的网状路由器和终端移动用户。这些网状路由器形成了多跳无线高速链路，以使它能够和移动用户进行业务的交互。一个IEEE 802.16的小区包含一个基站和一个或多个移动用户。无线网状路由器在服务区内以基站的形式为移动用户提供服务。移动用户通过网关在基站之间进行漫游并且接入到有线网络中。

IEEE 802.16不仅支持时分双工(TDD)还支持频分双工(FDD)。本发明中认为在网状网络中的回传传输采用的时分双工(TDD)机制，是以支持时分多路接入的正交频分多路技术为基础的。

在物理层中，自适应调制编码被用来根据实际的信道性能来调节传输速率的。本发明用常用的Nakagami-m信道模型来描述接收到的信噪比，其中记录了信道的质量。每一帧接收到的信噪比γ是Gamma概率密度函数的随机值：

$P_{\gamma }\left(\gamma \right)=\frac{m^m{\gamma }^{m-1}}{{\bar{\gamma }}^m\Gamma \left(m\right)}\exp (-\frac{\mathrm{m\gamma }}{\bar{\gamma }})......\left(1\right)$

其中的m是Nakagami的衰落因子，γ：＝E{γ}是接收到的信噪比的期望值，$\Gamma \left(m\right):={\int }_0^{\infty }{t}^{m-1}\exp (-t)\mathrm{dt}$是Gamma函数。定义N是有效传输模式的总数(在IEEE 802.16中N＝7)。信噪比的范围可以划分为N+1个非重叠区域的边界点，定义为{{γ_n}_n＝0^N+1}。

如果γ∈[γ_n，γ_n+1)，那么模式n将会被用到。选择模式n的概率可以通过下面的公式得到：

$\mathrm{P\gamma }\left(n\right)={\int }_{{\gamma }_n}^{{\gamma }_{n+1}}{p}_{\gamma }\left(\gamma \right)\mathrm{d\gamma }=\frac{\Gamma (m,{\mathrm{m\gamma }}_n/\bar{\gamma })-\Gamma (m,{\mathrm{m\gamma }}_{n+1}/\bar{\gamma })}{\Gamma \left(m\right)}......\left(2\right)$

其中$\Gamma (m,x):={\int }_x^{\infty t}{t}^{m-1}\exp (-t)\mathrm{dt}$是补充不完善的Gamma函数。

在本发明的模型中，用每个链路上的平均传输速率作为网状回传网络中每个链路的容量，本发明用下面的公式来计算这个容量：

$C_{\mathrm{avg}}=\underset{n=1}{\overset{N}{\Sigma }}{P}_r\left(n\right)C\left(n\right)......\left(3\right)$

其中C(n)是利用信道模式n时，有用的信道容量。

在IEEE 802.16中，定义了面向连接的MAC层。在数据包传输之前必须要建立一个连接。每个连接与一个业务流相关联，每个业务流与一组服务质量参数有关。通过一系列的多媒体控制层的管理消息来执行创建、修改或删除业务流。在基于IEEE 802.16的网状网络中，移动用户对于每个基本的连接都要求一定的带宽。在基站或网状路由器中的允许控制模块会集中这些请求，然后和在网状网络中一样，评估基站中的有效资源，再决定是否允许这个连接接入。

IEEE 802.16协议定义了5类服务：

·非恳求授权服务(UGS)

·即时轮询服务(rtPS)

·非实时轮询服务(nrtPS)

·尽力服务(BE)

·扩展轮询服务(ertPS)

每种类型的服务都有不同服务质量要求。因此，必须对不同类型的服务进行优先级排序。例如UGS服务具有最高优先级，rtPS服务优先级第二，ntrPS服务优先级第三，BE服务具有最低优先级。网络的资源被保留，用于具有更高优先级的服务类型，然后才是用于低优先级的服务类型。如果网络没有足够的资源来满足用户连接的服务质量的要求，那么该连接请求将被拒绝。

在无线网状网络中，网状路由器主要是固定的，也不会有功率约束。因为这种类型的网络基本没有拓扑结构的改变和有限的节点失败，因此这种类型的网络的行为和有线的网络行为就十分相似了。节点的增加和维持也很少。在本发明所设计的系统中，每个网状路由器都具备多个无线系统，每个无线系统都运行在不同的信道上。因为有限的可用信道和干扰的限制，联合考虑路由和信道分配对无线网状网络来说是很难的。为了确保新的连接和切换的连接的允许结果能够迅速的得出，在回传网状网络中对于每个源目节点对，本发明使用以前计算的路径。这个可以在网络部署阶段得到。

请参阅图2所示，该无线网状网络实现最优化联合连接允许和路由控制的方法，包括以下步骤：

该无线网状网络实现最优化联合连接允许和路由控制的方法，其主要特点是，所述的方法包括以下步骤：

(1)确定无线网状网络中的状态空间以及系统当前的状态，包括以下步骤：

(a)根据以下公式确定无线网状网络中的系统状态x(t)：

$x\left(t\right)={\left(\begin{array}{cccc}{z}_1^1\left(t\right)& z_1^2\left(t\right)& ...& z_1^K\left(t\right)\\ z_2^1\left(t\right)& z_2^2\left(t\right)& ...& z_2^K\left(t\right)\\ ...& ...& ...& ...\\ z_J^1\left(t\right)& z_J^1\left(t\right)& ...& z_J^K\left(t\right)\end{array}\right)}_{J\times K}\in {Z_{+}}^{J\times K};$

其中z_j^k(t)为当前在路由k上所承载的激活的业务类型为j的连接的数量；

(b)根据以下公式确定该无线网状网络的状态空间X以及系统当前的状态：

$X=\{x\in Z_{+}^{J\times K}:\underset{k=1}{\overset{K}{\Sigma }}\underset{j=1}{\overset{J}{\Sigma }}{f}^l\left(k\right)z_j^{k}b\left(j\right)\le B\left(l\right),\forall l\in L\};$

其中，f^l(k)路径k通过链接l的业务数量，l∈L，

b(j)为第j种类型业务所要求的带宽，B(l)是链路的容量；

(2)在所述的状态空间中确定对应的行为空间，包括以下步骤：

(a)根据以下公式确定要求无线网状网络的业务所执行的选择行为a(t_n)：

$a\left(t_n\right)={\left(\begin{array}{cccc}{a}_1^1\left(t_n\right)& a_1^2\left(t_n\right)& ...& a_1^K\left(t_n\right)\\ a_2^1\left(t_n\right)& a_2^2\left(t_n\right)& ...& a_2^K\left(t_n\right)\\ ...& ...& ...& ...\\ a_J^1\left(t_n\right)& a_J^1\left(t_n\right)& ...& a_J^K\left(t_n\right)\end{array}\right)}_{J\times K};$

其中t_n为决策时间点，a_j^k(t_n)为在t_n时系统对在路由k上进行的第j种业务类型连接的行为，1代表系统允许第j种类型连接接入到路由k上，0代表系统拒绝这个连接；

(b)根据以下公式确定无线网状网络的状态空间X中的行为空间A_x：

其中，$e_{\mathrm{jk}}^u\in {\left\{\mathrm{0,1}\right\}}_{J\times K}$为一个除了第j行和第k列的元素为1外，其他元素都为0的矩阵，(x+e_jk^u)表示在无线网状网络的路径k上进行的第j种类型连接的数目增加一个；

(3)在所述的行为空间中根据最大化网络运营平均报酬准则决定选择相应的行为，包括以下步骤：

(a)根据以下公式得到系统的状态转移概率p_xy(a)：

其中τ_x(a)为系统(x，a)对下的期望逗留的时间，

${\tau }_x\left(a\right)={[\underset{k=1}{\overset{K}{\Sigma }}\underset{j=1}{\overset{J}{\Sigma }}{\lambda }_j{a}_j^k+\underset{k=1}{\overset{K}{\Sigma }}\underset{j=1}{\overset{J}{\Sigma }}{\mu }_j{z}_j^k]}^{-1};$

所述的p_xy(a)为在时刻t_n状态为x行为为a的条件下，在时刻t_n+1系统状态转移到y的概率；如果第j种业务类型的连接能够被路由k接受，那么其中的连接到达过程的概率为∑_k＝1^K∑_j＝1^Jλ_j^k，连接分离过程的概率为∑_k＝1^K∑_j＝1^Jμ_j^kz_j^k；

(b)根据以下公式得到系统运营的平均报酬J_u：

$J_u=\left(x_0\right)=\underset{T\to \infty }{\lim }\frac{1}{T}E\left\{{\int }_0^{T}r(x\left(t\right),a\left(t\right))\mathrm{dt}\right\};$

其中，x₀为初始状态，r(x(t)，a(t))为当行为a(t)在状态x(t)下被选择时所期望的一直持续到下一个决策时间点的报酬，

$r(x,a)=\underset{j=1}{\overset{J}{\Sigma }}\underset{k=1}{\overset{K}{\Sigma }}{w}_j^k{a}_j^k$

w_j^k是在路径k上进行第j种业务类型的连接的数量；

(c)根据使单位时间内网络运营平均报酬最大化的控制准则列出以下方程组：

$\underset{z_{\mathrm{xa}}\ge 0,x\in X,a\in A_x}{\max }\underset{x\in X}{\Sigma }\underset{a\in A_x}{\Sigma }r(x,a){\tau }_x\left(a\right)z_{\mathrm{xa}},$

相应的约束条件为：

$\underset{a\in A_y}{\Sigma }{z}_{\mathrm{ya}}-\underset{x\in X}{\Sigma }\underset{a\in A_x}{\Sigma }{p}_{\mathrm{xy}}\left(a\right)z_{\mathrm{xa}}=0,y\in X;$

$\underset{x\in X}{\Sigma }\underset{a\in A_x}{\Sigma }{z}_{\mathrm{xa}}{\tau }_x\left(a\right)=1;$

$\underset{x\in X}{\Sigma }\underset{a\in A_x}{\Sigma }\underset{k=1}{\overset{K}{\Pi }}(1-a_j^k)z_{\mathrm{xa}}{\tau }_x\left(a\right)\le {\gamma }_j,j=\mathrm{1,2},...,J;$

其中，z_xaτ_x(a)为收益r(x，a)的权值，即系统状态(x，a)被选择后的稳定状态的概率，γ_j为进行第j种业务类型的连接的网络阻塞率的上限值；

(d)使用线性规划算法或者加强学习算法对于以上的方程组求解，得到被决定选择的最佳行为；

(4)执行该被决定选择的行为；

(5)更新系统当前的状态；

(6)当无线网状网络中有下一个事件发生时，返回上述步骤(2)。

在实际使用当中，本发明使用semi-Markov来描述无线网状网络中最佳允许控制和路由问题。当一个新的连接或切换连接到达基站或网状路由器的时候，根据网络有效资源的情况，必须立刻决定是否是允许这个连接接入或哪个路由将被允许。在半马尔可夫决策过程模型中，这些时间点被称为决策纪元，而决策被称为行为。行为的选择是以网络的当前状态为基础的。在网状网络中，这些状态信息就包含了每个路由器每种类型业务的会话的数目。半马尔可夫决策过程模型的最优准则是每个单位时间内长期平均报酬。使用一种基于线性的算法来提供最优的允许控制。

本发明中，将IEEE 802.16无线网状网络描述为一组包含所有移动用户和网状路由器或网关节点N＝{1，...，N}和一组包含所有回传链接以及移动用户和基站之间的链接的无线链接L＝{1，...，L}。每一个链接l有一个总容量为B(1)单元的带宽。网状网络提供J种不同类型的服务。假设连接到达是一个独立的泊松过程。每种类型的服务，连接到达的强度和持续的时间分别为：λ_j和1/μ_j，特别地，类型j新连接或切换连接到达时，其开始节点为O，目标节点为D的，它要么被拒绝(报酬为0)要么被接受(报酬为r(j)，r(j)可以被认为是承载j类型连接的平均报酬)。为了接受这个连接，本发明需要从满足从O到D的所有可行路径的集合K＝{1，...，K}中选择一个路径k。假设新的连接要求的带宽是b(j)。那么选择的路由的每个节点和链接至少要有b(j)单元的有效带宽用于新的连接。为了能够获取最佳的解决方案，必须要确定无线网状网络的状态空间、决策、时期、行为、状态动态变化、报酬和约束。

(1)状态空间

所设计的系统状态可以用一个矩阵来进行描述：

$x\left(t\right)={\left(\begin{array}{cccc}{z}_1^1\left(t\right)& z_1^2\left(t\right)& ...& z_1^K\left(t\right)\\ z_2^1\left(t\right)& z_2^2\left(t\right)& ...& z_2^K\left(t\right)\\ ...& ...& ...& ...\\ z_J^1\left(t\right)& z_J^1\left(t\right)& ...& z_J^K\left(t\right)\end{array}\right)}_{J\times K}\in {Z_{+}}^{J\times K}......\left(4\right)$

其中z_j^k(t)表示当前在路由k上承载的激活的类型j的连接的数目。

在网状网络中，给定一个链接l∈L，一个路径可能会也可能不会通过链接l。所有通过链接l的业务不应该超过该链接本身的容量。本发明定义f^l(k)为：

系统的状态空间X由满足下列条件的任何状态矩阵组成：

$\underset{k=1}{\overset{K}{\Sigma }}\underset{j=1}{\overset{J}{\Sigma }}{f}^l\left(k\right)z_j^{k}b\left(j\right)\le B\left(l\right),\forall l\in L......\left(5\right)$

其中b(j)表示第j种类型业务所要求的带宽，B(l)是链路的容量。

因此，半马尔可夫决策过程模型的状态空间可以定义为：

$X=\{x\in Z_{+}^{J\times K}:\underset{k=1}{\overset{K}{\Sigma }}\underset{j=1}{\overset{J}{\Sigma }}{f}^l\left(k\right)z_j^{k}b\left(j\right)\le B\left(l\right),\forall l\in L\}......\left(6\right)$

(2)决策纪元和行为

任何时候发生的事件，如新连接或切换连接的到达，已存在的连接的终止等，都会引起网状网络的状态的变化。在每个决策纪元t_n，n＝0，1，2，...，网络都会对每个可能的到达和离开作出决定。这些决定被认为是一种行为。在给定的状态下，对于每一种类型的业务来说，最多存在两种选择行为(拒绝或接受)。在决策纪元t_n的行为a(t_n)可以定义如下：

$a\left(t_n\right)={\left(\begin{array}{cccc}{a}_1^1\left(t_n\right)& a_1^2\left(t_n\right)& ...& a_1^K\left(t_n\right)\\ a_2^1\left(t_n\right)& a_2^2\left(t_n\right)& ...& a_2^K\left(t_n\right)\\ ...& ...& ...& ...\\ a_J^1\left(t_n\right)& a_J^1\left(t_n\right)& ...& a_J^K\left(t_n\right)\end{array}\right)}_{J\times K}......\left(7\right)$

其中a_j^k(t)定义了在路由k上进行的第j种类型连接的行为。如果$a_j^k\left(t\right)=1,$允许第j种类型连接接入到路由k上。如果$a_j^k\left(t\right)=0,$那么拒绝这个连接。本发明中认为一个连接只能在一个路由上进行。

行为空间可以定义为：

对于一个给定的状态x∈X，一个选择的行为不会导致状态转移到不是属于X的一个状态。另外，行为{0}_J×K不会只是状态{0}_J×K中的可能行为。否则的话，新的连接决不会被允许接入到网络，而系统也不会改变。因此，给定状态x∈X的行为空间可以定义为：

其中$e_{\mathrm{jk}}^u\in {\left\{\mathrm{0,1}\right\}}_{J\times K}$表示一个除了第j行和第k列的元素为1外其余都为O的矩阵。(x+e_jk^u)相当于在路径k上进行的第j种类型连接的数目加1。

(3)状态的动态变化

网状网络的状态动态变化可以用每个状态一行为的嵌入式链P_xy(a)的状态转移概率和期望的逗留时间τ_x(a)来进行描述。

由于连接的到达和分离是相互独立的泊松过程，那么它们的累积过程也应该是一个泊松分布过程。如果第j种类型的连接能够被路由k接受，那么这个过程的结果就包括概率为∑_k＝1^K∑_j＝1^Jλ_j^k的连接到达过程和概率为∑_k＝1^K∑_j＝1^Jμ_j^kz_j^k的连接分离过程。这种累积事件率是所有子过程概率的总和，期望的逗留时间是事件发生率的转置矩阵。

${\tau }_x\left(a\right)={[\underset{k=1}{\overset{K}{\Sigma }}\underset{j=1}{\overset{J}{\Sigma }}{\lambda }_j{a}_j^k+\underset{k=1}{\overset{K}{\Sigma }}\underset{j=1}{\overset{J}{\Sigma }}{\mu }_j{z}_j^k]}^{-1}......\left(10\right)$

嵌入式链的状态转移概率P_xy(a)定义如下：

(4)策略和报酬

对于每一个给定的状态x∈X，根据方案u_x∈U来选择一个行为a∈A_x，其中U是定义如下的允许策略：

$U=\{u:X\to A|u_x\in A_x,\forall x\in X\}......\left(12\right)$

本发明中，认为平均报酬标准是性能标准。对于任何策略u_x∈U和初始状态x₀，平均报酬定义如下：

$J_u=\left(x_0\right)=\underset{T\to \infty }{\lim }\frac{1}{T}E\left\{{\int }_0^{T}r(x\left(t\right),a\left(t\right))\mathrm{dt}\right\}......\left(13\right)$

其中，当a(t)在状态x(t)下被选择时，r(x(t)，a(t))表示期望的一直持续到下一个决策纪元的报酬。目标是在初始状态x₀找一个最佳的策略u^*来最大化J_u(x₀)。通过解与半马尔可夫决策过程相关的线性算法来获取。

基于状态x下发生了行为a，那么网络就会得到报酬r(x，a)。这个报酬可以定义为：

$r(x,a)=\underset{j=1}{\overset{J}{\Sigma }}\underset{k=1}{\overset{K}{\Sigma }}{w}_j^k{a}_j^k......\left(14\right)$

其中w_j^k是与在路径k上进行第j种类型的连接的数量。

(5)约束

在当前的问题描述中，系统中所有连接的信噪比约束可以通过限制公式(5)中的状态空间来进行保证。另外，必须通过降低某种类型的业务或切换业务到达的阻塞概率来提高服务质量。因此，本发明需要在该模型中计算连接的阻塞概率。既然本发明可以从给定状态-行为中获取期望的逗留时间，那么第j种类型业务的阻塞概率能定义成时间片断，系统处于一组状态$X_j^b⋐X$中，选择的行为是一组行为$A_{\mathrm{xj}}^b⋐A$中，其中$x_j^b\in X_j^b,$

$A_x^j=\{a\in A:a_j^k=0,k=1,...,K\}$

$P_j^b=\underset{T\to \infty }{\lim }\frac{1}{T}E\left\{{\int }_0^T\underset{k=1}{\overset{K}{\Sigma }}(1-a_j^k\left(t\right)){\tau }_{x\left(t\right)}\left(a\left(t\right)\right)\mathrm{dt}\right\}=\frac{{\Sigma }_{x\in X_j^b}{\Sigma }_{a\in A}{\tau }_x\left(a\right)}{{\Sigma }_{x\in X}{\Sigma }_{a\in A}{\tau }_x\left(a\right)}......\left(15\right)$

这种与阻塞概率相关的约束可以表示为：

$P_j^b\le {\gamma }_j,j=\mathrm{1,2},...,J......\left(16\right)$

这种阻塞概率约束在线性工程公式中，可以很容易的通过定义与这些约束相关的成本函数来进行处理。

$C_j^b(x,a)=\underset{k=1}{\overset{K}{\Pi }}(1-a_j^k),j=\mathrm{1,2},...,J......\left(17\right)$

(6)解决半马尔可夫决策过程模型的线性算法

半马尔可夫决策过程模型的最佳策略u^*可以通过解决下面的可编程的线性公式来获得。

$z_{\mathrm{xa}}\ge 0,x\stackrel{\max }{\in }X,a\in A_x\underset{x\in X}{\Sigma }\underset{a\in A_X}{\Sigma }r(x,a){\tau }_x\left(a\right)z_{\mathrm{xa}}$

满足：

$\underset{a\in A_y}{\Sigma }{z}_{\mathrm{ya}}-\underset{x\in A}{\Sigma }\underset{a\in A_x}{\Sigma }{P}_{\mathrm{xy}}\left(a\right)z_{\mathrm{xa}}=0,y\in X$

$\underset{x\in X}{\Sigma }\underset{a\in A_x}{\Sigma }{z}_{\mathrm{xa}}{\tau }_x\left(a\right)=1......\left(18\right)$

$\underset{x\in X}{\Sigma }\underset{a\in A_x}{\Sigma }\underset{k=1}{\overset{K}{\Pi }}(1-a_j^k)z_{\mathrm{xa}}{\tau }_x\left(a\right)\le {\gamma }_j,j=\mathrm{1,2},...,J$

其中决定变量是z_xa，x∈X，a∈A_x。而条件z_xaτ_x(a)可以看作的系统状态x，a被选择后的稳定状态的概率。第一个约束是一个平衡方程式，第二个约束能够保证稳定状态概率的和为1。网络层的新连接和切换连接阻塞概率约束在第三个公式中。因为抽样的路径约束在公式式(18)中，那么状态x的最佳行为a^*∈A_x可以根据概率来进行选择。

选择了最佳的行为就可以根据公式(14)在保证了服务质量的同时使得网络得到的报酬最大。

采用了上述的无线网状网络实现最优化联合连接允许和路由控制的方法，由于其将网状网络中的联合连接允许和路由控制的问题建模成为半马尔可夫决策过程，并基于可编程的线性算法来计算最佳允许控制和路由路径，从而在保证多种业务类型的服务质量的同时将全部收益最大化，并能够最佳的控制允许或不允许接入以及是允许一个新的连接还是允许切换连接接入，而且考虑了不同服务类型业务的报酬率，能够最大化网络的收益，还可以保证如阻止新连接或切换连接的阻塞率等的网络层的服务质量约束，且保证了切换连接在所有具有相同等级的连接请求中优先级是最高的，能够适应无线网状网络的多种业务类型和业务条件，有效提高了网络服务质量和运营收益，降低了计算复杂度，而且工作性能稳定可靠，适用范围较为广泛。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。