基于无线多媒体网络的无线通信信道资源优化方法

摘要

本发明涉及基于无线多媒体网络的无线通信信道资源分配方法，其步骤包括：1)在信道中能分配的最大无线通信信道个数为C，将用户发出服务请求分为：付费服务请求到达该网络A

说明书

技术领域

本发明属于无线通信技术领域，涉及无线通信信道的资源优化方法，尤其涉及传输速率 可弹性调整的无线多媒体网络无线通信信道资源的优化配置方法。

背景技术

近年来，随着多媒体业务的广泛应用，在以服务为导向的无线宽带网络中，多媒体服务 如何及时有效地传递到终端用户已经成为了无线通信研究领域一个非常重要的研究课题。不 同于传统的数据服务应用，多媒体业务通常能够根据可用的网络资源自动采用不同的速率进 行传输。例如，一个多层次的视频编码系统能够将原始的视频数据进行编码，然后分别放进 各种优先级别不同的层次中(例如基层和增强层)进行传输。基层传输包含有基本的视频数 据信息，而增强层则提供了相比基层信息质量更高的视频数据信息。因此，多媒体数据可以 使用多重速率来进行传输。通常来讲，同样的视频分别用低速率和高速率进行传输，那么以 低速率传输的视频质量一定没有以高速率传输的视频质量高；而另一方面，对于传输质量相 同的视频来说，以低速率传输的速度显然没有以高速率传输的速度快。因此，传输质量和传 输速度都是无线多媒体的服务质量(QoS)和移动用户满意度的关键指标。为了实现既能有效地 利用无线通信信道资源同时又能满足移动用户对无线多媒体服务传输质量和传输速率的要 求，因此对于传输速率可以变化的多媒体业务，根据传输质量以及用户满意度的不同需求而 对无线多媒体服务灵活地采用不同的传输速率、分配不同的无线通信信道资源就成为了当前 无线通信系统一个非常紧迫急待解决的关键问题。

网络资源分配在以前的工作中已经有了很多相关研究。通常来讲，网络资源分配可以被 分为2大类：静态和动态资源。在一个静态的资源分配系统中，资源分配调度器基于静态的 网络和用户信息(例如激活的用户数，用户对数据流量及其服务质量的需求，以及可用的网 络带宽等)来分配网络资源(例如无线网络带宽，频谱，功率等)在文献(L.X.Cai，L.Cai，X. Shen，and J.W.Mark，“REX：a randomized exclusive region based scheduling scheme for mm Wave  WPANs with directional antenna，”IEEE Transactions on Wireless Communications，vol.9，no.1， pp.113-121，2010)，(F.Hou，L.X.Cai，P.H.Ho，X.Shen，and J.Zhang，“A cooperative multicast  scheduling scheme for multimedia services in IEEE 802.16networks，”IEEE Transactions on  Wireless Communications，vol.8，no.3，pp.1508-1519，2009)。但实际上，由于用户动态的接入 和离开网络，因此用户对网络资源的需求是随着时间而变化的。因此，与静态网络资源分配 相比较，动态网络资源分配能够比较准确地表示网络资源的动态变化，因此也就能获得更好 的性能。在文献(H.Yaiche，R.R.Mazumdar，and C.Rosenberg，“A game theoretic framework for  bandwidth allocation and pricing in broadband networks，”IEEE/ACM Transactions on Networking， vol 8，no.5，pp.667-678，2000)中，在假设用户数量是固定的条件下，对于弹性的可变速率业 务，作者提出了一种基于博弈论模型的动态带宽分配方案。与此同时，也有一些文献对在无 线通信信道上传输的视频业务如何进行资源优化分配进行了一定的研究。文献(L.X.Cai，X. Shen，J.W.Mark，and L.Cai，“Supporting voice and video applications over IEEE 802.11n WLANs”ACM/Wireless Networks，vol.15，no.4，pp.443-454，May，2009)分析研究了无线局域 网(WLAN)的容量，将其定义为网络中可以支持的语音和视频流的最大数目。文献(J.Xu，X. Shen，J.W.Mark，and J.Cai，“Adaptive transmission of multilayered video over wireless fading  channels，”IEEE Transactions on Wireless Communications，vol.6，no.6，pp.2305-2314，2007)针 对在无线衰减信道上的视频传输，将信道衰减建模为一个有限状态的马尔可夫信道模型，同 时提出了3种速率适配方案。在文献(H.Jiang，W.Zhuang，and X.Shen，“Resource allocation  with service differtiation for wireless video transmission，”IEEE Transactions on Wireless  Communications，vol.5，no.6，pp.1456-1468，June 2006)中，针对各种不同多媒体业务的差异， 为了能根据不同用户对网络资源的不同需求来动态分配无线通信信道资源，作者对无线视频 传输提出了一个跨层的无线通信信道资源分配方案。文献(S.Kalyanasundaram，E.K.P.Chong， and N.B.Shroff，“Optimal resource allocation in multi-class networks with user-specified utility  functions，”Computer Networks，vol.38，no.5，pp.613-630，2002)根据移动用户动态地接入以及 释放无线通信信道的随机过程，将无线通信信道资源分配建模为一个马尔可夫决策过程，并 对这一过程做出了优化决策，以期能获得最大化的系统总收益。该文只是运用了一个简单的 收益模型，其系统收益随着接入用户数量的增加而增加，但是并没有考虑在接入用户过程中 所产生的费用。另外，阻塞率是多媒体服务的一个重要的服务质量(QoS)指标，该文也没有对 其进行进一步的分析讨论。

目前关于无线多媒体网络中无线通信信道优化分配的专利还较少，大多数专利主要集中 在通用无线通信系统中无线通信信道的资源优化管理上。在专利200780022863.7(移动 无线通信系统中的有效的无线资源管理)中，作者(V·布鲁尔和T·于利奇)提出了一种用于 运行无线通信系统的优化管理方法；在专利200780019882.4(无线通信网络中的无线资 源管理)中，作者(米莱尼·皮舍拉)提出了一种如何优化管理各小区无线信道资源的管理方 法；在专利02159000.1(多标准无线通信系统中的无线资源管理方法)中，作者(马霓， 孙礼，张学军和程江)提出了一种多标准无线通信系统中的无线资源管理方法；在专利 200610005218.1(无线通信系统及其无线资源管理方法)中，作者(王宗杰)提出了一种 基于其发明的无线通信系统的无线资源管理方法；在专利03814664.9(在无线通信网络中 基于应用的无线电资源管理)中，作者(H·巴西利和A·伦德斯特伦)提出了一种无线通信网 络基于由用于每一个移动站的网络运送的分组数据的类型来管理通信资源的优化管理方法。

在关于无线多媒体无线信道资源优化管理的专利201010275207.1(一种增强型多媒 体多播/广播业务中的无线资源管理方法)中，作者(娄崇和邱玲)尽管对如何为多媒体数据 流在无线通信网络的传输优化分配无线通信信道进行了讨论，并提出了一种增强型多媒体多 播/广播业务中的无线资源管理方法，但是并没有能从无线多媒体网络的系统收入和支出、无 线多媒体服务的服务质量(QoS)以及移动用户的用户满意度来综合考虑无线多媒体网络的整 体系统收益，而且没有能将这些要素综合在一起来建模分析并作为无线通信信道优化决策策 略的依据。因此这也就成为本发明对无线多媒体网络无线通信信道的优化分配进行分析研究 并且提出无线多媒体网络自适应无线通信信道优化分配模型来解决该问题的原因。

发明内容

本发明的目的在于解决无线多媒体网络中无线通信信道资源优化分配的问题。本发明所 提出的无线多媒体服务自适应信道优化分配模型基于现有无线多媒体网络的可用无线通信信 道资源，在既考虑了无线多媒体网络的收入，又考虑了因占用无线通信信道资源而带来的支 出的情况下获得了优化的方法，该优化方法不仅能使无线多媒体网络的系统整体收益最大， 同时还能提高无线多媒体服务的服务质量(QoS)以及移动用户的服务满意度。因此，该发明对 无线通信网络运营商的整体收益以及客户对无线多媒体网络的满意度的提高都具有非常重要 的作用，这也是本发明的实际价值所在。

本发明的有益效果为：

本发明基于半马氏决策过程(SMDP)，针对弹性的多媒体业务，提出并建立了一个能根据 移动用户对无线多媒体服务的动态需求来自适应分配无线通信信道资源的模型。对于一个通 信信道有限的无线通信系统，该模型在同时考虑了无线多媒体网络的收入和支出(例如占用 无线通信信道资源的开销)、无线多媒体服务的服务质量(QoS)以及移动用户的用户满意度的 基础上，得到了一个优化的无线多媒体通信信道资源分配决策策略。根据我们所提出的无线 多媒体网络自适应无线通信信道优化分配模型得到的优化策略与传统的贪婪算法(Greedy  Algorithm)(R.Ramjee，D.Towsley，and R.Nagarajan，“On optimal call admission control in  cellular networks，”Wireless Networks，vol.3，no.1，pp.29-41，1997)对无线通信信道的分配方 案相比，其系统收益及性能均有了大幅的提高。

本发明主要的贡献体现在如下两个方面：

1)本发明通过应用半马氏决策过程(SMDP)来模拟无线多媒体网络中，移动用户动态接 入无线多媒体网络和释放无线通信信道资源的过程，提出并建立了无线多媒体服务自适应无 线通信信道优化分配模型。本发明随后分析了无线多媒体网络弹性多媒体服务的系统收益， 并且基于本发明所提出的无线多媒体服务自适应无线通信信道优化分配模型推导得到了无线 通信信道资源分配的优化决策策略，该优化决策策略能在同时考虑无线多媒体网络的收入和 支出的情况下，获得整个无线多媒体网络最大化的系统收益，并且提高了无线多媒体服务的 传输质量和移动用户的满意度。

2)本发明进一步分析了无线多媒体服务的阻塞率。通过这个分析，揭示了系统参数之间 的联系，例如，总的无线通信信道带宽，移动用户请求接入无线多媒体网络的均值速率以及 可分配给多媒体服务的无线通信信道资源等参数之间的关系。这样可以为无线通信运营商在 对无线多媒体网络的无线通信信道资源进行优化时，提供一个非常重要并且直观的参考。

本发明所提出的无线多媒体网络自适应无线通信信道资源优化分配模型，不仅可以提高 无线多媒体网络的无线通信信道资源利用率，同时也能提高移动用户的服务质量(QoS)。为 了验证本发明所提出的无线多媒体网络自适应无线通信信道资源优化分配模型的性能，我们 通过实验将其与传统贪婪算法(Greedy Algorithm)的性能进行了比较(R.Ramjee，D.Towsley， and R.Nagarajan，“On optimal call admission control in cellular networks，”Wireless Networks，vol. 3，no.1，pp.29-41，1997)。我们的实验结果表明，应用本发明提出的无线多媒体网络自适应 无线通信信道资源优化分配模型，无线多媒体网络的系统整体收益与贪婪算法相比提高了 30％以上(如图3和图4所示)，而其无线多媒体服务请求被拒绝的概率与贪婪算法相比则 减少了30％以上(如图5和图6所示)，也即本发明所提出的无线多媒体网络自适应无线通 信信道资源优化分配模型的性能以及服务质量(QoS)与贪婪算法相比均提高了30％以上。

为了实现本发明的目的，克服现有技术中无限通信信道资源分配不合理的缺陷，采用的 技术方案概述如下：

无线多媒体网络无线通信信道资源优化分配方法描述：

在无线多媒体网络中，当移动用户想使用无线多媒体服务时，会发送一个无线多媒体服 务请求到无线多媒体网络，服务请求是移动用户发给无线多媒体网络的，如果无线多媒体网 络接收该请求，则移动用户会进行下一步的服务处理。如果拒绝该请求，则移动用户会收到 例如网络繁忙的提示，则该用户不能进行下一步的服务。系统会根据无线多媒体网络中可用 的无线通信信道的数量来决定是接收还是拒绝该无线多媒体服务请求；如果决定是接收，那 么需要进一步考虑分配多少个无线通信信道给该无线多媒体服务请求。通常来说，如果无线 多媒体服务请求可被分配的无线通信信道数量越多，则该无线多媒体服务的传输速度就越快， 同时其传输质量也就越高，从而能分别相应提高该无线多媒体服务的服务质量(QoS)和移动用 户的满意度；而从另一方面来说，如果系统为当前的无线多媒体服务请求分配了最大的无线 通信信道资源，那么就有可能因无线通信信道资源不足而导致系统对随后到达的无线多媒体 服务请求的拒绝，这样也就降低了移动用户的满意度和服务质量，进而也降低了无线多媒体 网络的系统长期收益。因而如何合理地为无线多媒体服务请求分配无线通信信道资源，从而 既能提高无线多媒体网络的系统长期收益，同时也能提高无线多媒体网络的服务质量(QoS) 以及移动用户的满意度就成为本发明所要研究的主要问题。

在本发明里，我们考虑一个总共有K个无线通信信道资源的无线多媒体网络。如图1所 示，该无线多媒体网络具有两种类型的无线多媒体服务：1)付费无线多媒体服务：移动用户 通过向运营商缴纳一定的费用来使用无线通信信道传输多媒体数据流；2)免费无线多媒体服 务：移动用户免费使用无线通信信道来传输多媒体数据流。在该无线多媒体网络中，能够为 一个无线多媒体服务分配的无线通信信道个数为c，这里c∈{1，2，...，C}，C≤K。通常来说， 随着无线多媒体网络分配给无线多媒体服务请求的无线通信信道数量的增加，在无线多媒体 数据流传输质量一定的情况下，无线多媒体数据流的传输速度也随之而提高。在无线多媒体 服务的传输质量一定的情况下，无线多媒体网络传输一个无线多媒体服务数据流的时间可以 表示为该无线多媒体网络分配给此无线多媒体服务数据流的无线通信信道个数的函数，即 ξ(c)。假设无线多媒体网络为只分配了一个无线通信信道的无线多媒体服务所用的传输时间为 θ_s，那么当有c个无线通信信道分配给该无线多媒体服务时，无线多媒体网络传输该无线多 媒体数据流所用的时间则为ξ(c)θ_s。对于一个无线多媒体网络来说，在无线多媒体服务的传输 质量一定的情况下，提高无线多媒体服务的传输速度能显著提高无线多媒体服务的服务质量 (QoS)，而无线多媒体服务的服务质量(QoS)是无线多媒体网络系统整体收益的重要组成部分 之一。因此，为了能提高无线多媒体服务的服务质量(QoS)，从而达到提高无线多媒体网络的 系统整体收益的目的，无线多媒体网络会为无线多媒体服务请求分配尽可能多的无线通信信 道。但实际上，如果考虑无线多媒体网络整体收益的其他因素的话，情况则会复杂得多。因 为无线多媒体网络的整体收益不仅包括系统接收一个无线多媒体服务请求所带来的收入，更 重要的是还包括系统拒绝一个无线多媒体服务请求所带来的惩罚支出、无线通信信道被正在 传输的无线多媒体服务占用而带来的支出以及因无线多媒体服务的服务质量(QoS)和移动用 户满意度的提升或降低而获得的收入或支出，而这些因素在以前对无线多媒体网络的无线通 信信道资源优化分配的研究中还未被统一建模分析。

为了对无线多媒体网络这种复杂的动态无线通信信道资源优化分配建模，我们假设付费 的无线多媒体服务请求和免费的无线多媒体服务请求到达无线多媒体网络(服务请求可以通 过无线信道到达无线多媒体网络，传输协议可以采用wifi，3G，wimax等方式)的过程都服 从泊松分布(Poisson Distribution)，其到达的均值分别为λ_p和λ_f，λ_p和λ_f的取值是0 到无穷大(不等于0)。另外，设付费无线多媒体服务与免费无线多媒体服务在无线通信信道 中传输的时间都服从指数分布(Exponential Distribution)，传输时间是指传输时间是否是 指用户的服务请求被无线多媒体网络接收，从用户开始接收无线多媒体服务开始计算，直到 无线多媒体网络提供服务结束的时长，则在无线多媒体网络为付费无线多媒体服务或者免费 无线多媒体服务只分配一个无线通信信道的情况下，付费和免费无线多媒体服务在无线通信 信道中传输的均值时间均为因此，在无线多媒体服务的传输质量一定，并且无线多媒体 网络为付费无线多媒体服务或者免费无线多媒体服务分配c个无线通信信道的情况下，付费 和免费无线多媒体服务在无线通信信道中传输的均值时间则均为μ的取值是根据经典 的概率公式指数分布而得到的，μ的取值是从0到无穷大(不等于0)，也即无线多媒体服务 结束传输，移动用户离开无线多媒体网络的离去均值速率为

由于在无线多媒体网络中的决策时间点(决策时间点是每一个事件发生的时刻)是随机 发生的，因此在本发明里，我们采用半马氏决策过程(SMDP)来动态优化分配无线多媒体网络 中的无线通信信道资源，以期能得到无线多媒体网络的最大整体长期收益。

发明内容

本发明的一种基于无线多媒体网络的无线通信信道资源分配方法，所述无线多媒体网络 包含K个无线通信信道，信道中能分配的最大无线通信信道个数为C，其中C≤K；用户发 出的服务请求分为：付费服务请求到达该网络A_p；免费服务请求到达该网络A_f；结束服务时 用户离开被占用的无线多媒体网络F_c，其步骤包括：

1)用户终端发送服务请求到无线多媒体网络申请使用无线多媒体服务；

2)所述多媒体网络根据用户服务请求和当前系统状态建立一行动集合；

3)基于系统当前状态，计算行动集合中该系统状态下所有可能采取行动所对应的无线多 媒体网络服务收益；

4)无线多媒体网络根据计算长期收益确定是否接受当前服务请求，若接受服务则选取能 带来最大收益的行动所对应的信道资源分配为服务请求分配可用信道。

所述当前系统状态可用以下集合定义：

S＝{s|s＝<s₁，s₂，...，s_C，e>}.

其中e∈{A_p，A_f，F₁，F₂...，F_c}，所述无线多媒体服务分配的无线通信信道个数为c，所述c∈{1， 2，...，C}，C≤K，s_c表示在一个无线多媒体网络里，被分配c个无线通信信道并且正在传输 的无线多媒体服务的个数，e是任意无线多媒体服务请求到达无线多媒体网络或者结束无线 多媒体服务的用户离开的事件。

所述行动集合为：

$a\left(s\right)=\left(\begin{array}{cc}\{\mathrm{0,1},...C\},& e\in \{A_p,A_f\}\\ -1,& e\in \{F_1,F_2,...,F_C\}\end{array}\right)$

其中，

a.接收该无线多媒体服务请求的事件A_p或A_f的行动定义为a(s)＝c，c∈{1，2，...，C}；

b.拒绝该无线多媒体网络服务请求的行动定义为a(s)＝0；

c.结束传输并且释放所占用的无线通信信道时，这时无线多媒体网络对该事件F_c的行动定义 为a(s)＝-1；C表示无线信道的个数，e是任意无线多媒体服务请求到达无线多媒体网络或者结 束无线多媒体服务的用户离开的事件。

每个行动对应的收益模型为：r(s，a)＝w(s，a)-τ(s，a)o(s，a)，其中，w(s，a)是无线多媒体 网络系统状态为s，行动为a时所获得的收入；τ(s，a)是系统状态为s行动为a时，系统转移 到下一个状态j的平均期望服务时间；o(s，a)是平均期望服务时间的服务费率。

更进一步，可根据计算系统状态为s并且采取的行动为a时，系 统转移到下一个状态j的平均期望服务时间；其中，α是连续时间的折扣因子。 τ(s，a)是两个决策时间点之间服从指数分布的期望时间，，所述决策时间点是由影响系统状态 的事件所决定的；任一事件发生的均值速率γ(s，a)可以表示为：γ(s，a)＝τ(s，a)^-1。

更进一步，利用公式求得平均期望服务时间的服务费率，其中， C为信道数，S_c表示被分配c个无线通信信道并且正在传输的无线多媒体服务的个数。

更进一步，无线多媒体网络中的收入w(s，a)以下公式计算：

$w(s,a)=\left(\begin{array}{cc}0,& a\left(s\right)=-1,e\in \{F_1,F_2,...,F_C\}\\ -{\gamma }_d{U}_d,& a\left(s\right)=0,e\in \{A_p,A_f\}\\ E_d+{\gamma }_d{U}_d-\xi \left(c\right){\theta }_s\beta ,& a\left(s\right)=c,e=A_p\\ {\gamma }_d{U}_d-\xi \left(c\right){\theta }_s\beta ,& a\left(s\right)=c,e=A_f.\end{array}\right)$

其中，β表示单位传输时间的价格；γ_d是权重因子，并且满足0≤γ_d≤1；U_d表示信道传输质 量决定的相应收支；ξ(c)表示在无线多媒体服务的传输质量一定的情况下，无线多媒体网络传 输一个无线多媒体服务数据流的时间为该无线多媒体网络分配给此无线多媒体服务数据流的 无线通信信道个数的函数。

更进一步，根据公式计算多媒体网络中行动为s时的收 益，其中，q(j|s，a)表示在当前系统状态为s，当选择决策为a时，系统转移到下一个状态j 的状态转移概率；r(s，a)是在期望时间τ(s，a)中期望折扣收益；α是连续时 间的折扣因子，γ(s，a)是任一事件发生的均值速率；j是信道系统转移到的下一状态。

附图说明

图1是本发明无线多媒体网络示意图；

图2是本发明无线多媒体网络的无线通信信道资源优化方法中的状态转移图；

其中状态转移图中信道个数C＝2；

图3是本发明与贪婪算法的付费无线多媒体网络的系统整体收益随付费无限多媒体服务请求 到达率变化的比较曲线示意图；

图4是本发明与贪婪算法的付费无线多媒体网络的系统整体收益随无线多媒体网络信道总数 变化的比较曲线示意图；

图5是本发明与贪婪算法的付费无线多媒体服务请求被拒绝的概率随付费无限多媒体服务请 求到达率变化的比较曲线示意图；

图6是本发明与贪婪算法的付费无线多媒体服务请求被拒绝的概率随无线多媒体网络信道总 数变化的比较曲线示意图。

具体实施方式

建立无线多媒体网络自适应无线通信信道资源优化分配模型的步骤如下：

1)设置系统状态

在本发明中，一个无线多媒体网络总共包含有K个无线通信信道，并且对每个无线多媒 体服务请求所能分配的最大无线通信信道个数为C，C≤K。另外，由于付费无线多媒体服 务请求与免费无线多媒体服务请求到达无线多媒体网络，以及完成无线多媒体服务(即完成 无线多媒体数据流传输)的移动用户离开无线多媒体网络显然都是不同的事件。因此，本发 明所提出的无线多媒体网络自适应无线通信信道优化分配模型的系统状态(每一个事件的发 生都会引起无线多媒体网络的可用无线通信信道数量的变化，从而引起系统的状态的改变) 可以定义为：在无线多媒体网络中占用相同无线通信信道数量并且正在传输的无线多媒体数 据流的个数，与在该无线多媒体网络中所发生的事件(包括无线多媒体服务请求到达无线多 媒体网络和结束无线多媒体数据流传输的移动用户离开无线多媒体网络)的集合。我们用c 来表示分配给无线多媒体服务的无线通信信道的个数，c∈{1，2，…，C}。因此，可以用sc 来表示在一个无线多媒体网络里，被分配c个无线通信信道并且正在传输的无线多媒体服务 的个数。

在一个无线多媒体网络里，我们可以定义两种类型的事件类型：1)从移动用户发出的一个付 费或者免费的无线多媒体服务请求到达无线多媒体网络，我们分别用A_p和A_f来表示该事件， 并用“到达”来表示该过程；2)在无线多媒体网络中被分配了c个无线通信信道的无线多媒 体服务结束多媒体数据流的传输，并且释放所占用的无线通信信道，同时移动用户离开该无 线多媒体网络，我们用Fc来表示该事件，并用“离开”来表示该过程。被分配是指多媒体服 务请求接入无线多媒体网络时，如果系统接收该请求，那么会为这个多媒体服务分配c个信 道。然后多媒体数据流在被分配的信道中进行传输，传输结束后，该服务会释放所占用的c 个信道。被分配信道后，多媒体服务占用信道进行传输，传输结束后，该服务会释放所占用 的信道。因此，一个无线多媒体网络中的事件e可以用集合表示为e∈{A_p，A_f，F₁，F₂…，F_c}。 因而，本发明所提出的无线多媒体网络自适应无线通信信道优化分配模型的所有可能的系统 状态可以表示为，

S＝{s|s＝<s₁，s₂，...，s_C，e>}.

其中$\underset{c=1}{\overset{C}{\Sigma }}(s_c*c)\le K.$

s_c表示在一个无线多媒体网络里，被分配c个无线通信信道并且正在传输的无线多媒体服务 的个数。

2)设置行动集合

当无线多媒体网络的接入控制器(该模块的作用是收到无线多媒体服务请求后，根据系统 的指示来决定是接收还是拒绝该无线多媒体服务请求)收到一个由移动用户发送过来的无线 多媒体服务请求时(A_p或者A_f)，无线多媒体网络需要决定是否接收这个无线多媒体服务请求。 如果决定接收该无线多媒体服务请求，那么就需要决定具体分配多少个无线通信信道给该无 线多媒体服务请求，即需要决定为该无线多媒体服务请求分配c个无线通信信道。因此，接收 该无线多媒体服务请求的行动为a(s)＝c，c∈{1，2，...，C}；如果无线多媒体网络对该无线多媒 体服务请求的决定是拒绝，这就意味着没有无线通信信道分配给此无线多媒体服务请求(包 括付费和免费的无线多媒体服务请求)，移动用户也就不能上传或者下载无线多媒体数据流。 因此，拒绝该无线多媒体服务请求(包括付费和免费的无线多媒体服务请求)的行动可以表 示为a(s)＝0。

当一个无线多媒体数据流结束传输并且释放所占用的无线通信信道时(此时事件为e＝ F_c)，这时无线多媒体网络对该事件的行动为统计现有可用的无线通信信道的个数，我们可以 用a(s)＝-1来表示该行动。

综上所述，本发明所提出的无线多媒体网络自适应无线通信信道优化分配模型的行动集合可 以表示为e是任意无线多媒体服务请求到达无线多媒体网络或者结束无线多媒 体服务的用户离开的事件，并有

$a\left(s\right)=\left(\begin{array}{cc}\{\mathrm{0,1},...C\},& e\in \{A_p,A_f\}\\ -1,& e\in \{F_1,F_2,...,F_C\}\end{array}\right)---\left(1\right)$

3)设置收益模型

基于已经定义的系统状态及其对应的行动，根据当前系统状态，计算行动集合中当前系统 所有可能采取的行动所对应的无线多媒体网络的服务收益，我们可以定义本发明所提出的无 线多媒体网络自适应无线通信信道优化分配模型的系统收益(用r(s，a)来表示)，并根据系统 的收入和支出用下式来计算得到为：

r(s，a)＝ω(s，a)-g(s，a)，e∈{A_p，A_f，F₁，F₂，...，F_C}，(2)其中，w(s，a) 是无线多媒体网络接收来自移动用户的无线多媒体服务请求时，所获得的收入；而g(s，a)则 表示为移动用户提供无线多媒体服务时所占用的无线通信信道资源的支出。

在计算无线多媒体网络所获得的收入时，我们不仅需要考虑当无线多媒体网络接收该无 线多媒体服务请求时，付费移动用户付给系统的收入；同时也要考虑该无线多媒体服务因占 用无线通信信道传输而带来的无线通信信道资源的支出，以及系统接收或拒绝无线多媒体服 务时，因移动终端用户满意度的提升或下降而分别带来的收入或支出。基于以上考虑，无线 多媒体网络的收入w(s，a)可以由下式表示为：

$w(s,a)=\left(\begin{array}{cc}0,& a\left(s\right)=-1,e\in \{F_1,F_2,...,F_C\}\\ -{\gamma }_d{U}_d,& a\left(s\right)=0,e\in \{A_p,A_f\}\\ E_d+{\gamma }_d{U}_d-\xi \left(c\right){\theta }_s\beta ,& a\left(s\right)=c,e=A_p\\ {\gamma }_d{U}_d-\xi \left(c\right){\theta }_s\beta ,& a\left(s\right)=c,e=A_f.\end{array}\right)---\left(3\right)$在上式(3) 中，Fd是当无线多媒体网络接收一个付费无线多媒体服务请求时，从移动用户获得的收入。 移动终端的用户满意度与无线多媒体数据流的传输质量紧密相关，当无线多媒体数据流的传 输质量高时，则移动终端的用户满意度也随之而增高；反之，则移动终端的用户满意度也随 之而降低。显然，当系统拒绝无线多媒体服务请求时，移动终端的用户满意度最低。因此， Ud就表示因移动终端的用户满意度随无线多媒体数据流的传输质量的变化而带来的收入或者 支出，它和无线多媒体网络所获得的收入具有相同的计量单位，Ud的绝对值是固定不变的， 是系统在组建无线多媒体网络时根据需求设定的一个数值。但是Ud的值又是随着系统的分配 不同的，具体来说，如果系统的分配接收多媒体服务请求，则Ud为收入；如果系统的决策是 拒绝多媒体服务请求，则Ud为支出。具体来说，当无线多媒体网络接收无线多媒体服务请求 时，Ud表示与无线多媒体服务的传输质量相对应的移动终端用户满意度所带来的收入；而当 无线多媒体网络拒绝无线多媒体服务请求时，Ud就表示因移动终端用户满意度降到最低所带 来的惩罚性支出。γd是权重因子，并且满足0≤γ_d≤1。如前所述，θs表示无线多媒体网络 为只分配了一个无线通信信道的无线多媒体服务所用的传输时间，而β表示单位传输时间的 价格，它和无线多媒体网络所获得的收入也具有相同的计量单位。ξ(c)表示在无线多媒体服 务的传输质量一定的情况下，无线多媒体网络传输一个无线多媒体服务数据流的时间为该无 线多媒体网络分配给此无线多媒体服务数据流的无线通信信道个数的函数。因此，θs β表 示在无线多媒体网络中，只占用一个无线通信信道的无线多媒体服务因传输时间的消耗所带 来的支出。因而在无线多媒体网络中，在无线多媒体数据流同样的传输质量下，占用c个无 线通信信道的无线多媒体服务因传输时间的消耗所带来的支出就表示为ξ(c)θs β。

在上式(2)中，g(s，a)可以由下式表示为：

g(s，a)＝τ(s，a)o(s，a)，a(s)∈Act_s.

(4)

在公式(4)中，τ(s，a)是在无线多媒体网络中，当系统状态为s并且系统采取的决策为a时，系 统转移到下一个状态j的平均期望服务时间；而o(s，a)则是平均期望服务时间的服务费率，定 义为目前在无线多媒体网络中正在传输的所有无线多媒体数据流总共占用无线通信信道的个 数，由此，o(s，a)可以由下式表示为：

$o(s,a)=\underset{c=1}{\overset{C}{\Sigma }}(s_c*c).---\left(5\right)$

4)解出状态转移概率

我们已经为无线多媒体网络定义了三种类型的事件(一个到达无线多媒体网络的付费无 线多媒体服务请求，一个到达无线多媒体网络的免费无线多媒体服务请求，一个完成无线多 媒体数据流传输的移动用户离开无线多媒体网络)。因此，本发明所提出的无线多媒体网络自 适应无线通信信道优化分配模型的决策时间点就是以上三种类型的事件中，任何一个事件发 生的时刻。而无论是付费还是免费的无线多媒体服务请求到达无线多媒体网络都服从泊松过 程(Poisson Distribution)，并且无线多媒体数据流在无线多媒体网络中的传输时间服从指数分 布(Exponential Distribution)。因此，在两个决策时间点之间的期望时间τ(s，a)也服从指数分布 (Exponential Distribution)。从而任一事件发生的均值速率γ(s，a)可以表示为：

$\gamma (s,a)=\tau {(s,a)}^{-1}=\left(\begin{array}{cc}{\lambda }_p+{\lambda }_f+\underset{c=1}{\overset{C}{\Sigma }}\frac{s_c\mu }{\xi \left(c\right)},& \left(\begin{array}{c}e\subseteq \{F_1,F_2,...,F_C\}\\ \mathrm{ore}\subseteq \{A_p,A_f\},a=0;\end{array}\right)\\ {\lambda }_p+{\lambda }_f+\underset{c=1}{\overset{C}{\Sigma }}\frac{s_c\mu }{\xi \left(c\right)}+\frac{\mu }{\xi \left(c\right)},& e\subseteq \{A_p,A_f\},a=c.\end{array}\right)---\left(6\right)$

其中，λ_p和λ_f分别为付费和免费无线多媒体服务请求到达无线多媒体网络的服从泊松分布的 均值速率。

由此，我们可以得到无线多媒体网络在期望时间τ(s，a)之间的期望折扣收益(用r(s，a)来 表示)为：

$r(s,a)=w(s,a)-o(s,a)E_s^a\left\{{\int }_0^{\tau }{e}^{-\mathrm{\alpha t}}\mathrm{dt}\right\}$

$=w(s,a)-o(s,a)E_s^a\left\{\frac{[1-e^{-\mathrm{\alpha T}}]}{\alpha }\right\}$

$=w(s,a)-\frac{o(s,a)}{\alpha +\gamma (s,\alpha )}---\left(7\right)$

其中，α是连续时间的折扣因子，w(s，a)，o(s，a)和γ(s，a)分别在公式(3)，(5)与(6)中已经定 义。

本发明用q(j|s，a)来表示在当前系统状态为s，当选择决策为a时，系统转移到下一个状态j 的状态转移概率。由此，我们可以得到状态转移概率q(j|s，a)。本发明以图2为例推导出无线多 媒体网络无线通信信道资源优化分配模型的状态转移概率q(j|s，a)如下。

当系统状态为s＝<s₁，s₂，...，s_c，...，s_C，A_p>时，我们可以得到q(j|s，a)为，

$q\left(j\right|s,a)=\begin{array}{}\end{array}\left(\begin{array}{}\end{array}\right)\left(\begin{array}{cc}\frac{{\lambda }_p}{\gamma (s,a)},& j=<s_1,s_2,...,s_C,A_p>,a=0\\ \frac{{\lambda }_j}{\gamma (s,a)},& j=<s_1,s_2,...,s_C,A_f>,a=0\\ \frac{s_c\mu }{\xi \left(c\right)\gamma (s,a)},& j=<s_1,s_2,...,s_c-1,.,s_C,F_c>,s_c\ge 1,a=0\\ \frac{(s_c+1)\mu }{\xi \left(c\right)\gamma (s,a)},& j=<s_1,s_2,.,s_c,.,s_C,F_c>,a=c\\ \frac{s_m\mu }{\xi \left(m\right)\gamma (s,a)},& j=<s_1,s_2,.,s_m-1,.,s_c+1,.,s_C,F_m>,s_m\ge 1.m\ne c,a=c\\ \frac{{\lambda }_p}{\gamma (s,a)},& j=<s_1,s_2,.,s_c+1,.,s_C,A_p>,s_c\le C-1,a=c\\ \frac{{\lambda }_j}{\gamma (s,a)},& j=<s_1,s_2,.,s_c+1,.,s_C,A_f>,s_c\le C-1,a=c\end{array}\right)---\left(8\right)$

其中$c\subseteq \{\mathrm{1,2},...,C\},$$m\subseteq \{\mathrm{1,2},...,C\},$m≠c。

当系统状态为s＝<s₁，s₂，...，s_c，...，s_C，A_f>时，我们可以得到q(j|s，a)为，

$q\left(j\right|s,a)=\begin{array}{}\end{array}\left(\begin{array}{}\end{array}\right)\left(\begin{array}{cc}\frac{{\lambda }_p}{\gamma (s,a)},& j=<s_1,s_2,...,s_C,A_p>,a=0\\ \frac{{\lambda }_j}{\gamma (s,a)},& j=<s_1,s_2,...,s_C,A_f>,a=0\\ \frac{s_c\mu }{\xi \left(c\right)\gamma (s,a)},& j=<s_1,s_2,...,s_c-1,.,s_C,F_c>,s_c\ge 1,a=0\\ \frac{(s_c+1)\mu }{\xi \left(c\right)\gamma (s,a)},& j=<s_1,s_2,.,s_c,.,s_C,F_c>,a=c\\ \frac{s_m\mu }{\xi \left(m\right)\gamma (s,a)},& j=<s_1,s_2,.,s_m-1,.,s_c+1,.,s_C,F_m>,s_m\ge 1.m\ne c,a=c\\ \frac{{\lambda }_p}{\gamma (s,a)},& j=<s_1,s_2,.,s_c+1,.,s_C,A_p>,s_c\le C-1,a=c\\ \frac{{\lambda }_j}{\gamma (s,a)},& j=<s_1,s_2,.,s_c+1,.,s_C,A_f>,s_c\le C-1,a=c\end{array}\right)---\left(9\right)$

其中$c\subseteq \{\mathrm{1,2},...,C\},$$m\subseteq \{\mathrm{1,2},...,C\},$m≠c。

当系统状态为s＝<s₁，s₂，...，s_c，...，s_C，F_c>时，系统对于离开状态的决策总是-1，即a＝-1， 因此，我们可以得到状态转移概率q(j|s，a)为，

$q\left(j\right|s,a)=\left(\begin{array}{cc}\frac{{\lambda }_p}{\gamma (s,a)},& j=<s_1,s_2,...,s_C,A_p>\\ \frac{{\lambda }_J}{\gamma (s,a)},& j=<s_1,s_2,...,s_C,A_f>\\ \frac{s_c\mu }{\xi \left(c\right)\gamma (s,a)},& j=<s_1,s_2,.,s_c-1,.,s_C,F_c>,s_c\ge 1.\end{array}\right)---\left(10\right)$

其中$c\subseteq \{1.2...,C\}.$

5)解出最大化的系统整体长期收益

由此，根据半马氏决策过程的定义(SMDP)，我们可以得到本发明所提出的无线多媒体网 络自适应无线通信信道优化分配模型的最大长期折扣收益为，

$v\left(s\right)=\underset{a\in {\mathrm{Act}}_s}{\max }\{r(s,a)+\lambda \underset{j\in S}{\Sigma }q\left(j\right|s,a)v\left(j\right)\}---\left(11\right)$

其中r(s，a)和q(j|s，a)已经分别在公式(7)，(8)，(9)与(10)中得到。

6)找到最优化的方法

根据公式11)所得到的最大系统收益，我们可以很容易的找到与该最大收益相对应的系统 分配方法，该方法即为对当前无线多媒体网络自适应无线通信信道优化分配的最优化方法， 而由所有无线多媒体网络自适应无线通信信道分配的最优化解所组成的方法即为无线多媒体 网络自适应无线通信信道分配的最优化方法。基于步骤5)，无线多媒体网络根据计算的长期 收益决定是否接受当前无线多媒体服务请求，若接受服务请求则选取能带来最大系统收益的 行动所对应的信道资源分配方案为无线多媒体服务请求分配可用无线多媒体信道。