多运营商场景下自主无线资源管理方法、系统及设备

摘要

本发明公开一种多运营商场景下自主无线资源管理方法、系统及设备，包括：处于多运营商的网络重叠覆盖区域的用户终端发送会话请求后，运营商的网络分析当前网络状态；计算在当前网络情况下，采用不同的无线资源管理方法所带来的重叠覆盖的各个网络的收益情况；依据各个运营商的综合利益水平选择最优无线资源管理方法。本发明妥善地解决了多运营商之间的竞争管理，并进一步满足了系统对自主性的要求。

说明书

技术领域

本发明涉及移动无线网络技术领域，更确切地说是以一种应用在异构网络中多运营商场景下的自主无线资源管理方法及系统

背景技术

异构无线网络(包括通用移动通信系统(UMTS)、无线本地接入网络(WLAN)等)的共存是未来B3G环境的主要特点。各种无线网络具有重叠的覆盖范围、多种业务需求和互补的技术特性，为了获得更高的系统性能和更丰富的用户体验，无线网络之间必须进行交互和协同。近年来，基于软件无线电技术的端到端重配置技术已经得到逐步发展，更有利于无线资源管理为终端和网络提供动态的网络选择能力、适配到所需无线网络的能力。

尽管目前的无线资源管理方法可以成功地完成任务，但是并没有体现管理自主性。然而，随着满足用户和运营商需求的各种技术和设备的增加，使得系统复杂性不断增加，因而自主性就变得越来越重要。考虑一个运营商在一个城市区域内运营几个具有不同无线接入技术的接入网络，无线接入技术之间的联合控制必须是自管理的并适合不同的业务流需求，没有许多人为干预的规划和维护成本。

而且在多运营商的场景下，一个运营商不仅要考虑自身的利益、网络质量等问题，还要权衡其他运营商的相关问题。运营商之间往往存在着一种竞争的关系，不能简单以处理一个运营商下的多个网络的方法来加以解决。目前也没有相关的方法来解决这一问题。

发明内容

鉴于以上问题，本发明提出了用于多运营商场景下的自主联合无线资源管理方法、系统和设备，妥善地解决多运营商之间的竞争管理，并进一步满足了系统对自主性的要求。

基于上述目的本发明提供的一种多运营商场景下的自主无线资源管理方法，包括：

处于多运营商的网络重叠覆盖区域的用户终端发送会话请求后，运营商的网络分析当前网络状态；

计算在当前网络情况下，采用不同的无线资源管理方法所带来的重叠覆盖的各个网络的收益情况；

依据各个运营商的综合利益水平选择最优无线资源管理方法。

该方法所述分析当前网络状态包括：收集该会话请求的特性和网络负载信息，并将其转化为表示当前网络状态的可用网络信息。

该方法所述收集到达会话的特性和负载信息主要包括：所在位置、所要求服务的类别及所在地网络的具体网络参数；

所述转化过程为将到达会话的特性和负载信息通过数据量化和参数对应手段转化出可用网络信息。

该方法所述可用的网络信息包括：该用户所需服务实际要求网络提供的带宽、服务质量等参数以及所在地网络的实际负载百分比。

该方法所述计算收益情况包括：将得到的网络状态信息通过神经网络进行泛化，计算在当前网络情况下，采用不同的无线资源管理方法所带来的自身网络的收益情况。

该方法所述选择最优无线资源管理方法过程采用自主学习方法。

该方法所述自主学习方法为Q学习算法。

该方法每个运营商各自维护自己的Q值表，他们之间共享Q值信息，把每个运营商的Q值表形成一个矩阵，进而采用相关Q线性规划，得到一个综合的评定标准，每个运营商根据这个标准选择合适的无线资源管理方法进行实施。

该方法所述选择最优无线资源管理方法包括：对产生的不同运营商的网络情况下不同行为所对应的收益进行博弈，得到一个综合的判定标准；

根据得出的综合判定标准，选择一种无线资源管理方法保存选择结果，并将这种方法传输到用户终端。

该方法所述得到一个综合的判定标准后，再计算各个网络的状态，用来更新历史中的收益值

该方法所述在为用户终端分配好合适的无线资源管理方法之后，还包括：获得本网络的收益，并且通过与其他运营商网络的通信获得重叠覆盖的其他网络的收益和所选择的无线资源管理方法并保存。

该方法所述分析当前网络状态前还包括：设定初始参数；

每次完成最优无线资源管理方法选择后还包括：对各模块的参数进行收敛处理。

该方法所述初始化参数包括：神经网络的偏好和训练队列的长度、自主学习部分的折扣因子、方法选择算法中的初始探索概率、初始学习率以及初始搜索概率。

该方法所述收敛处理后，还包括：根据更新后的参数判断学习是否到达了一个稳定状态；如果是，则进终止当前迭代学习的过程；否则继续进行下一轮的迭代学习过程。

该方法所述判断稳定状态的过程包括：当学习率减小到0或者一个预先定义的门限时，判定该过程达到稳定状态，否则，认为尚未达到稳定状态。

基于上述目的，本发明还提供了一种多运营商场景下的自主无线资源管理系统，包括有无线网络控制设备，还包括：连接到无线网络控制设备上的联合无线资源管理单元，用于在处于多运营商的网络重叠覆盖区域的用户终端发送会话请求后，分析当前网络状态；计算在当前网络情况下，采用不同的无线资源管理方法所带来的重叠覆盖的各个网络的收益情况；依据各个运营商的综合利益水平选择最优无线资源管理方法。

该系统所述运营商的无线网络控制设备，用于向所述联合无线资源管理单元提供网络状态和用户请求的业务类型信息，并将所述联合无线资源管理单元产生的无线资源管理方法下发给所述用户终端。

该系统所述联合无线资源管理单元通过不断学习的过程产生无线资源管理方法，并发送给所述用户终端。

该系统所述联合无线资源管理单元内部包括：

感知和信息转换模块，用于对无线环境的感知和对信息的转换；

自主学习模块，与感知和信息转换模块连接，用于整理感知和信息转换模块传来的数据作为目前的网络状态，依据计算得来的收益水平，并借助数据泛化和知识储存模块进行相应的数据泛化和知识储存，进一步综合考虑其他运营商的收益信息来选择一种合适的无线资源管理方法，发送给所述无线网络控制设备，继而传送给所述用户终端；

数据泛化和知识存储模块，与自主学习模块连接，使用神经网络来做数据泛化，用于减少所需的存储空间，并对以往的历史经验进行存储。

该系统所述感知和信息转换模块，还具有对所述对无线环境的感知功能为获得网络环境中的具体信息。

该系统所述网络环境中的具体信息包括：所在位置、所要求服务的类别及所在地网络的具体网络参数。

该系统所述感知和信息转换模块，还包括信息转换功能具体为对收集到的信息进行量化，转换为可以使用的数字信息。

该系统所述自主学习模块中，所述综合考虑其他运营商的收益采用博弈方式，从博弈中得到满足多运营商竞争关系的无线资源管理方法。

基于上述目的本发明最后还提供了一种联合无线资源管理设备，包括：

感知和信息转换模块，用于对无线环境的感知和对信息的转换；

自主学习模块，与感知和信息转换模块连接，用于整理感知和信息转换模块传来的数据作为目前的网络状态，依据计算得来的收益水平，并借助数据泛化和知识储存模块进行相应的数据泛化和知识储存，进一步综合考虑其他运营商的收益信息来选择一种合适的无线资源管理方法，发送给所述无线网络控制设备，继而传送给所述用户终端；

数据泛化和知识存储模块，与自主学习模块连接，使用神经网络来做数据泛化，用于减少所需的存储空间，并对以往的历史经验进行存储。

该设备所述感知和信息转换模块，还具有对所述对无线环境的感知功能为获得网络环境中的具体信息。

该设备所述网络环境中的具体信息包括：网络质量、业务量、业务类型和其他运营商网络的相关信息。

该设备所述感知和信息转换模块，还包括信息转换功能具体为对收集到的信息进行量化，转换为可以使用的数字信息。

该设备所述自主学习模块中，所述综合考虑其他运营商的收益采用博弈方式，从博弈中得到满足多运营商竞争关系的无线资源管理方法。

从上面所述可以看出，本发明所提供的多运营商场景下的自主无线资源管理方法，实现了异构无线网络中的联合无线资源管理的自主学习特性，能够根据实际运行情况不断修正其控制策略，以减少人力参与的规划和维护的成本。考虑到了多运营商场景下的运营商之间的竞争关系，变集中式管理为分布式管理，并采用了博弈的方法来解决运营商之间的利益均衡问题，有效地降低网络阻塞率并提高运营商的收益。

附图说明

图1为本发明实施例所采用的网络结构示意图；

图2为本发明实施例的联合无线资源管理单元内部结构示意图；

图3为本发明实施例无线资源管理方法的流程示意图。

具体实施方式

为解决现有技术中存在的问题，本发明主要方案包括：处于多运营商的网络重叠覆盖区域的用户终端发送会话请求后，运营商的网络分析当前网络状态；计算在当前网络情况下，采用不同的无线资源管理方法所带来的重叠覆盖的各个网络的收益情况；依据各个运营商的综合利益水平选择最优无线资源管理方法。

下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。

本发明方法所在的网络系统结构图如图1所示，主要涉及到多模终端11、本运营商网络12和其他运营商网络13。其中，本运营商网络12主要涉及本运营商网络控制设备121和本运营商联合无线资源管理控制单元120；其他运营商网络13主要涉及其他运营商网络控制设备131和其他运营商联合无线资源管理控制单元130。

假设几个运营商在一个人口密集的区域分别运营几种异构无线网络，并且覆盖的区域重叠。

用户携带多模终端11处于重叠覆盖区域，通过购买任意一种无线接入网络的业务，享受各种无线应用。多模终端11接入网络时，能够按照无线网络控制设备下发的无线资源管理方法自动完成软件安装与网络设置，不需要用户手动进行。

在整个图1所示网络系统中，连接到无线网络管理设备121的联合无线资源管理单元120(或连接到其他运营商网络控制设备131的其他运营商联合无线资源管理控制单元130)是主要用来完成本专利的核心单元。其内部结构如图2所示，主要包含感知和信息转换模块210、自主学习模块211和数据泛化和知识存储模块。它们之间相互配合，并且依靠从无线网络控制设备22和其他运营商网络的联合无线资源管理单元23中获得所需信息，完成对多运营商场景下的自主无线资源管理。

其中，感知和信息转换模块210，分别与本地无线网络控制设备22、其他运营商的联合无线资源管理单元23、自主学习模块211相连。主要包括对无线环境的感知部分和信息转换部分。感知部分可以获得网络环境中的具体信息(一般包括：到达会话的特性和负载信息)，例如网络质量、业务量、业务类型和其他运营商网络的相关信息。信息转换部分接着对感知部分收集到的信息量化，转换为可以使用的数字信息。这个模块210是整个单元中唯一从外界换取信息的模块，所有其他模块工作室所需要的信息都需要它从网络中获取。

自主学习模块211，分别与本地无线网络控制设备22、其他运营商的联合无线资源管理单元23、感知和信息转换模块210、数据泛化和知识存储模块212相连。是为了解决无线资源管理中多运营商的场景和自主的问题而专门设计的一个模块。它首先将感知和信息转换模块210传来的数据整理，采用一些来代表目前的网络状态。然后计算在当前状态下使用某种无线资源管理方法的收益。将收益水平输入到数据泛化和知识储存模块212进行相应的数据泛化和知识储存。最后该自主学习模块211根据最后的收益信息选择一种合适的无线资源管理方法，发送给无线网络管理设备22，继而传送给用户终端11。整个联合无线资源管理单元120的目的就是选择某个运营商的某个网络来为用户提供所需的服务，所以自主学习模块211的主要目标也是集中在通过不断地学习来优化这种选择机制。优化主要的依据条件是根据每一次选择之后网络的实际回报，在了解到每一次所有不同运营商网络的实际收益之后，便可以根据收益情况进行一个博弈的过程来选择一种更适合的方法来进行多运营商场景下的无线资源资源分配。最后该自主学习模块211会将最后的决策信息通知终端，完成整个无线资源管理过程。

由于网络实际收益信息的连续性，必然要求有很大的存储空间。在数据泛化和知识储存模块212中使用神经网络来做数据泛化，来减少所需的存储空间。而且，由于学习过程需要以往大量的经验的积累，有必要单独设计一个模块来完成知识存储的目的。在这里主要用到了神经网络的方法，由于神经网络的特性，很容易便可完成所需知识的存储。

在以上几个模块相互配合的基础上，具体的方法是在分布式联合无线资源管理单元中独立执行。详细工作流程是一个不断迭代的过程，如图3所示，具体如下：

步骤31参数初始化：工作流程开始时需要为各部分模块设定一些初始参数。

具体包括：在数据泛化和知识储存模块212中，神经网络需要设置的参数包括神经网络的偏好和训练队列的长度等；在自主学习模块211中，自主学习中需要设置折扣因子(实际上就是说折扣因子的自主学习服务的一个参数)，方法选择算法中的初始探索概率，初始学习率以及初始搜索概率等。

步骤32信息收集和转化：当一个新的会话请求到达时，收集到达会话的网络环境中的具体信息，并将其转化为可用网络信息交给学习模块，表示当前的网络状态。

其中，所述网络环境中的具体信息包括到达会话的特性和负载信息，到达会话的特性和负载信息主要包括：所在位置、所要求服务的类别及所在地网络的具体网络参数。然后通过数据量化和参数对应等手段转化出可用的网络信息。这些可用的网络信息主要指该用户所需服务实际要求网络提供的带宽、服务质量等参数以及所在地网络的实际负载百分比等。

步骤33网络收益的获得：将步骤32得到的可用网络信息通过神经网络进行泛化，并计算在当前网络情况下，采用不同的无线资源管理方法各个网络的收益情况。

神经网络本身具备函数逼近功能，利用这种能力，将最小化均方误差的反向传播算法结合到自主学习的迭代过程中，能够有效地处理具有连续或巨大状态/动作空间的复杂问题。实际上就是使得在学习过程中，能够根据已知的有限、离散的状态/动作经验，通过神经网络的非线性拟合，对其它未知(未经历)但“相似”的状态/动作的评价进行近似估计，从而实现泛化功能。

假设采用的自主学习的算法为Q学习算法，Q学习算法中的Q值可用于表示各个网络的收益。神经网络按上述功能记忆和表达Q值。可以使用最小化均方误差的反向传播算法进行调整Q值。将步骤32所获得的可用网络信息输入神经网络，神经网络的输出即对应于各无线资源管理方法的Q值。

步骤34多运营商博弈：在步骤33产生的特定网络情况下不同行为所对应的收益被综合考虑，进行博弈，得到一个综合的判定标准，再计算各个网络的状态，用来更新历史中的收益值。

继续以Q学习算法为例：每个运营商各自维护自己的Q值表。假设他们之间共享Q值信息。可以把每个运营商的Q值表形成一个矩阵，进而采用相关Q线性规划解决这种矩阵间的博弈问题，得到一个综合的评定标准。这样就相当于运营商之间在市场划分方面会达成一定协议，从而能够充分利用异构无线接入技术的优点，达到双赢的成果。

步骤35方法决定：根据步骤34给出的综合的判定标准，选择一种无线资源管理方法，并将这种方法的标识信息传输到用户所携带多模终端，并且被记录以便用于以后的学习过程。

继续以Q学习算法为例：基于获得的Q值向量，自主学习模块211采用类似ξ贪婪算法的方法决定所要采取的无线资源管理方法。根据该方法执行后反馈强化信号，Q值得到更新，而神经网络的权值则以更新的Q值为训练集用最小化均方误差的反向传播算法进行调整。为提高算法稳定性，更新的Q值可以先被缓存到训练队列里，再以批处理的方式送给神经网络。

步骤36收益值更新：在为用户终端分配好合适的无线资源管理方法之后，联合无线资源管理单元可以获得这一次本网络的收益；并且通过和其他联合无线资源管理模块的通信获得重叠覆盖的其他网络的收益和选择的无线资源管理方法，将结果放入数据泛化和知识存储模块保存，以方便以后的矩阵博弈过程。

下次新业务请求到达时(从步骤32开始执行)，就可以得到下一个状态，新的状态值就通过步骤34得到，这次的收益也已经获得，这样就更新了网络收益，并将结果放入数据泛化和知识存储模块保存。

需要指出的是步骤33的Q值的获得指的是从Q值表中直接获取当前时刻所存出的信息，这个信息可以帮助进行着一次的动作选择，而步骤36是根据这一次的动作计算本动作的收益，来更新Q值表中的所对应的Q值。

继续以Q学习算法为例：  收益的计算公式可以表示为$Q_{t+1}(s,a)=(1-\alpha )Q_t(s,a)+\alpha (r_t+\gamma \underset{a^{\prime }}{\max }{Q}_t(s^{\prime },a^{\prime }));$

其中，Q(s，a)是之前所存储的在步骤33获得的相应状态和动作下的Q值，α为学习率，γ为自主学习中的折扣因子，它的大小就代表对长远收益的重视程度，表示采用本次的方法之后下一状态下动作可能产生的最大Q值，r就是之本次的收益值。简单地说，就是既要依照本次的收益和下一状态的Q值去更新本状态的Q值，又要兼顾没有进行本次动作之前的Q值。

步骤37参数更新：在进行完一次的网络学习和判决过程之后，要改变各部分模块的参数，比如对各模块的参数进行收敛处理，使学习过程具有收敛性，再进行以后的学习和判决过程。

自主学习模块211中的学习率以及探索概率都需要更新。例如它们可以按照负指数规律随着学习的过程逐渐减小为0，以满足学习的收敛性要求。

以上步骤32至步骤37的过程将不断进行迭代进行，每一轮的迭代过程完成时候要进行步骤38。

步骤38自主学习模块根据更新后的参数判断学习是否达到了一个稳定状态，如果稳定，则进入步骤39，终止这样一个迭代学习的过程。也就是说，以后的无线资源管理方法按照学习过程终止时的方案进行。如果否，则要继续进行下一轮的迭代学习过程。

其中，所述判断是否达到稳定状态，可以采用如下方法：当学习率减小到0或者一预先定义的门限时，判定该过程达到稳定状态，否则，认为尚未达到稳定状态，返回步骤302，继续对下一个会话请求进行步骤32至38的处理。

步骤39终止当前迭代学习过程。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。