使用核进行动态网络选择

摘要

一种用于确定是否执行在众多网络之间的垂直换手的方法。该方法包括获得每一个网络的多个选择度量；针对其他通信网络中的每一个，使用可变核回归函数根据至少相应的多个选择度量来计算预测效用值；针对当前通信网络，获得第二多个选择度量；使用第二可变核回归函数根据至少相应的第二多个选择度量来计算当前通信网络的第二预测效用值；将多个其他通信网络中的每一个的预测效用值中的每一个与第二预测效用值进行比较；以及如果最高预测效用值大于第二预测效用值，则切换到其他通信网络中具有最高预测效用值的通信网络。

说明书

相关申请

本申请涉及并要求于2006年10月31日提交的美国临时申请S/N.60/855,709 的优先权。

发明领域

本发明涉及移动通信设备、移动网络管理、以及多个网络之间的换手。本发 明尤其涉及确定是否切换到不同网络的方法。

背景

移动通信设备在当今社会被普遍使用。这些设备中的大多数都能够使用至少 一个网络进行电信通信。许多较新的移动设备现在能够使用多个网络进行电信通 信。以高效率方式在多个网络之间切换的能力对于这些较新的设备是关键的。期望 将来的多个网络能组合若干不同的无线电接入技术，诸如3G蜂窝、WLAN和 WiMax。这种接入选项的多样性给予具有多接口设备的用户通过在异类网络技术 之间使用‘垂直’换手而“总是最好地连接”的可能性。

垂直换手是移动设备在两个不同网络之间切换的过程。

传统换手算法是基于单种属性即信号强度的，而换手策略是基于阈值的。这 些阈值基于物理参数而容易地确定，其中包括适当的余量以避免滞后。

然而，传统方法不能适应多种标准、动态用户偏好、以及变化的网络可用性。

已提出若干方法来应对多种标准，这些方法依赖于对恰适的成本函数、效用 函数或不同度量的加权的定义。所涉及的不同参数的数目可能较大，且这些参数常 常必须提前由专家完整地指定。此外，不同参数常常并非总是对给定网络可用。而 且，当偏好改变时，算法却不改变。

因此，需要能适应网络的动态改变的偏好和环境状况的网络选择和垂直换手。

发明概述

相应地，公开了一种用于确定是否执行从当前通信网络到多个其他通信网络 之一的垂直换手的方法。该方法包括以下步骤：针对多个其他通信网络中的每一个 获得多个选择度量；针对多个其他通信网络中的每一个，使用可变核回归函数根据 至少相应的多个选择度量来计算预测效用值；针对当前通信网络获得第二多个选择 度量；使用第二可变核回归函数根据至少相应的第二多个选择度量来计算当前通信 网络的第二预测效用值；将多个其他通信网络中的每一个的预测效用值中的每一个 与第二预测效用值进行比较；以及如果最高预测效用值大于第二预测效用值，则切 换到多个其他通信网络中具有最高预测效用值的通信网络。将来时段对于每一个通 信网络是不同的并且是因网络而异的换手等待时间的函数。通信网络可选自3G蜂 窝、WLAN和WiMax。

该方法进一步包括以下步骤：确定在当前通信网络与多个其他通信网络中的 每一个之间切换的切换成本；以及如果最高预测效用值大于第二预测效用值和在当 前通信网络与具有最高预测效用的通信网络之间切换的切换成本的总和，则切换到 多个其他通信网络中具有最高预测效用值的通信网络。

该方法进一步包括计算当前通信网络的实际效用值的步骤。计算实际效用值 的步骤包括以下子步骤：将第二多个度量中的每一个映射到属性偏好值，将属性偏 好值乘以可变加权因子，以及将经乘法运算的属性偏好值中的每一个线形相加。

或者，计算当前通信网络的实际效用值的步骤包括以下步骤：用针对该多个 选择度量中的每一个获得的当前值来评估当前网络的可变核回归函数。

该方法进一步包括核学习的步骤。核学习过程包括以下步骤：将实际效用值 与第二预测效用值进行比较，基于该比较计算实际效用值与第二预测效用值之差 值；以及如果该差值大于损失容差值，则更新第二可变核回归函数。此外，基于该 差值来更新损失容差值。

可变核回归函数对于每一个通信网络不同。

该方法进一步包括存储针对n个先前时间段的多个选择度量的步骤。

该方法进一步包括通过将回归系数乘以老化系数来老化先前的多个选择度量 中的每一个的步骤，其中老化系数是可变的。

选择度量可包括通信网络可用性、服务质量和成本。服务质量是分组延迟的 函数。成本是金钱成本和能量成本的函数。通过或者计算度量或者接收先验度量来 周期性地更新选择度量，并且其可被网络管理者或管理实体接收到。可使用替换的 默认选择度量。此外，选择度量可至少包括关于网络策略的信息。网络策略信息可 包括用户分类、用户优先级、紧急需要和网络状况。

还公开了另一种用于确定是否执行从当前通信网络到多个其他通信网络之一 的垂直换手的方法。该方法包括：针对多个其他通信网络中的每一个获得多个选择 度量；针对多个其他通信网络中的每一个，使用可变核回归函数根据至少相应的多 个选择度量来计算预测效用值；针对当前通信网络获得第二多个选择度量；使用第 二可变核回归函数根据至少相应的第二多个选择度量来计算当前通信网络的第二 预测效用值；确定运行设备的所有待决应用；获得每一个待决应用的应用阈值；从 所获得的应用阈值中选择应用阈值；计算第二预测效用值与这些预测效用值中的每 一个之差值；将计算出的差值中的每一个与所选应用阈值进行比较；以及切换到具 有最高预测效用且其预测效用大于所选应用阈值的网络。第一和第二预测效用值是 针对将来的时间段确定的。

每一应用阈值基于特定应用可与每一个其他应用阈值不同。

附图简述

本发明的这些和其他特征、益处和优点通过参照以下附图将变得明显，相同 的附图标记在各示图中指示相同的结构，附图中：

图1图解根据本发明实施例的确定换手的方法的流程图；

图2图解计算网络的效用的方法的流程图；

图3图解根据本发明实施例的学习过程；以及

图4图解根据本发明第二实施例的换手判定方法的流程图。

发明详细描述

图1图解根据本发明实施例的确定换手的方法的流程图。该方法考虑移动设 备能用来通信的每一个网络的多种属性和度量。该方法还解决偏好的任何动态改 变。网络可以是任何可用的通信网络，诸如但不限于3G蜂窝、WLAN和WiMax。

在步骤100处，获得每一个网络的属性或度量。度量可以是计算出来的或是 先验已知的。该网络属性中的每一种的实际值并非总是为所有网络已知。例如，可 能不知道除当前网络之外的网络的属性。然而，在一实施例中，若干属性和度量具 有默认值。例如，如果不知道实际分组延迟，则将使用网络的默认分组延迟。此外， 如果不知道实际覆盖范围，则将使用默认覆盖范围。

在一个实施例中，属性被划分成3个主要类别：可用性、服务质量和成本。 ‘可用性’意味着满足基本连通性要求。在另一个实施例中，可用性是基于信号强 度来确定的，信号强度RSS_i＞最小阈值Δ_t。在另一个实施例中，也可使用诸如关 于信号强度的输入之类的其他输入信息、观测到的分组延迟、稳定性周期、用户速 度以及诸如名义覆盖区域或覆盖映射(若可用)之类的其他信息。‘质量’通常在 网络可提供的(可用)带宽中测量。网络的名义带宽可以是先验已知的，但可用带 宽测量起来很难或耗时。在优选实施例中，使用网络的分组延迟。在另一个实施例 中，使用平均延迟和延迟方差，以及最大可允许值。‘成本’具有两个部分：金钱 成本和能量成本。网络接口的能量成本由两个量确定：固定能量(仅用于使接口启 动)和传送/接收能量。金钱成本由费用计划以及每月、每分、或传输每KB的成 本确定。

在另一个实施例中，使用度量的另一个类别：网络策略。网络策略包括短期 和/或长期策略，诸如用户分类、用户优先级、紧急服务需要和网络状况。

在步骤110处，计算网络的实际效用。图2图解用于使用多属性效用函数计 算实际效用的一种方法。效用函数将属性和度量的值映射到偏好值。具体地，在步 骤200处映射度量以构建多属性效用函数。

在一个实施例中，可用性效用函数U_A(t)定义如下：若RSS_i(t+ΔT_i)＞Δ_i，则 U_A，j(t)＝1，否则U_A(t)＝0。质量效用函数U_Q(t)定义如下：若D_i(t+ΔT_i)＜d_i，则 U_Q，i(t)＝1，否则U_Q，i(t)＝0。成本效用函数定义如下：U_C(t)＝αU_M(t)+(1-α)U_E(t)。 在步骤205处，向每一个偏好值乘以权重。权重是计及每一种属性的不同层次的变 量。权重为c1、c2和c3。在步骤210处，将所有经加权值加总在一起。垂直换手 的总效用函数由以下线性组合给出：

U(t)＝c₁U_A(t)+c₂U_Q(t)+c₃U_C(t)

在一个实施例中，使用多属性预期效用函数来为这些属性中的每一个确定预 期效用。为将来的预定时段T+ΔT_i确定预期效用和预测效用(以后将描述)。该预 定时段是因网络而异的并且是稳定性周期的函数。稳定性周期等于“补偿时间+换 手等待时间”，或即ΔT＝T_补偿+L_换手。补偿时间是补偿归因于换手等待时间L_换手期 间的网络连通性损失的(效用)损失的时间。

补偿时间和换手等待时间也是因网络而异的。仅在预测到替换网络在大于稳 定性周期的时段中充分好于当前网络的情况下，才值得进行换手。因此，为稳定性 周期后的时段计算期望效用。

可用性的期望效用为：

A_i(t)＝EU_A，i(t)＝P(RSS_i(t+ΔT_i)＞Δ_i)            (1)，

其中P为概率。概率是基于覆盖映射、用户速度和方差的。

服务质量的预期效用为：

Q_i(t)：＝EU_Q，i(t)＝P(D_i(t+ΔT_i)＜d_i)             (2)

或

$Q_i\left(t\right)=\frac{\mathrm{Ed}(t+{\mathrm{\Delta T}}_i)}{D_{\mathrm{ave}}^{\mathrm{Max}}}+\frac{\mathrm{var}\left(d(t+\Delta T_i)\right)}{D_{\mathrm{var}}^{\mathrm{Max}}}---\left(3\right)$

成本的预期效用为：

C_i(t)：＝EU_C(t)＝αEU_M(t)+(1-α)EU_E(t)            (4)

总预期效用给出为：

EU_i(t)＝c₁A_i(t)+c₂Q(t)+c₃C(t)                     (5)

在将来时间T+ΔT_i的预期效用被用作预测将来效用的手段。

在另一个实施例中，当前网络的实际效用可使用核回归函数来计算，其中核 回归函数的输入为所获得的当前网络的度量。

在步骤120处，预测每一个网络的将来效用。在一个实施例中，使用式(5)(多 属性预期效用函数)来预测将来或预期效用。在另一个实施例中，该确定使用选择 核“K”和核回归函数“f”的核学习过程。核学习过程使得该方法和预测能适应 环境或网络状况的改变。核学习过程将在以后详细描述。

在步骤130处，确定在网络之间切换的成本。切换成本是稳定性周期的函数。 稳定性周期越大，切换成本就越高。

在步骤140处，对于每一个替换网络i，将网络i的预期效用EU_i与当前网络 的预期效用EU_当前进行比较。预期效用可使用或者多属性预期效用函数或具有核回 归函数的核学习过程来计算。对于网络i，切换成本记为γ_i。如果EU_i-γ_i＞EU_当前， 或等效地：则在步骤145处换手到网络i，否 则在步骤150处设备保持连接到的当前网络。

如上所述，属性和度量的值和权重可随时间推移而变化；因此，预测效用必 须是动态的并且基于对效用的输入的先前映射来学习。

用于预测效用的核回归函数是可变的并且对于每一个网络可以不同。此外， 用于预测效用的核回归函数也可以基于所确定的实际效用与估计效用之差值而变 化。核回归函数被用于预测网络的效用，因为并非所有度量、系数、损失容差和预 期都是完全已知的。

核学习过程运行，其中X被定义为输入集合——例如网络的集合度量的矢量， 而Y被定义为输出(预期效用)值集合，其中Y＝R。R为实数。确定映射f：X→R。 由l(f(x)，y)给出的损失函数l：R×Y→R被用于解决并惩罚估计f(x)与观测到的输 出标签y的偏差。算法的输出f是假设。所有可能假设的集合记为H。H是正半定 核k(.，.)：X×X→R所引入的再生核希尔伯空间(RKHS)。这意味着存在核 k：X×X →R和内积<.，.>_H，使得(1)k具有再生性质<f，k(x，·)>_H＝f(x)，$\forall x\in X,$以及(2)H是所有k(x，·)的跨距的闭包，x∈X。

换言之，该假设空间H——即再生核希尔伯空间(RKHS)——包含可被写为 核函数的线性组合的所有函数f：对于每一f∈X。此外，核回归可被写为：

$f\left(x\right)=\underset{i=1}{\overset{\infty }{\Sigma }}{a}_{i}k(x_i,x)---\left(6\right)$

其中(x_i，y_i)，...，(x_n，y_n)，x_i∈X，y_i∈Y是观测到的(输入，输出)对，例如(度量，效 用)对。

式(6)中的函数“f”及其系数a_i被选择成使得规律化风险最小：

$R_{\mathrm{reg},\lambda }[f,S]:=\frac{1}{m}\underset{t=1}{\overset{m}{\Sigma }}l(f\left(x_t\right),y_t)+\frac{\lambda }{2}{\left|\right|f\left|\right|}_H^2---\left(7\right)$

其中损失函数为：

l(f(x)，y)：＝max(0，|y-f(x)|-ε)。(8)

此损失函数被称为“ε不灵敏损失”。ε是损失容差。

ε不灵敏损失函数忽略小误差，即如果预测值与实际值之差值小于容差，则可 忽略该差值。使用此损失函数的优点在于其创建更稀疏的核回归函数f，其因此评 估起来在计算上较不密集，例如更多系数为0。在一实施例中，ε在学习过程期间 可以是自适应的。

核k以在以上公式(1)-(5)中给出的预期效用函数EU(t)及其分量A(t)、Q(t)和 C(t)的形式来定义。在一个实施例中，核的开始点是将Φ：X→R³从观测x_i＝(信号 强度，覆盖，延迟，损失，抖动，能量使用)映射到

Φ(x_t)＝(A(t)，Q(t)，C(t))                        (9)

总(预期)效用EU(t)被给定为这些矢量分量的线性组合

EU(t)＝c₁A(t)+c₂Q(t)+c₃C(t)＝<c，Φ(x_t)>          (10)

其中c＝(c₁，c₂，c₃)以及Φ(x_i)定义如上，当前网络的观测和映射值为基线。

映射f：X→R代表期望效用并且可以用c＝(c₁，c₂，c₃)和Φ(x_i)的形式定义为

f(x)：＝<c，Φ(x)>                        (11)

核被定义为：

k(x_i，x)：＝<Φ(x_i)，Φ(x)>               (12)

换言之，核回归函数“f”等效于多属性预期效用函数。

x_tⁱ代表网络i在时间t的状态，以及$f\left(x_t^i\right)=<c,\Phi \left(x_t^i\right)>=U_i\left(t\right).$

此外，此等效可被写为：

$f\left(x_t^i\right)=<c,\Phi \left(x_t^k\right)>={\mathrm{EU}}_i\left(t\right)={\Sigma }_{i=1}^{i-1}{\alpha }_{i}k(x_i,x)$

因此，代表预测或预期效用的核回归函数“f”可被写为核k形式的展开式，而不 直接引用分量A(t)、Q(t)和C(t)。核方法的优点在于核k比原始映射 Φ(x_i)＝(A(i)，Q(i)，C(i))或其分量更简洁且常常更易于存储。

图3图解用于预测每一个网络的效用的自适应学习过程。效用由顺序近似 f＝f(f₁，...，f_m+1)来更新，其中f₁是某个任意初始假设，例如f₁给出为f₁≡0(对于 所有x∈X，f₁(x)＝0)；f_t，t＞1是在t-1个观测后估计的‘假设’；以及l(f_t(x_t)，y_t)是 通过在尝试基于x_t和先前示例((x₁，y₁)，...，(x_t-1，y_t-1))预测y_t时学习算法招致的损失。

在步骤300处，将当前网络的预测值与在步骤110中确定的实际效用值进行 比较。计算这两个值之差值。在步骤310处，将该差值与可变损失容差进行比较。 如果差值小于损失容差，则在步骤315处不更新回归函数。

另一方面，如果差值大于损失容差，则在步骤320和325处更新回归函数。

步骤320改变如以下将定义的系数，以及步骤325改变如本文中所定义的损失容差。

回归函数被定义为：

f_t+1：＝(1-η_tλ)f_t-η_tl′(f_t(x_t)，y_t)k(x_t，·)        (13)

其中$f_t\left(x\right)={\Sigma }_{i=1}^{i-1}{\alpha }_{i}k(x_i,x),x\in X.$

f_t+1在时间t的展开式的系数计算为：

α_i：＝-η_tl′(f_t(x_t)，y_t)，i＝t    (14)

α_i：＝(1-η_tλ)α_i，i＜t           (15)

η_t＜1/λ是学习参数，其中λ＞0是通过惩罚核回归函数“f”的范数来规律化 风险的惩罚参数。如果λ＞0较大，则学习参数η_t＜1/λ就较小，这是所得系数α_i。 参数λ用于控制核展开的存储要求。

如上所述，损失容差即ε不灵敏损失，l(f(x)，y)：＝max(0，|y-f(x)|-ε)可以是 可变的。因此，损失函数被写为：l(f(x)，y)：＝max(0，|y-f(x)|-ε)+vε，其中 0＜v＜1。

变化值v就变化损失容差。具体而言，v控制损失超过损失容差ε的点f(x_i)的 分数。

f_t+1中的新系数α_tα_i，i＝1，...，t-1和新损失容差ε由以下更新等式给出：

在一实施例中，较老的例如属性之类的输入值老化，使得较老值对当前估计 的影响比较新属性少。例如，在时间t，α_t系数可被初始化为非零值，t-1个较早项 的系数按取决于η_t的因子衰退。

在另一个实施例中，在网络之间切换——即换手——的判定是基于应用的。 例如，如果期望在长时间段中使用一应用，则从当前网络到新网络的预测效用增加 将会较小。然而，如果将在短时间段中使用该应用，则从当前网络到新网络的预测 效用增加将会大很多，使得值得进行切换。根据本实施例，使用多个不同的效用阈 值来确定是否切换网络。阈值可以在网络之间“按百分比增加”。例如，如果该应 用是电影的流视频，则阈值在网络之间可按5％增加(计及切换成本)。如果该应 用是文本消息，则阈值在网络之间可按30％或更大地增加(计及切换成本)。

在一实施例中，对于不同应用，度量的权重是不同的。

图4图解根据本发明第二实施例的换手判定方法的流程图。如图所示，步骤 100-130与本发明第一实施例相同，且因此将不再描述。

一旦预测了所有将来效用，就在步骤400处作出对所有当前待决和运行应用 的确定。为所有待决应用检索应用阈值。在步骤410处，将当前网络的预测效用值 与其他网络的预测效用值中的每一个进行比较并计算当前网络与每一个网络之间 的效用差。在步骤420处，将每一个效用差与应用阈值进行比较。在一实施例中， 选择待决应用的应用阈值中的最小阈值进行比较。在另一个实施例中，选择待决应 用的应用阈值中的最大阈值进行比较。在另一个实施例中，选择待决应用的应用阈 值中的平均阈值进行比较。

如果在步骤420处效用差大于所选应用阈值，则该其他网络保持为换手的候 选。在其余候选中具有最高效用差的网络被选择用于进行换手，并且换手在步骤 425处发生。如果在步骤420处效用差皆不大于所选应用阈值，则在步骤430处不 发生换手。

本文中已参照特定示例性实施例描述了本发明。某些变更和修改对于本领域 技术人员而言是明显的而不脱离本发明的范围。示例性实施例意味着是例示性的， 而不限定本发明的范围，本发明的范围由所附权利要求定义。