递归多保真度行为预测

摘要

一种用于预测场景中的智能体的将来动作的方法包括将保真度水平指派给在场景中观察到的智能体。该方法还包括通过遍历该场景来递归地预测该智能体的将来动作。在每个递归级使用不同的前向预测模型。该方法进一步包括基于该智能体的所预测的将来动作来控制自我智能体的动作。

说明书

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求于2019年10月10日提交的题为“RECURSIVEMULTI-FIDELITY BEHAVIOR PREDICTION(递归多保真度行为预测)”的美国专利申请No.16/599,078的权益，该美国专利申请根据35U.S.C.§119(e)要求于2018年10月11日提交的题为“RECURSIVE MULTI-FIDELITY BEHAVIOR PREDICTION(递归多保真度行为预测)”的美国临时专利申请No.62/744,415的权益，上述专利申请的公开内容通过援引全部明确纳入于此。

背景

领域

本公开的各方面一般涉及行为预测，尤其涉及用于递归行为预测的系统和方法。

背景

卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每一个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体而言，CNN已经在模式识别和分类领域中被广泛使用。

CNN也可被用于行为预测。自主交通工具和非自主交通工具可以使用CNN来预测智能体(诸如其他交通工具)之间的行为。例如，自主交通工具将行为预测用于规划和决策制定。期望改进用于诸如自主驾驶等任务的行为预测系统。

概述

在本公开的一个方面，公开了一种方法。公开了该方法可预测场景中的智能体的将来动作。该方法包括将保真度水平指派给在场景中观察到的智能体。该方法还包括通过遍历该场景来递归地预测该智能体的将来动作。该方法进一步包括基于该智能体的所预测的将来动作来控制自我智能体的动作。

本公开的另一方面涉及一种装备，该装备包括用于将保真度水平指派给在场景中观察到的智能体的装置。该装备还包括用于通过遍历该场景来递归地预测该智能体的将来动作的装置。该装备进一步包括用于基于该智能体的所预测的将来动作来控制自我智能体的动作的装置。

在本公开的另一方面，公开了一种其上记录有非瞬态程序代码的非瞬态计算机可读介质。该程序代码可预测场景中的智能体的将来动作。该程序代码由处理器执行并且包括用于将保真度水平指派给在场景中观察到的智能体的程序代码。该程序代码还包括用于通过遍历该场景来递归地预测该智能体的将来动作的程序代码。该程序代码进一步包括用于基于该智能体的所预测的将来动作来控制自我智能体的动作的程序代码。

本公开的另一方面涉及一种装置。该装置可预测场景中的智能体的将来动作。该装置具有存储器以及耦合至该存储器的一个或多个处理器。(诸)处理器被配置成将保真度水平指派给在场景中观察到的智能体。(诸)处理器还被配置成通过遍历该场景来递归地预测该智能体的将来动作。(诸)处理器被进一步配置成基于该智能体的所预测的将来动作来控制自我智能体的动作。

本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。

附图简述

在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。

图1解说了根据本公开的某些方面的使用片上系统(SOC)(包括通用处理器)来设计神经网络的示例实现。

图2A、2B和2C是解说根据本公开的各方面的神经网络的示图。

图2D是解说根据本公开的各方面的示例性深度卷积网络(DCN)的示图。

图3是解说根据本公开的各方面的示例性深度卷积网络(DCN)的框图。

图4A、4B和4C解说了根据本公开的各方面的递归多保真度行为预测的示例。

图5A、5B和5C解说了根据本公开的各方面的推理水平的示例。

图6解说了根据本公开的各方面的用于预测轨迹的模型的示例。

图7A、7B、7C和7D解说了根据本公开的各方面的使用间隙-线程操纵的递归多保真度预测的示例。

图8解说了根据本公开的各方面的确定最可能的策略的示例。

图9A和9B解说了根据本公开的各方面的确定策略的示例。

图10解说了根据本公开的各方面的用于预测场景中的智能体的将来动作的方法。

详细描述

以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有配置。本详细描述包括具体细节以提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。

基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。

措辞“示例性”在本文中用于意指“用作示例、实例、或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。

尽管在本文中描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。

可在涉及决策制定智能体之间的交互的任务中使用行为预测。例如，自主交通工具将行为预测用于规划和决策制定。在该示例中，自主交通工具使用行为预测系统来预测该自主交通工具周围的环境中的智能体的行为。自主交通工具可被称为自我智能体。周围环境可包括动态对象，诸如自主智能体。周围环境还可包括静态对象，诸如道路和建筑物。

一个或多个传感器(诸如光检测和测距(LIDAR)传感器、无线电检测和测距(RADAR)传感器、相机、和/或另一类型的传感器)可被用来捕捉环境的时间快照(例如，场景)。时间快照提供关于给定时刻的环境的状态(诸如动态对象和静态对象的位置)的信息。基于该时间快照和一个或多个先前的时间快照，行为预测系统计算多个情景(例如，场景的可能的将来演变)。

行为预测可被称为估计场景中的一个或多个动态智能体的将来轨迹上的后验分布的任务。当规划自我智能体的行为时，期望准确地预测该自我智能体周围的智能体的行为。归因于状态和模型不确定性，预测周围智能体的行为可能是困难的。状态不确定性是指智能体的位置和/或速度中的不确定性。模型不确定性是指智能体的推理过程的模型中的不确定性。

自我智能体和其他智能体两者的将来行为是相互依赖的。归因于该相互依赖性，行为预测可能是困难的，尤其是在连续状态空间、动作空间、和/或观察空间中。例如，公路驾驶可利用连续状态空间、动作空间和观察空间来建模。当在公路上行进时，预测模型在控制自我智能体的动作的同时接收来自对其他智能体的动作的连续观察的信息。

本公开的各方面涉及通过将多保真度框架组合到递归推理方案中来改进行为预测。多保真度是指以各种保真度水平来预测行为。通过使用具有递归推理方案的多保真度框架，本公开的各方面可以减少存储器占用并减少用于自我智能体的行为预测系统的功耗。

运动假言是指对智能体的所预测的将来轨迹的表示。运动假言可以是单个轨迹或轨迹上的分布。原子预测模型是接收对场景的历史的表示的输入的模型。原子预测模型还可以接收对场景的所预测的将来的表示作为输入。通过原子预测模型来生成针对特定目标交通工具的运动假言。原子预测模型可在其预测保真度水平上变化。原子预测模型也可被称为策略。

场景中的每个智能体可被指派推理水平和原子预测模型集。智能体的推理水平是大于或等于零的整数。来自智能体的所指派的原子预测模型集中的每个原子预测模型对应于大于或等于零且小于或等于该智能体的所指派的推理水平的特定推理水平。对于每个水平而言，给定智能体可具有不超过一个的所指派的原子预测模型。

对于具有所指派的水平0原子预测模型的每个智能体，递归推理方案使用所指派的水平0原子预测模型来生成水平0运动假言。对于具有所指派的水平1原子预测模型的每个智能体，递归推理方案使用所指派的水平1原子预测模型来生成水平1运动假言。其他智能体的水平0运动假言的子集可被用作水平1预测模型中的任一者的输入。该过程可被重复，使得每个相继的运动假言集(水平k)可以以场景中的其他智能体的子集中的每个智能体的最高水平(至多达k-1)先前计算出的运动假言为条件。

多保真度框架提供了调谐预测每个智能体的行为的保真度的能力。在一种配置中，多保真度框架允许指派给每个智能体的原子策略模型集的定制。可能期望调谐保真度以使模型与由用于收集环境信息的传感器引起的不确定性的分布相适配。例如，对于运动历史在对模型可用的场景历史中未被良好定义的那个智能体而言，可能期望较低保真度原子预测模型。

多保真度框架还可供用于使计算资源的分配偏向于被认为是最显著的智能体。即，与环境中的其他智能体相比，可将更多计算资源分配给具有较高显著性的智能体。例如，毗邻自动交通工具(例如，自我智能体)的交通工具的行为可被认为相比于离得较远的交通工具的行为而言对于预测模型的规划过程更为重要。如此，与分配给处理与环境中的其他对象有关的信息的计算资源相比，更多计算资源可被分配给处理与毗邻自动交通工具的交通工具有关的信息。附加地，显著性较高的智能体可生成增大的信息量。如此，附加计算资源可被用来处理显著性较高的智能体的附加信息。

通过以先前计算出的运动假言为条件，模型就智能体之间的将来交互进行显式地推理。对于目标交通工具的较高水平运动假言可以以针对周围交通工具的预测为条件，该针对周围交通工具的预测进而可以以对于相同目标交通工具的较低水平运动假言为条件。所讨论的条件化可被称为递归方案。

生成与多个相异的可能情景相对应的预测(其可以由情景树或情景林编码)是可能的。多个情景树可共享共用预测节点，并扇出成由较高水平的推理表示的中间节点和叶节点。

图1解说了片上系统(SOC)100的示例实现，其可包括根据本公开的某些方面而被配置成用于递归多保真度行为预测的中央处理单元(CPU)102或多核CPU。变量(例如，神经信号和突触权重)、与计算设备相关联的系统参数(例如，带有权重的神经网络)、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(NPU)108相关联的存储器块中、与CPU102相关联的存储器块中、与图形处理单元(GPU)104相关联的存储器块中、与数字信号处理器(DSP)106相关联的存储器块中、存储器块118中，或可跨多个块分布。在CPU 102处执行的指令可从与CPU 102相关联的程序存储器加载或可从存储器块118加载。

SOC 100还可包括为具体功能定制的附加处理块，诸如GPU 104、DSP 106、连通性块110(其可包括第五代(5G)连通性、第四代长期演进(4G LTE)连通性、Wi-Fi连通性、USB连通性、蓝牙连通性等)以及例如可检测和识别姿势的多媒体处理器112。在一种实现中，NPU实现在CPU、DSP、和/或GPU中。SOC 100还可包括传感器处理器114、图像信号处理器(ISP)116、和/或导航模块120(其可包括全球定位系统)。

SOC 100可基于ARM指令集。在本公开的一方面，加载到处理器102中的指令可以包括用于将保真度水平指派给在场景中观察到的智能体的代码。处理器102还可以包括用于通过遍历该场景来递归地预测该智能体的将来动作的代码。处理器102可以进一步包括用于基于该智能体的所预测的将来动作来控制自我智能体的动作的代码。

深度学习架构可通过学习在每一层中以逐次更高的抽象程度来表示输入、藉此构建输入数据的有用特征表示来执行对象识别任务。以此方式，深度学习解决了常规机器学习的主要瓶颈。在深度学习出现之前，用于对象识别问题的机器学习办法可能严重依赖人类工程设计的特征，或许与浅分类器相结合。浅分类器可以是两类线性分类器，例如，其中可将特征向量分量的加权和与阈值作比较以预测输入属于哪一类。人类工程设计的特征可以是由拥有领域专业知识的工程师针对特定问题领域定制的模版或内核。相比之下，深度学习架构可学习以表示与人类工程师可能会设计的类似的特征，但它是通过训练来学习的。此外，深度网络可以学习以表示和识别人类可能还没有考虑过的新类型的特征。

深度学习架构可以学习特征阶层。例如，如果向第一层呈递视觉数据，则第一层可学习以识别输入流中的相对简单的特征(诸如边)。在另一示例中，如果向第一层呈递听觉数据，则第一层可学习以识别特定频率中的频谱功率。取第一层的输出作为输入的第二层可以学习以识别特征组合，诸如对于视觉数据识别简单形状或对于听觉数据识别声音组合。例如，更高层可学习以表示视觉数据中的复杂形状或听觉数据中的词语。再高层可学习以识别常见视觉对象或口语短语。

深度学习架构在被应用于具有自然阶层结构的问题时可能表现特别好。例如，机动交通工具的分类可受益于首先学习以识别轮子、挡风玻璃、以及其他特征。这些特征可在更高层以不同方式被组合以识别轿车、卡车和飞机。

神经网络可被设计成具有各种各样的连通性模式。在前馈网络中，信息从较低层被传递到较高层，其中给定层中的每个神经元向更高层中的神经元进行传达。如上所述，可在前馈网络的相继层中构建阶层式表示。神经网络还可具有回流或反馈(也被称为自顶向下(top-down))连接。在回流连接中，来自给定层中的神经元的输出可被传达给相同层中的另一神经元。回流架构可有助于识别跨越不止一个按顺序递送给该神经网络的输入数据组块的模式。从给定层中的神经元到较低层中的神经元的连接被称为反馈(或自顶向下)连接。当高层级概念的识别可辅助辨别输入的特定低层级特征时，具有许多反馈连接的网络可能是有助益的。

神经网络的各层之间的连接可以是全连通的或局部连通的。图2A解说了全连通神经网络202的示例。在全连通神经网络202中，第一层中的神经元可将它的输出传达给第二层中的每个神经元，从而第二层中的每个神经元将从第一层中的每个神经元接收输入。图2B解说了局部连通神经网络204的示例。在局部连通神经网络204中，第一层中的神经元可连接到第二层中有限数目的神经元。更一般化地，局部连通神经网络204的局部连通层可被配置成使得一层中的每个神经元将具有相同或相似的连通性模式，但其连接强度可具有不同的值(例如，210、212、214和216)。局部连通的连通性模式可能在更高层中产生空间上相异的感受野，这是由于给定区域中的更高层神经元可接收到输入，其通过训练被调谐到至网络的总输入的受限部分的性质。

局部连通神经网络的一个示例是卷积神经网络。图2C解说了卷积神经网络206的示例。卷积神经网络206可被配置成使得与针对第二层中每个神经元的输入相关联的连接强度被共享(例如，208)。卷积神经网络可能非常适合于其中输入的空间位置有意义的问题。

一种类型的卷积神经网络是深度卷积网络(DCN)。图2D解说了被设计成识别来自图像捕捉设备230(诸如车载相机)的图像226输入的视觉特征的DCN 200的详细示例。可对当前示例的DCN 200进行训练以标识交通标志以及在交通标志上提供的数字。当然，DCN200可被训练用于其他任务，诸如标识车道标记或标识交通信号灯。

可以用监督式学习来训练DCN 200。在训练期间，可向DCN 200呈递图像(诸如限速标志的图像226)，并且随后可计算“前向传递(forward pass)”以产生输出222。DCN 200可包括特征提取区段和分类区段。在接收到图像226之际，卷积层232可向图像226应用卷积核(未示出)，以生成第一特征图集合218。作为示例，卷积层232的卷积核可以是生成28x28特征图的5x5核。在本示例中，由于在第一特征图集合218中生成四个不同的特征图，因此在卷积层232处四个不同的卷积核被应用于图像226。卷积核还可被称为过滤器或卷积过滤器。

第一特征图集合218可由最大池化层(未示出)进行子采样以生成第二特征图集合220。最大池化层减小了第一特征图集合218的大小。即，第二特征图集合220的大小(诸如14x14)小于第一特征图集合218的大小(诸如28x28)。减小的大小向后续层提供类似的信息，同时降低存储器消耗。第二特征图集合220可经由一个或多个后续卷积层(未示出)被进一步卷积，以生成一个或多个后续特征图集合(未示出)。

在图2D的示例中，第二特征图集合220被卷积以生成第一特征向量224。此外，第一特征向量224被进一步卷积以生成第二特征向量228。第二特征向量228的每个特征可包括与图像226的可能特征(诸如“标志”、“60”和“100”)相对应的数。softmax(软最大化)函数(未示出)可将第二特征向量228中的数转换为概率。如此，DCN 200的输出222是图像226包括一个或多个特征的概率。

在本示例中，输出222中关于“标志”和“60”的概率高于输出222的其他特征(诸如“30”、“40”、“50”、“70”、“80”、“90”和“100”)的概率。在训练之前，由DCN 200产生的输出222很可能是不正确的。由此，可计算输出222与目标输出之间的误差。目标输出是图像226的真值(例如，“标志”和“60”)。DCN 200的权重可随后被调整以使得DCN 200的输出222与目标输出更紧密地对齐。

为了调整权重，学习算法可为权重计算梯度向量。该梯度可指示在权重被调整情况下误差将增加或减少的量。在顶层处，该梯度可直接对应于连接倒数第二层中的活化神经元与输出层中的神经元的权重的值。在较低层中，该梯度可取决于权重的值以及所计算出的诸较高层的误差梯度。权重可随后被调整以减小误差。这种调整权重的方式可被称为“后向传播”，因为其涉及穿过神经网络的“后向传递(backward pass)”。

在实践中，权重的误差梯度可能是在少量示例上计算的，从而计算出的梯度逼近真实误差梯度。这种逼近方法可被称为随机梯度下降法。随机梯度下降法可被重复，直到整个系统可达成的误差率已停止下降或直到误差率已达到目标水平。在学习之后，DCN可被呈递新图像(例如，图像226的限速标志)并且通过网络前向传递可产生输出222，其可被认为是该DCN的推断或预测。

深度置信网络(DBN)是包括多层隐藏节点的概率性模型。DBN可被用于提取训练数据集的阶层式表示。DBN可通过堆叠数层受限波尔兹曼机(RBM)来获得。RBM是一种可在输入集上学习概率分布的人工神经网络。由于RBM可在没有关于每个输入应该被分类到哪个类的信息的情况下学习概率分布，因此RBM经常被用于无监督式学习中。使用混合无监督式和有监督式范式，DBN的底部RBM可按无监督方式被训练并且可以用作特征提取器，而顶部RBM可按有监督方式(在来自先前层的输入和目标类的联合分布上)被训练并且可用作分类器。

深度卷积网络(DCN)是卷积网络的网络，其配置有附加的池化和归一化层。DCN已在许多任务上达成现有最先进的性能。DCN可使用有监督式学习来训练，其中输入和输出目标两者对于许多典范是已知的并被用于通过使用梯度下降法来修改网络的权重。

DCN可以是前馈网络。另外，如上所述，从DCN的第一层中的神经元到下一更高层中的神经元群的连接跨第一层中的神经元被共享。DCN的前馈和共享连接可被利用于进行快速处理。DCN的计算负担可比例如类似大小的包括回流或反馈连接的神经网络的计算负担小得多。

卷积网络的每一层的处理可被认为是空间不变模版或基础投影。如果输入首先被分解成多个通道，诸如彩色图像的红色、绿色和蓝色通道，那么在该输入上训练的卷积网络可被认为是三维的，其具有沿着该图像的轴的两个空间维度以及捕捉颜色信息的第三维度。卷积连接的输出可被认为在后续层中形成特征图，该特征图(例如，220)中的每个元素从先前层(例如，特征图218)中一定范围的神经元以及从该多个通道中的每个通道接收输入。特征图中的值可以用非线性(诸如矫正max(0,x))进一步处理。来自毗邻神经元的值可被进一步池化(这对应于降采样)并可提供附加的局部不变性以及降维。还可通过特征图中神经元之间的侧向抑制来应用归一化，其对应于白化。

深度学习架构的性能可随着有更多被标记的数据点变为可用或随着计算能力提高而提高。现代深度神经网络用比仅仅十五年前可供典型研究者使用的计算资源多数千倍的计算资源来例行地训练。新的架构和训练范式可进一步推升深度学习的性能。经矫正的线性单元可减少被称为梯度消失的训练问题。新的训练技术可减少过拟合(over-fitting)并因此使更大的模型能够达成更好的泛化。封装技术可抽象出给定的感受野中的数据并进一步提升总体性能。

图3是解说深度卷积网络350的框图。深度卷积网络350可包括多个基于连通性和权重共享的不同类型的层。如图3中示出的，深度卷积网络350包括卷积块354A、354B。卷积块354A、354B中的每一者可配置有卷积层(CONV)356、归一化层(LNorm)358、和最大池化层(MAX POOL)360。

卷积层356可包括一个或多个卷积过滤器，其可被应用于输入数据以生成特征图。尽管仅示出了两个卷积块354A、354B，但本公开不限于此，而是代之以根据设计偏好可将任何数目的卷积块354A、354B包括在深度卷积网络350中。归一化层358可对卷积过滤器的输出进行归一化。例如，归一化层358可提供白化或侧向抑制。最大池化层360可提供在空间上的降采样聚集以实现局部不变性和降维。

例如，深度卷积网络的并行过滤器组可被加载到SOC 100的CPU 102或GPU 104上以达成高性能和低功耗。在替换实施例中，并行过滤器组可被加载到SOC 100的DSP 106或ISP 116上。另外，深度卷积网络350可访问其他可存在于SOC 100上的处理块，诸如分别专用于传感器和导航的传感器处理器114和导航模块120。

深度卷积网络350还可包括一个或多个全连通层362(FC1和FC2)。深度卷积网络350可进一步包括逻辑回归(LR)层364。深度卷积网络350的每一层356、358、360、362、364之间是要被更新的权重(未示出)。每一层(例如，356、358、360、362、364)的输出可以用作深度卷积网络350中一后续层(例如，356、358、360、362、364)的输入以从第一卷积块354A处供应的输入数据352(例如，图像、音频、视频、传感器数据和/或其他输入数据)学习阶层式特征表示。深度卷积网络350的输出是针对输入数据352的分类得分366。分类得分366可以是概率集，其中每个概率是输入数据包括来自特征集的特征的概率。

在行为预测情景中，环境可展现出可被用来减少计算数目的结构(例如，规则)。例如，在具有许多智能体的环境中，每个智能体的行为可能主要受到周围智能体的子集的影响。在驾驶中，例如，与来自非毗邻交通工具的影响相比，毗邻交通工具可能对给定交通工具的行为具有更大影响。

环境的约束也可能暗示智能体之中的动作优先级的直观顺序。例如，在驾驶时，环境约束(诸如交通法规、当地驾驶习惯、和道路结构)可能影响动作优先级的顺序。作为一个示例，当地驾驶习惯和/或交通法规可规定相同车道中的在其他交通工具前方的交通工具具有先行权。在此类情形中，可通过假设跟随者交通工具对引导者交通工具的动作作出反应来简化行为预测模型，但是引导者交通工具的动作很大程度上独立于跟随者交通工具的动作。

环境约束可被用来构造交互图。图的节点表示智能体。图的有向边对两个节点之间的单向依赖关系进行编码。在一些实例中，智能体之间具有循环关系可能是恰适的。循环关系是指其中给定智能体的行为被认为是相互依赖的情形。相互依赖性不使一种关系优先于另一种关系。

可通过按优先级顺序遍历交互图来生成递归预测。预测是递归的，因为针对目标交通工具的较高水平预测是以针对周围交通工具的预测为条件的，该针对周围交通工具的预测可以以针对相同目标交通工具的较低水平预测为条件。在一种配置中，针对具有比其在交互图中的直接邻居更高的优先级的智能体生成水平0预测。还可针对作为循环依赖性关系(例如，一个智能体的动作取决于另一智能体的动作)的一部分的智能体生成水平0预测。

当智能体之间存在循环关系时，递归推理被用来生成针对相互依赖的智能体的预测。即，循环关系是交互图(其是基于环境所展现出的或推断出环境的结构而生成的)的属性。递归可被用来管理循环依赖性。在一般情形中，当考虑环境的结构时，假设每个智能体的行为是以每个其他智能体的行为为条件的。在该情形中，所有关系都是循环的。

图4A、4B和4C解说了根据本公开的各方面的递归多保真度行为预测的示例。如图4A所示，在第一时步，预测模型接收与对场景400(诸如多车道道路上的交通工具)的观察相对应的信息。可经由自我智能体402的一个或多个传感器(诸如LIDAR传感器、RADAR传感器、相机、和/或另一类型的传感器)来观察场景400。基于该观察，预测模型(例如，原子预测模型)标识场景中的其他对象(诸如其他智能体404)的位置。该观察还可标识每个智能体的行进方向(经由图4A中的箭头来标识)。环境模型是基于所观察到的场景400来更新的。

如图4B所示，在观察场景400之后，预测模型将推理水平和原子预测模型集指派给所观察到的智能体404中的每一者。在一种配置中，与其他智能体404相比，毗邻自我智能体402的智能体406被指派较高的保真度水平。毗邻智能体406是所观察到的智能体404的子集。毗邻智能体406处于围绕自我智能体402的第一模式。自我智能体402处于第二模式。附加地，在与自我智能体402相同车道410中的位于其他智能体404、406前方的智能体408可被指派较高的保真度水平，因为其他智能体404、406的动作可取决于该前方智能体408的动作。前方智能体408是所观察到的智能体404的子集。

如图4C所示，在指派保真度水平之后，预测模型基于环境的结构来生成交互图以对智能体之间的关系进行编码。交互图也可在指派保真度水平之前被生成。有向边(图4C中未示出)对两个智能体之间的影响的方向进行编码。智能体404、406、408之间的连接412标识两个智能体之间的约束。在有向图中，每条边包括用箭头尖端描绘的方向(图4C中未示出)。在双向关系的情形中，边应在两个端部具有箭头尖端(图4C中未示出)。即，如果第一智能体426的动作对第二智能体424具有影响，则边应从第一智能体426指向第二智能体424。通过从最高优先级到最低优先级遍历该图来选择水平0,1,...,K行为预测的相继子集。

根据本公开的各方面，在生成交互图之后，模型预测针对智能体集合的水平0情景。每个情景与针对该智能体集合中的每个智能体的一个运动假言相对应。如上面所讨论的，对于具有所指派的水平0原子预测模型的每个智能体，递归推理方案使用所指派的水平0原子预测模型来生成水平0运动假言。针对每个智能体的相异预测的数目可以基于原子预测模型的预测保真度。

图5A解说了根据本公开的各方面的两个相异的水平0情景的示例。如图5A所示，生成针对第一智能体集合510(例如，道路上的交通工具)的情景500A、500B。第一智能体集合510包括四个智能体502、504、506、508。该智能体集合510中的第二智能体504的保真度水平高于该智能体集合510中的其他智能体502、506、508的保真度水平。箭头520标识每个智能体502、504、506、508的所预测的移动。

基于水平0情景500A、500B，预测模型生成针对第二智能体集合514的水平1情景。图5B解说了生成针对以水平0情景500A、500B为条件的第二智能体集合514的水平1情景550A、550B、550C的示例。第二集合514中的每个智能体的所预测的动作是对第一水平0情景500A、500B中的第一智能体集合510的所预测的动作的响应。每个水平1情景550A、550B、550C包括第二集合514内的每个智能体的一个所预测的动作。每个水平1情景550A、550B、550C中的所预测的动作可以由水平1预测模型生成(参见图7)。

预测模型继续生成针对智能体集合的情景。即，预测模型生成水平0到水平K情景。每个水平k(k＝0到K)情景是以水平k-1情景和在先水平的情景为条件的。具体地，每个水平k情景是以情景树中的从根节点到父节点的全节点链为条件的。附加地，情景树中的任何特定叶节点包括祖先链中一直回到根节点的针对每个智能体的最高水平预测。

图5C解说了生成针对以水平k-1情景560A、560B为条件的第四智能体集合516的水平k情景570A、570B、570C的示例。第四集合516中的每个智能体的所预测的动作是对水平k-1情景560A、560B中的第三智能体集合518的所预测的动作的所预测的响应。每个水平k情景570A、570B、570C包括第四集合516内的每个智能体的一个所预测的动作。每个水平k情景570A、570B、550C中的所预测的动作可以由水平k预测模型生成。可基于水平0-k情景来生成一个或多个情景树。每个情景树对环境中的智能体的可能的将来行为上的联合分布的基于粒子的表示进行编码。

图6解说了根据本公开的各方面的用于预测轨迹的模型600的示例。如图6所示，预测模型接收与在当前时步对场景604的观察相对应的信息，并将保真度水平指派给每个智能体640、642。一些智能体可以是高保真度智能体642，而其他智能体是低保真度智能体640。本公开的各方面不限于两个保真度水平，可以使用两个或更多个保真度水平。多个水平0情景可基于一个或多个高保真度智能体642的多个水平0轨迹来生成。水平0情景是指每个所观察到的智能体640、642在下一时步的潜在水平0轨迹。在该示例中，预测模型选择高保真度智能体642之一，并基于先前的观察来确定所选智能体606的水平0轨迹610。人类驾驶员可手动地操作高保真度智能体642和低保真度智能体640。

为了确定所选智能体606的水平0轨迹610，预测模型确定所选智能体606的感兴趣区域602。感兴趣区域602可以是取决于应用的。例如，应用可确定可被用于规划的其他智能体的距离和/或位置。在一个示例中，紧急交通工具的感兴趣区域602的范围可大于个人使用交通工具的范围。传感器的范围限制也可确定感兴趣区域602的范围。感兴趣区域602中的智能体包括高保真度智能体642、低保真度智能体640、和自我智能体630。为了清楚起见，在感兴趣区域602中与所选智能体606相邻的智能体630、640、642可被称为相邻智能体616。从先前观察知晓在感兴趣区域602中的每个智能体606、616的先前轨迹608(例如，动作)。基于先前轨迹608，模型600确定所选智能体606的水平0轨迹610。

在一种配置中，每个智能体606、616的先前轨迹608由长短期记忆(LSTM)编码器612来编码。LSTM编码器612可以是LSTM神经网络。LSTM编码器612的输出是概述每个相邻智能体616的行为的最新近历史的最新近历史张量628。LSTM编码器612还输出对所选智能体606的动力学进行编码的交通工具动力学张量618。最新近历史张量628可被存储在模仿相邻智能体616相对于所选智能体606的几何关系的三维(3D)张量结构614中。

3D张量结构614中的最新近历史张量628由卷积神经网络(CNN)620的多个层624处理。CNN 620的输出是表示描述本地环境的状态的统计量的社交上下文张量。具体地，最新近历史张量628将智能体608的最新近历史概述为由LSTM编码器612编码的向量。最新近历史张量628根据其在场景中的位置而被放置在3D张量结构614中，由此几何地捕捉交通工具之间的交互。预测张量632不同于最新近历史张量628。预测张量632是将水平k(k＝0到K)预测编码成向量的向量。

对于水平0预测，社交上下文输出与所选智能体606的交通工具动力学张量618相组合。对于水平1预测，三个向量被级联：针对水平0和水平1的从CNN 620生成的社交上下文向量；以及交通工具动力学张量618(例如，向量)。社交上下文输出和所选智能体606的交通工具动力学张量618的组合被输入到解码器神经网络622。

解码器神经网络622生成将来帧集合上的将来运动的预测性分布。通过预测各种操纵类别的分布以及每种操纵类别的概率来解决驾驶员行为的固有多模态。在一种配置中，操纵类别包括横向操纵类别和纵向操纵类别。

如图6所示，解码器神经网络622接收轨迹编码。解码器神经网络622包括两个softmax层(横向softmax层650和纵向softmax层652)。横向softmax层650输出横向操纵概率(P(m

LSTM解码器生成t

如图6所示，轨迹编码经由级联器656与操纵编码654级联。具体地，轨迹编码与对应于横向操纵类别的一个向量和对应于纵向操纵的一个向量级联。经级联的编码被输入到LSTM解码器以获得因操纵而异的分布P

操纵编码是从操纵类别获得的。如所讨论的，操纵类别是基于横向操纵和纵向操纵的。横向操纵包括左车道改变、右车道改变、和车道保持操纵。左车道改变和右车道改变可关于实际交叉路口而变化。如此，可针对左车道改变和右车道改变中的每一者定义两个或更多个向量。纵向操纵可被拆分成正常驾驶和制动。

在确定每个高保真度智能体642的水平0轨迹610之后，模型600可被用来确定水平1轨迹。具体地，针对自我智能体630的感兴趣区域602中的每个高保真度智能体642确定水平0轨迹610。每个高保真度智能体642可被用作所选智能体606。在确定所有水平0轨迹之后，模型确定每个所选智能体606周围的智能体641、642的水平1轨迹。在第一迭代中，针对每个所选智能体606周围的智能体641、642计算水平1轨迹。在第k迭代中，针对每个所选智能体606周围的智能体641、642计算水平k轨迹。

对于水平0，每个相邻智能体616的先前轨迹608由LSTM编码器612来编码。在一种配置中，对于水平1轨迹，仅水平0预测轨迹被编码。在另一配置中，对于水平1轨迹，取代使用先前轨迹608，恒定速度模型被用于低保真度智能体640。

类似于确定水平0轨迹，对于水平1轨迹，相邻智能体616的预测张量632被存储在3D张量结构614中。3D张量结构614中的预测张量632由CNN 620的多个层624处理。该多个层624的权重在水平1与水平0之间不同。对于水平1轨迹，CNN 620的社交上下文输出与水平0社交上下文输出和所选智能体606的交通工具动力学张量618相组合。该组合被输入到解码器神经网络622，并生成水平1轨迹上的分布。该分布提供每个水平1轨迹的概率。解码器神经网络622还生成每个水平1轨迹的形状(例如，路径)。

可重复模型600的过程直至水平K。水平K预测与社交上下文输出和所选智能体606的交通工具动力学张量618相组合。模型600不限于图6的模型600。其他模型可被用于行为预测。其他模型将生成水平0预测并使用递归。

根据本公开的另一方面，递归多保真度预测考虑间隙-线程操纵。图7A、7B、7C和7D解说了使用间隙-线程操纵的递归多保真度预测的示例。根据本公开的各方面。如图7A所示，在第一时步，预测模型接收与对场景700的观察相对应的信息。可经由自我智能体702的一个或多个传感器(诸如LIDAR传感器、RADAR传感器、相机、和/或另一类型的传感器)来观察场景700。基于该观察，预测模型标识场景中的其他对象(诸如其他智能体704)的位置。该观察还可标识每个智能体704的行进方向(经由图7A中的箭头来标识)。环境模型是基于所观察到的场景700来更新的。

如图7B所示，在观察场景700之后，预测模型基于几何和基于地图的成对特征来生成交互图。有向边(图7B中未示出)对两个智能体之间的影响的方向进行编码。智能体702、704之间的连接712标识两个智能体之间的约束。例如，在自我智能体702与每个毗邻智能体706之间建立连接712。连接712标识自我智能体702与每个毗邻智能体706之间的关系，使得自我智能体702的动作可影响每个毗邻智能体706的动作。附加地，毗邻智能体706的动作可影响自我智能体702的动作。

在生成交互图之后，场景700被划分成不同保真度邻域。图7C解说了保真度邻域的示例。高保真度邻域可以以自我智能体702为中心。例如，每个毗邻智能体706可在高保真度邻域710中。非毗邻智能体708可被指派给低保真度邻域722。为了清楚起见，图7C没有解说每个低保真度邻域722。

标识用于每个智能体706、708的适用策略。图7D解说了智能体708的所标识的策略714、716、718、720的示例。每个策略可以由本地邻域和道路几何形状定义。例如，如图7D所示，智能体708可以保持其当前轨迹714，移动到第一智能体707A前方的间隙716，移动到第一智能体707A与第二智能体707B之间的间隙718中，或移动到第二智能体707B后方的间隙720中。间隙716、718、720和当前轨迹714可被称为策略。

在一种配置中，针对与每个智能体相对应的每个策略确定策略可能性。策略可能性确定智能体执行策略的可能性。执行策略的可能性可基于轨迹的成本、轨迹与来自先前时步的经高速缓存的轨迹的相似性、智能体的先前动作、地图位置、邻居星座等。在一种配置中，智能体的先前动作被用来确定执行策略的可能性。例如，智能体朝一方向的移动或智能体的转向信号可被同来确定执行政策的可能性。

图8解说了根据本公开的各方面的确定最可能的策略的示例。如图8所示，确定用于目标智能体800的不同策略802。在该示例中，智能体800可能已在先前时步激活了其右转信号。基于所激活的转向信号，预测模型可确定移动到第一智能体804与第二智能体806之间的间隙是最可能的策略。

基于从交互图确定的优先级顺序，可针对每个智能体采样一个或多个策略。样本数目可取决于该智能体的保真度水平和操纵分布。当针对智能体采样一个以上策略时，情景树被分叉。分叉可改变交互图。交互图中的改变导致优先级顺序的改变。从情景树的根节点到叶节点的每条路径表示样本策略的全集，其中针对每辆车采样一个策略。因此，叶节点中的预测是以从根节点到该叶的父节点的全节点链为条件的。

图9A解说了根据本公开的各方面的确定用于智能体920、922、924、926、928的策略902的示例。如图9A所示，在情景树的根节点910处，按优先级顺序确定用于每个智能体920、922、924、926、928的策略902。例如，可按与每个智能体920、922、924、926、928相对应的数字(例如，1-5)的顺序来确定策略902。在该示例中，生成用于第五智能体928的两个策略。用于第五智能体928的策略的数目可大于用于其他智能体920、922、924、926的策略的数目，因为高保真度水平被指派给第五智能体926。

响应于第五智能体928具有一个以上策略902，情景树被分叉。图9B解说了根据本公开的各方面的情景树的分支节点的示例。如图9B所示，情景树的根节点99包括用于一组智能体920、922、924、926的策略902。附加地，第一叶912包括用于一组智能体920、922、924、926的策略902以及用于第五智能体928的第一策略930。第二叶914包括用于一组智能体920、922、924、926的策略902以及用于第五智能体928的第二策略932。可在第一叶912和第二叶914中生成用于其他智能体934的策略。当生成用于其他智能体934之一的一个以上策略时，第一叶912和第二叶914可分叉。

根据本公开的各方面，混合办法可被用于行为预测。混合办法可使用与图6的模型类似的模型。对于混合办法，确定用于邻域中的智能体集合的水平0策略。该智能体集合的动作可能对自我智能体没有实质性影响。基于水平0策略，基于优先级来确定用于每个智能体的水平1策略。

图10解说了根据本公开的一方面的用于预测场景中的智能体的将来动作的方法1000。如图10所示，在第一框1002，预测模型将保真度水平指派给在场景中观察到的智能体。保真度水平可以指智能体在场景中的显著性。在一种配置中，使计算资源偏向于被认为是最显著的智能体。可经由一个或多个传感器(诸如LIDAR传感器、RADAR传感器、相机、和/或另一类型的传感器)来观察场景。基于该观察，预测模型标识场景中的其他对象的位置。该观察还可标识每个智能体的行进方向。

在可任选的配置中，在框1004，推理水平和前向预测模型集被指派给场景中的每个智能体。前向预测模型可被称为原子模型。智能体的推理水平可以是大于或等于零的整数。智能体的所指派的前向预测模型集中的每个前向预测模型对应于大于或等于零且小于或等于该智能体的所指派的推理水平的特定推理水平。对于每个水平而言，给定智能体可具有不超过一个的所指派的原子预测模型。

例如，如果智能体被指派推理水平1，则该智能体可包括水平0前向预测模型和/或水平1前向预测模型。水平0前向预测模型可生成针对智能体的水平0运动假言(例如，递归级0)。水平1前向预测模型可生成针对智能体的水平1运动假言(例如，递归级1)。即，前向预测模型集中的每个前向预测模型对应于基于推理水平所确定的递归级。

在可任选的配置中，在框1006处，预测模型将场景划分成不同邻域。每个邻域可被指派不同保真度。保真度可基于与自我智能体的邻近度。例如，高保真度邻域可以以自我智能体为中心。智能体的保真度可基于对应邻域的保真度。

在框1008，预测模型通过遍历该场景来递归地预测该智能体的将来动作。例如，对于具有所指派的水平0前向预测模型的每个智能体，递归推理方案使用所指派的水平0前向预测模型来生成水平0运动假言。随后，对于具有所指派的水平1前向预测模型的每个智能体，预测模型使用所指派的水平1前向预测模型来生成水平1运动假言。

其他智能体的水平0运动假言的子集可被用作水平1预测模型中的任一者的输入。该过程可被重复，使得每个相继的运动假言集(水平k)可以以场景中的其他智能体的子集中的每个智能体的最高水平(至多达k-1)先前计算出的运动假言为条件。如所讨论的，可在每个递归级使用不同的前向预测模型(例如，水平0、水平1等)。

在一种配置中，基于包括每个智能体的历史观察的初始轨迹来递归地预测将来动作。即，预测模型的输入可以是对场景的历史的表示。在另一配置中，基于用于每个智能体的适用策略来递归地预测将来动作。策略可基于智能体的对应邻域和场景结构。场景结构可以指道路几何形状。

最终，在框1010，预测模型基于该智能体的所预测的将来动作来控制自我智能体的动作。例如，预测模型可更改路线、调整速度、或控制另一动作。预测模型可以是自我智能体的组件。

在一些方面，方法1000可由SOC 100(图1)来执行。即，作为示例而非限制，方法1000的每个元素可由SOC 100或者一个或多个处理器(例如，CPU102)和/或其他所包括的组件来执行。

以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或(诸)软件组件和/或(诸)模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言，在附图中有解说的操作的场合，那些操作可具有带相似编号的相应配对装置加功能组件。

如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或另一数据结构中查找)、查明及诸如此类。另外，“确定”可包括接收(例如接收信息)、访问(例如访问存储器中的数据)、及类似动作。此外，“确定”可包括解析、选择、选取、确立及类似动作。

如本文中所使用的，引述一列项目中的“至少一者”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。

结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文中所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如，DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其他此类配置。

结合本公开所描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM等等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能该存储介质读取信息以及向该存储介质写入信息。在替换方案中，存储介质可被整合到处理器。

本文所公开的方法包括用于实现所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。

所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现，则示例硬件配置可包括设备中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接至处理系统。网络适配器可用于实现信号处理功能。对于某些方面，用户接口(例如，按键板、显示器、鼠标、操纵杆等)也可被连接至总线。总线还可链接各种其他电路(诸如定时源、外围设备、稳压器、功率管理电路等)，这些电路在本领域中是众所周知的，并因此将不再赘述。

处理器可负责管理总线和一般处理，包括对存储在机器可读介质上的软件的执行。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路系统。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可读介质可包括随机存取存储器(RAM)、闪存存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可包括包装材料。

在硬件实现中，机器可读介质可以是处理系统中与处理器分开的一部分。然而，如本领域技术人员将容易领会的，机器可读介质或其任何部分可在处理系统外部。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有这些都可由处理器通过总线接口来访问。替换地或补充地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置，诸如局部组件，但它们也可按各种方式来配置，诸如某些组件被配置成分布式计算系统的一部分。

处理系统可被配置为通用处理系统，该通用处理系统具有一个或多个提供处理器功能性的微处理器、以及提供机器可读介质中的至少一部分的外部存储器，它们都通过外部总线架构与其他支持电路系统链接在一起。替换地，该处理系统可包括一个或多个神经元形态处理器以用于实现本文中所描述的神经元模型和神经系统模型。作为另一替换方案，处理系统可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路系统、和至少一部分机器可读介质的专用集成电路(ASIC)来实现，或者用一个或多个现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路系统、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体系统上的整体设计约束，本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能性。

机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理系统执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。可随后将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外，应领会，本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它系统的机能的改进。

如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和

由此，某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，该计算机程序产品可包括包装材料。

此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其他恰适装置可由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合到服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文中所描述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘之类的物理存储介质等)来提供，以使得一旦将该存储装置耦合到或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供本文中所描述的方法和技术的任何其他合适的技术。

将理解，权利要求并不被限于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。