用于具有离散级突触和概率性STDP的数字神经处理的方法和系统

摘要

本发明的某些实施例支持具有离散级突触和概率性突触权重训练的数字神经处理器的实现。

说明书

技术领域

本发明的某些实施例总体上涉及神经系统工程，且更具体地，涉及一种 用于实现具有离散级突触和概率性突触权重训练的数字神经处理器的方 法。

背景技术

连接神经系统的神经元的突触通常仅仅展现出少量的离散强度级。例 如，在海马神经结构的Cornu Ammonis（阿蒙氏角）CA3-CA1通道中的突 触可以是双态的或三态的。例如，在三态突触的情况下，一个强度级可以 对应于由长时程抑制（LTD）引起的抑制状态，另一个强度级可以对应于由 长时程增强（LTP）引起的增强状态，并且第三个强度级可以对应于施加 LTP或LTD之前存在的未受激状态。在突触强度的离散级之间的转换可以 以类似于切换的方式进行。

可以在模拟、数字或混合信号域中实现神经形态处理器。通常使用确定 性的锋电位时序依赖型可塑性（spike-timing-dependent plasticity，STDP）规 则来训练突触，这需要模拟或多级数字存储器，以便存储突触权重。这两 种存储器都存在技术难题。模拟存储器有较差的保持和克隆能力。其还需 要大管芯面积以便实现STDP衰减。另一方面，多级数字存储器需要大量 比特，这导致大量的并行互连线路以便实现给定精度的突触权重增量。

发明内容

本发明的某些实施例提供了一种电路。所述电路总体上包括数字神经处 理单元，其具有一个或多个突触和连接至所述突触的突触后神经元电路， 其中，所述一个或多个突触中的一个突触的权重按一概率以离散级来改变 数值，所述概率取决于在源自所述突触后神经元电路以及连接至该突触的 突触前神经元电路的一对锋电位（spike）之间所经过的时间。

本发明的某些实施例提供了一种用于实现数字神经处理单元的方法。所 述方法总体上包括：将所述神经处理单元的突触后神经元电路与所述神经 处理单元的至少一个突触相连接，及按一概率以离散级来改变所述至少一 个突触中的一个突触的权重值，所述概率取决于在源自所述突触后神经元 电路以及连接至该突触的突触前神经元电路的一对锋电位之间所经过的时 间。

本发明的某些实施例提供了一种用于实现数字神经处理单元的装置。所 述装置总体上包括：用于将所述神经处理单元的突触后神经元电路与所述 神经处理单元的至少一个突触相连接的模块，及用于按一概率以离散级来 改变所述至少一个突触中的一个突触的权重值的模块，所述概率取决于在 源自所述突触后神经元电路以及连接至该突触的突触前神经元电路的一对 锋电位之间所经过的时间。

附图说明

作为可以详细理解本发明的上述特征的方式，参考实施例可以获得在上 面简要概述的更具体的说明，在附图中示出了其中一些实施例。然而，应 注意，附图仅仅示出了本发明的某些典型的实施例，从而不应被认为是限 制其范围，因为本说明书允许其他等效的实施例。

图1示出了根据本发明的某些实施例的示例性神经系统。

图2示出了根据本发明的某些实施例的确定性和概率性突触权重改变的 实例。

图3示出了根据本发明的某些实施例的对于不同数量的强度级，在多个 突触前与突触后锋电位对上的突触强度的平均相对修正的实例。

图4示出了根据本发明的某些实施例的示例性脉冲宽度调制（PWM）的 突触权重改变。

图5示出了根据本发明的某些实施例的示例性概率性突触权重改变。

图6示出了根据本发明的某些实施例的具有离散级突触和概率性权重训 练的神经处理单元的示例性方框图。

图7示出了根据本发明的某些实施例的随机二进制产生器的示例性方框 图，其中逻辑“一”的概率以指数衰减。

图8示出了根据本发明的某些实施例的用于实现具有离散级突触和概率 性权重训练的神经处理器的示例性操作。

图8A示出了能够执行图8中所示操作的示例性组件。

图9(a)-(b)示出了根据本发明的某些实施例的用于仿真的神经元和突触 的示例性配置。

图10A-10B示出了根据本发明的某些实施例的确定性突触权重训练的 示例性仿真结果。

图11A-11B示出了根据本发明的某些实施例的概率性突触权重训练的 示例性仿真结果。

具体实施方式

以下参考附图更充分地说明本发明的多个实施例。然而，本发明可以以 许多不同形式来体现，并且不应理解为局限于本发明通篇中提出的任何特 定结构或功能。相反，提供这些实施例以使得本发明全面完整，并且将向 本领域技术人员充分地传达本发明的范围。基于本文的教导，本领域技术 人员应意识到本发明的范围旨在覆盖本文公开的发明的任何实施例，不论 是该实施例是独立于本发明中任何其它实施例而实现的还是与之相结合而 实现的。例如，使用本文阐述的任意数量的实施例可以实现装置或实施方 法。另外，本发明的范围旨在覆盖使用作为本文阐述的本发明的多个实施 例的补充或替代的其它结构、功能或结构与功能实现的此类装置或方法。 应理解，本文公开的发明的任何实施例都可以由权利要求的一个或多个要 素来体现。

本文使用词语“示例性的”表示“充当实例、例子或举例说明”。本文 中被描述为“示例性的”任何实施例都并非必然解释为对于其它实施例而 言是优选的或有优势的。

尽管本文描述了特定实施例，但这些实施例的许多改变和置换也属于本 发明的范围内。尽管提及了优选实施例的一些益处和优点，但本发明的范 围并非旨在局限于特定益处、使用或目的。相反，本发明的实施例旨在广 泛应用于不同技术、系统配置、网络和协议，其中一些借助于实例而在附 图和针对优选实施例的以下描述中进行说明。该详细描述和附图对本发明 仅仅是说明性的而非限制性的，本发明的范围由所附权利要求及其等价物 来定义。

示例性神经系统

图1示出了根据本发明的某些实施例的具有多级神经元的示例性神经系 统100。神经系统100可以包括一级神经元102，其通过突触连接网络104 连接至另一级神经元106。为了简明，图1中仅示出了两级神经元，尽管在 典型神经系统中可以存在更多级的神经元。

如图1所示，级102中的每一个神经元都可以接收输入信号108，其可 以由前一级的多个神经元（图1中未示出）产生。信号108可以表示级102 的神经元的输入电流。可以在神经元膜上积蓄这个电流以对膜电位进行充 电。当膜电位达到其阈值时，神经元可以发放（fire）并输出要传递到下一 级神经元（例如，级106）的锋电位。

如图1所示，可以通过突触连接网络（或者简称为“突触”）104来实现 锋电位从一级神经元到另一级神经元的传递。突触104可以从级102的神 经元接收输出信号（即，锋电位），根据可调节的突触权重（其中P是在级102与106的神经元之间的突触连接的总数）来对那些信 号进行缩放，并将缩放后的信号组合为级106中每一个神经元的输入信号。 级106中的每一个神经元都可以根据相应的组合输入信号产生输出锋电位 110。随后可以使用另一突触连接网络（图1中未示出）将输出锋电位110 传递到另一级神经元。

神经系统100可以由电路来模拟并可以用于大规模应用中，诸如模式识 别、机器学习和电机控制之类。神经系统100中的每一个神经元都可以实 现为神经元电路。被充电至阈值从而发起输出锋电位的神经元膜可以实现 为电容器，其对流过它的电流进行积分。

可以去掉作为神经元电路的电流积分器件的电容器，并可以在其位置处 使用忆阻器元件。这个方案可以应用于神经元电路中以及将大电容器用作 电流积分器的各种其他应用中。另外，可以基于忆阻器元件来实现每一个 突触104，其中，突触权重的改变可以与忆阻器的电阻的改变相关。使用纳 米特征尺寸的忆阻器，可以充分减小神经元电路和突触的面积，这可以使 得超大规模神经系统硬件实现的实施切实可行。

本发明的某些实施例提供了模拟神经系统100的神经元及其相关突触的 数字神经处理单元的实现。神经处理单元的突触权重可以包括经量化的级， 且基于锋电位时序依赖型可塑性（STDP）的权重训练在性质上可以是概率 性的。换句话说，并不是每一对突触前与突触后锋电位都会导致相应突触 的增强或抑制。例如，突触可以仅包括三级或者甚至两级强度（即，双态 （binary）突触）。在数学上，双态突触可以能够在总体上实施连续的STDP 规则，其中单个突触可以经受概率性的类似切换的增强或抑制。概率性 STDP可以导致数字神经处理单元的更简单的硬件实现。

示例性离散级突触和概率性权重改变

在常规的确定性STDP中，突触权重的改变ΔW可以是在突触前锋电位 与突触后锋电位之间的时间差Δt的函数，如图2A中所示的。作为替代，突 触权重改变ΔW可以保持为常数，同时该权重改变的概率可以是在突触前锋 电位与突触后锋电位之间的时间差的函数，如图2B中所示的。这个方案可 以称为概率性STDP。经过大量的锋电位，确定性STDP方案和概率性STDP 方案可以收敛至相同结果。然而，概率性STDP在硬件上更易于实现。

根据被广泛接受的一个STDP理论，可以根据单个突触前/突触后锋电位 对的两阶段型的、以指数衰减的曲线来修改单个突触。因此，与突触强度 相关的离散级的假设与分级STDP理论相矛盾。然而，已经基于实验发展 了这个理论，在这些实验中，针对许多突触且针对多个锋电位对而测量了 突触改变。如果以指数衰减的LTP和LTD曲线属于突触的总体，那么就可 以用由概率性（随机）STDP训练的离散态突触来实现这些曲线。单个突触 可以依据可取决于锋电位时序的概率而经受单步增强或抑制，其中与较小 时间差相比，在突触前锋电位与突触后锋电位之间的较大时间差减小了此 概率。

使用前述的离散步骤的概率性STDP，即使突触强度是双态的，在传入 与目标之间的完整的多突触（polysynptic）投影仍可以表达分级STDP，尽 管单个突触可能不会。如果单个突触包括几个强度级，那么该突触就可以 在多个锋电位对上表达分级STDP，但在较高或较低强度级处有可能饱和， 这取决于强度级的数量。

图3示出了对于不同数量的强度级（即，强度级数量s可以是10、30、 60、90及大于90），在许多突触前与突触后锋电位对上的单个突触强度的 平均相对修正的实例图300。可以在较高突触强度级处观察到饱和，尤其是 对于较低的强度级数量而言（例如，见分别针对s等于10和30的曲线308 和310）。此外，可以观察到，对于所有强度级数量，随着在突触前锋电位 与突触后锋电位之间的时间变大，突触强度的改变可以相当大地减小。

忆阻器型突触的基于确定性STDP的训练通常可以依赖于随时间衰减的 脉冲宽度调制（PWM）信号。图4示出了根据本发明的某些实施例的示例 性的基于PWM的忆阻器型突触的权重改变。可以观察到，可以用随时间衰 减的PWM信号402来表示突触前神经元的锋电位。当在突触后锋电位404 期间横跨突触的电压406超过阈值电平408时，其就会导致突触权重410 的改变。因此，突触权重的改变可以是在突触前锋电位402与突触后锋电 位404之间的时间差的函数。

图5示出了根据本发明的某些实施例的示例性的概率性突触权重改变。 可以利用在概率中衰减的恒定宽度脉冲502，该概率可以是从突触前锋电位 开始经过的时间的函数。当在突触后锋电位504和概率性突触前脉冲502 期间横跨突触的电压506超过阈值电平508时，就会发生突触权重改变510。 通过大量试验，这个概率性方案可以产生与图4所示的PWM方案相同的突 触权重改变。然而，来自图5的概率性方案在硬件上更易于实现。

通过应用概率性STDP，用于表示突触权重的最低有效位（LSB）的有 效值可以减少，并且可以用更少的比特来表示突触权重。另外，可以调整 影响突触权重的脉冲的概率（例如，可以设定为较低值），以便补偿超微器 件在一个方向上的非线性转换。概率性STDP还可以应用于学习规则，因 为权重学习可以在慢速时间量程上在几十或几百个锋电位上进行。

在示例性情况下，如果在突触网络中存在足够的冗余，即多个双态器件 可以组成具有任意数量的强度级的任何突触，就可以采用具有概率性STDP 的双态突触。如果双态超微器件的切换阈值极易改变，这是非常似是而非 的情况，则这些双态突触也可以是适用的。此外，如果电子器件自身中的 切换是概率性的（例如，自旋扭矩转换RAM（随机存取存储器）），则概率 性STDP就可以用于实现概率性突触，而无需用以产生具有以指数减小的 概率的脉冲的电路。

示例性神经处理单元架构

本发明的某些实施例支持实现具有经量化的突触权重级的数字神经处 理单元，而权重训练可以基于前述概率性STDP。图6示出了根据本发明的 某些实施例的具有8级（即，3比特）突触和概率性STDP的神经处理单元 600的示例性架构。

神经元602可以包括锋电位产生器604和分别用于长时程增强（LTP） 和长时程抑制（LTD）的两个随机二进制产生器电路606和608。产生器电 路606－608可以由与神经元602相关的锋电位信号610重置（触发），并 且它们可以产生二进制码（即，脉冲信号）612－614，其所具有的逻辑“1” （即，脉冲）在规定时间间隔中出现的概率从重置时刻起随时间而以指数 衰减。概率性脉冲信号612和614可以分别表示LTD和LTP训练信号。此 概率的衰减时间常数对于STDP特性的LTP和LTD部分可以是特定的（例 如，对于LTP和LTD的典型值可以分别是τ₊=16.8ms和τ_{_}=33.7ms）。应 注意，概率性LTP信号614可以导致连接至神经处理单元600的另一个突 触的另一个权重值增加一个规定离散级。

每一个突触616都可以接收突触前锋电位618和突触前LTP信号620， 以及突触后锋电位622和突触后LTD信号624。由图6可以观察到，突触 后锋电位622可以对应于锋电位信号610，并且突触后LTD信号624可以 对应于概率性二进制码信号612。由两个“与”（AND）门626－628和两 个反相器630－632组成的逻辑电路可以检测到训练事件。当突触前LTP信 号620等于逻辑“1”，突触后锋电位信号622等于逻辑“1”且突触前锋电 位信号618等于逻辑“0”时，可以检测到LTP训练事件。另一方面，当突 触后LTD信号624等于逻辑“1”，突触前锋电位信号618等于逻辑“1”且 突触后锋电位信号622等于逻辑“0”时，可以检测到LTD训练事件。

根据这个逻辑电路，当突触前神经元与突触后神经元同时发放锋电位时 （即，当突触前锋电位信号618与突触后锋电位信号622都等于逻辑“1” 时），可以没有训练发生。在奖励调制（reward-modulated）STDP情况下， 当满足上述条件时可以不立即进行权重训练。作为替代，训练事件检测器 的输出634可以重置（即触发）突触616的随机产生器电路636，其可以随 后开始产生二进制码638，其所具有的逻辑“1”的概率从重置时刻起随时 间以指数衰减。此概率的衰减时间常数对于奖励调制STDP的资格轨迹 （eligibility trace）可以是特定的。

随机二进制产生器636的输出638可以由末端奖励（distal reward）（DR） 门信号640来门控，并且其可以随后作为时钟信号642施加到上-下计数器 （up-down counter）644，上-下计数器644存储突触616的当前权重值。如 果检测到的训练事件对应于LTP（即，SR锁存器648的输出646等于逻辑 “1”），那么就递增计数器644的状态。另一方面，如果检测到的训练事件 对应于LTD（即，SR锁存器648的输出646等于逻辑“0”），那么就递减 计数器的状态。

随机产生器636的门控输出642也可以用于触发计数器状态到非易失性 存储器（NVM）650的传递。存储在上-下计数器644中的突触权重也可以 用作至二进制加权数模转换器（DAC）电路652的输入。在与连接至神经 元电路602的输入656的其他突触的输出电流进行求和之前，DAC 652的 输出电流654可以由突触前锋电位信号618门控。

示例性随机二进制产生器

逻辑“1”的概率以指数衰减的随机二进制产生器636可以代表图6所 示的神经处理单元600的主要部分。图7中示出了这个产生器的一个可能 的实现方式。随机二进制产生器700可以采用基于环形振荡器704的随机 子产生器702₁-702₄，环形振荡器704用以产生4比特串行二进制数，其在 较新的比特中所具有的逻辑“1”的概率衰减。

每一个子产生器702₁-702₄中的环形振荡器704都可以以高抖动和高漂 移频率来振荡，这可以有助于在由D触发器（flip-flop）706以外部时钟周 期（即，外部时钟708的周期）的固定间隔对振荡进行采样时产生随机二 进制信号。为了降低功耗，通过由“与非”（NAND）门710替代在环中的 一个反相器，可以禁用每一个子产生器702₁-702₄中的环形振荡器704。

可以由重置信号712触发随机产生器700，重置信号712可以使能四个 子产生器702₁-702₄的四个环形振荡器704。这个重置信号也可以重置时间 计数器714。在重置信号710之后的输出716处的第一个输出比特可以仅仅 是第一子产生器702₁的输出718。可以作为第一子产生器702₁的输出718 与第二子产生器702₂的输出720的“与”（AND）函数，来获得在输出716 处的第二个输出比特，依此类推。

所述随机产生器700的逻辑“1”的概率可以从第一个输出比特的0.5衰 减到第四个输出比特的0.0625。通过使用子产生器702₁-702₄的输出的不同 逻辑函数，可以修改这个概率。“与”（AND）门可以减小逻辑1出现的概 率。另一方面，“或”（OR）门可以增大逻辑1出现的概率。因此，通过两 个基本分析概率公式，可以实现特定概率的导出：

P(A·B)=P(A)·P(B)                                （1）

P(A+B)=P(A)+P(B)-P(A)·P(B)                       （2）

图8示出了根据本发明的某些实施例的用于实现具有离散级突触和概率 性权重训练的数字神经处理器（诸如图6的处理单元600）的示例性操作 800。在802处，神经处理单元的神经元电路（例如，突触后神经元电路602） 可以与神经处理单元的至少一个突触（例如，突触616）相连接。

在804处，按概率而以离散级来改变其中一个突触的权重值，所述概率 取决于在源自神经元电路的锋电位（例如，锋电位610）与源自连接至该突 触的另一个神经元电路（即，来自突触前神经元电路）的锋电位（例如， 锋电位618）之间的时间。突触后神经元电路可以包括至少一个产生器电路 （例如，随机产生器606和608中的至少一个），该至少一个产生器电路由 其中一个锋电位触发以产生至少一个脉冲信号，每一个脉冲在规定的时间 间隔内出现的概率随时间而以指数衰减。其中一个脉冲（例如，LTD信号 612的脉冲）可以导致权重值减小。

所提出的采用离散级突触和概率性STDP的数字神经形态处理器相对于 采用确定性STDP的模拟和数字实现方式而言可以提供几个优势。首先， 它可以需要较少数量的突触强度离散级：甚至两级或三级突触强度就足够 了。这可以需要在突触存储器中存储较少的比特。其次，突触的实现方式 可以需要较少的硬件，并且因此，突触连接会占用较少管芯面积。第三， 由于以一比特LTP、LTD和锋电位输入代替了多比特LTD和LTP输入，突 触可以包括比确定性数字实现方式中的突触更少的输入。更少的突触输入 可以转变为更易于布线并有可能节省管芯面积。

应注意，术语“概率性的”仅可以适用于突触训练而不是锋电位信号发 送。一旦以概率性方式训练了突触，就可以关闭训练过程，并且神经系统 可以继续以确定性方式运行以避免不明确的行为。

示例性仿真结果

可以执行仿真以显示确定性STDP和以数字方式实现的概率性STDP可 以收敛到相同的结果。图9(a)-(b)示出了根据本发明的某些实施例的具有仿 真中使用的突触的示例性神经元900。神经元902₁-902₃可以例如以5Hz的 平均发放率提供随机锋电位，并且神经元904₁-904₂可以与受测试的突触906 相连接。

在图9(a)所示的实验中，神经元904₁-904₂都可以连接至同一突触前神经 元902₂，其中，突触后神经元904₂可以通过突触908与突触前神经元902₂相连接，其同具有与突触908相同权重的突触910相比具有5ms延迟。因 此，神经元904₁-904₂可以接收相关联的锋电位，并且突触906可以由于 STDP而增强。另一方面，在图9(b)中所示的实验中，通过突触914和916 而传递到神经元912₁-912₂的输入可以是相互完全随机的，因此可以预计突 触918的权重值或者保持大约相同的值或者受到降低。

图10A-10B示出了在应用确定性STDP时仿真的图9(a)-(b)的前述实验 的结果1000。可以观察到，突触906和918可以按预期增强。使用概率性 STDP规则重复相同的实验，并且在图11A-11B中示出了相应的仿真结果 1100。现在对权重改变进行量化，并且权重改变仅能够按概率而在一部分 锋电位上发生，所述概率由在突触前锋电位时间与突触后锋电位时间之间 的时间差给出。可以由图11A-11B观察到，突触906和918的最终权重值 可以非常接近于使用确定性STDP规则获得的图10A-10B中给出的最终权 重值。

上述方法的各个操作可以由能够执行相应功能的任何适合的模块来执 行。所述模块可以包括各种硬件和/或软件组件和/或模块，包括但不限于， 电路、专用集成电路（ASIC）或处理器。通常，在附图中示出了操作的情 况下，这些操作就会具有采用类似编号的相应配对的功能性模块组件。例 如，图8中示出的操作800对应于图8A中示出的组件800A。

本文使用的词语“确定”包含各种操作。例如，“确定”可以包括运算、 计算、处理、推导、调查、查找（例如，在表、数据库或另一个数据结构 中查找）、查明等。此外，“确定”可以包括接收（例如，接收信息）、访问 （例如，访问存储器中的数据）等。此外，“确定”可以包括决定、选择、 挑选、确立等。

本文使用的称为一系列项目中的“至少一个”的短语表示这些项目的任 何组合，包括单个成员。示例性地，“a、b或c中的至少一个”旨在涵盖： a、b、c、a-b、a-c、b-c和a-b-c。

可以用通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、 现场可编程门阵列（FPGA）或其它可编程逻辑器件(PLD)、分立门或晶体 管逻辑器件、分立硬件组件或者被设计为执行本文所述功能的其任意组合， 来实现或执行结合本发明所描述的各种示例性的逻辑块、模块和电路。通 用处理器可以是微处理器，但是可替换地，该处理器也可以是任何市场上 可买到的处理器、控制器、微控制器或者状态机。处理器也可以实现为计 算器件的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一 个或多个微处理器与DSP内核的组合或者任何其它此种配置。

结合本发明所描述的方法或者算法的步骤可直接体现为硬件、由处理器 执行的软件模块或二者的组合。软件模块可以位于本领域中公知的任何形 式的存储介质中。可以使用的一些存储介质的实例包括随机存取存储器 （RAM）、只读存储器（ROM）、闪存、EPROM存储器、EEPROM存储器、 寄存器、硬盘、可移动盘、CD-ROM等等。软件模块可以包括单个指令或 者多个指令，并可以分布在几个不同代码段中、在不同程序中、以及跨越 多个存储介质。存储介质可耦合至处理器，使得处理器能够从该存储介质 读取信息且可向该存储介质写入信息。可替换地，存储介质可以集成到处 理器中。

本文公开的方法包括用于实现所述方法的一个或多个步骤或操作。在不 脱离权利要求的范围的情况下，方法的步骤和/或操作可以彼此互换。换句 话说，除非指明了步骤或操作的特定顺序，否则在不脱离权利要求的范围 的情况下，可以修改特定步骤和/或操作的顺序和/或使用。

所述的功能可以在硬件、软件、固件或其任意组合中实现。如果在软件 中实现，则所述功能可以作为一个或多个指令存储在计算机可读介质上。 存储介质可以是可由计算机访问的任意可用介质。示例性地而非限制性地， 这种计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它 光盘存储器、磁盘存储器或其它磁存储设备或者可用于以指令或数据结构 的形式承载或存储预期程序代码并且可由计算机访问的任意其它介质。本 文使用的盘片（disk）和盘（disc）包括紧致盘（CD）、激光盘、光盘、数 字多功能盘（DVD）、软盘和蓝盘，其中盘片常常以磁性方式再现数据， 而盘通过激光以光学方式来再现数据。

因此，某些实施例可以包括用于执行本文提出的操作的计算机程序产 品。例如，这种计算机程序产品可以包括其上存储（和/或编码）了指令的 计算机可读介质，所述指令可以由一个或多个处理器运行，以执行本文所 述的操作。对于某些实施例，计算机程序产品可以包括封装材料。

软件或指令也可以通过传输介质发送。例如，如果使用同轴电缆、纤维 光缆、双绞线、数字用户线路（DSL）或例如红外、无线电和微波的无线技 术将软件从网站、服务器或其它远程源进行发送，则同轴电缆、纤维光缆、 双绞线、DSL或例如红外、无线电和微波的无线技术包括在传输介质的定 义中。

此外，应意识到，在适用的情况下，可以由用户终端和/或基站来下载和 /或以其他方式获取用于执行本文所述的方法和技术的模块和/或其它适当 的模块。例如，可以将这种设备耦合到服务器以便于对用于执行本文所述 方法的模块的传送。可替换地，可以经由存储模块（例如：RAM、ROM、 诸如紧致盘（CD）或软盘的物理存储介质等）来提供本文所述的多种方法， 以使得当将该存储模块耦合或提供到该设备后，用户终端和/或基站可以获 取所述各种方法。此外，可以采用用于将本文所述的方法和技术提供给设 备的任何其它合适的技术。

应当理解，权利要求不局限于上述的精确的配置和组件。在不脱离权利 要求的范围的情况下，可以在上述方法和装置的布置、操作和细节中进行 各种更改、变化和改变。

尽管前述内容针对本发明的实施例，但在不脱离其基本范围的情况下可 以设计出本发明的其他及更进一步的实施例，并且其范围是由附带的权利 要求来确定的。