将高速多通道链路中的通道与互连之间的训练模式序列解相关

摘要

用于将用于高速链路和互连的训练模式序列解相关的方法、装置和系统。高速链路和互连在每个方向采用多条通道用于发射和接收数据，并且可经由中间板(诸如背板或中间板)中的信号路径或者经由线缆物理地实现。在链路训练期间，在每个通道上发送包括伪随机位序列(PBRS)的训练模式。用于每条通道的PBRS由PBRS生成器基于对该通道而言唯一的PBRS多项式生成。由于每条通道采用不同的PBRS多项式，通道之间的训练模式可基本上是不相关的。可在链路端点之间执行链路协商以便确保用于高速链路或互连中的所有通道的PBRS多项式是唯一的。示例性使用包括以太网链路、无限带宽链路和多通道串行互连。

说明书

发明领域

本发明的领域总体上涉及高速多通道链路和互连并且更具体地但是不 排他地涉及用于将用于这种链路和互连的训练模式序列解相关的技术。

背景信息

自从引入了微处理器，计算机系统已经变得越来越快。近似根据摩尔 定律(基于英特尔公司共同奠基人戈登·摩尔(Gordon Moore)于1965公 开的预测集成电路上的晶体管数量将每两年翻倍)，速度增加已经在近三 十年来以相对平滑的速率上升。同时，存储器和非易失性存储设备两者的 大小也已经稳定地增加，从而使得今天的许多个人计算机变得比仅仅10-15 年前的超级计算机更强大。此外，网络通信的速度已经同样看到了天文数 字增长。

处理器速度、存储器、存储设备和网络带宽技术的增长已经导致用更 大量的容量构建和部署网络。最近，基于云的服务的引入(诸如亚马逊(例 如，亚马逊弹性计算云(EC2)和简单存储服务(S3))和微软(例如， Azure和Office 365)所提供的那些)已经导致公共网络基础设施的附加网 络构建，除部署大量数据中心以便支持采用私人网络基础设施的这些服务 之外。

典型的数据中心部署包括大量的服务器机架，其各自容纳多个机架服 务器或刀片服务器。机架服务器之间的通信通常是使用铜线线缆上以太网 协议(IEEE 802.3)促成的。除使用线缆的选项之外，刀片服务器和网络交 换机和路由器可被配置成用于支持机架中的刀片或卡之间的通过电背板或 中间板互连的通信。

近年来，铜布线上的以太网连接的速度已经达到10吉比特每秒(Gpbs) 和40Gpbs的水平。而且，IEEE(电子电气工程师协会)当前正在开发定 义被称为100GBASE-KR4的目标为电背板上的100Gpbs带宽的新背板 PHY(物理层)类型的规范(IEEE 802.3bj)，其损耗在7GHz处高达33dB。 被称为100GBASE-CR4的用于新100Gpbs铜线连接的类似规范也正在由 IEEE定义。

高速链路和互连操作的重要方面是链路训练。在链路训练期间，训练 信号模式从链路的第一端处的发射端口(即，第一端点)发射到另一个(第 二)链路端点处的接收端口。除其他特征之外，训练模式促成调谐(例如， 定时调整、电压信号电平)链路发射器/接收器对以便解决可导致数据错误 的信号噪声等等。以类似的方式和通常并发地，链路训练也可在第二链路 端点处的发射器和第一端点处的接收器之间执行。对于某些高速链路，链 路或互连在每个方向包括多条通道，并且训练模式通过每条通道传输。

附图简要描述

当结合附图时，前述方面和本发明的许多伴随优势将变得更加容易认 识到，正如通过参照以下详细描述更好地理解到的那样，其中，贯穿各种 视图，相同的参考标号指代相同的部件，除非另外指明：

图1是根据一个实施例示出100GBASE-KR4链路的结构的示意图；

图1a示出图1的100GBASE-KR4链路，并且进一步描绘远端串扰 (FEXT)和近端串扰(NEXT)的示例；

图2a示出用于一个方向的100GBASE-CR4链路的物理介质依赖 (PMD)子层链路框图；

图2b示出用于一个方向的100GBASE-KR4链路的PMD子层链路框 图；

图3是用于10GBASE-KR PHY的训练状态图；

图4a和图4b是根据一个实施例示出在100GBASE-KR4和 100GBASE-CR4链路的训练期间使用的链路训练帧的结构的图；

图5是示出当使用利用具有随机种子的相同PRBS11多项式的训练模 式时位序列之间的交叉相关的图形图；

图6是示出根据一个实施例与四条对应的通道相对应的示例性四个 PRBS11多项式、种子和初始输出的集合的示图；其中PRBS11多项式和种 子用于在链路训练期间生成链路训练模式；

图7是示出根据图6中用于通道0的PRBS11多项式配置的线性反馈 移位寄存器的位序列生成器图；

图8是示出当使用通过利用不同的PRBS11多项式生成的训练模式时 位序列之间的实质减少的交叉相关的图形图；

图9是示出在两个链路端点处将NIC芯片中的TX端口耦合到RX端 口的电路板中的交叉布线路径的示意图；

图10是示出根据一个实施例将链路端点配置有被分为两个组的 PRBS11多项式集合和用于选择为每个端点使用不同组的PRBS11多项式的 逻辑的100GBASE-KR4链路的示意图；

图11是示出IEEE 802.3条款自动协商基页的配置的示图；

图12是包括被配置成用于防止具有基页匹配和相同的随机数字段 (nonce field)的两个设备建立链路的逻辑的仲裁状态机图；

图13a是多个服务器刀片所安装在的示例性刀片服务器机箱的前等距 视图；

图13b是图16a的刀片服务器机箱的后等距视图；

图13c是与图16a和图16b相对应的多个机架式刀片服务器机箱所安 装在的示例性刀片服务器机架的等距前视图；以及

图14示出根据一个实施例的典型服务器刀片的组件的细节；以及

图15是示出根据在此公开的实施例采用被配置成用于实现解相关链 路训练模式的网络芯片的网络节点的架构的示意图。

详细描述

在此描述了用于将用于高速链路和互连的训练模式序列解相关的方 法、装置和系统的实施例。在以下描述中，列出了许多特定细节(诸如 100Gbps以太网链路的实现)以便提供本发明实施例的透彻理解。然而， 本领域普通技术人员将认识到可在没有这些特定细节中的一项或多项的情 况下或者在具有其他方法、组件、材料等等的情况下实践本发明。在其他 情况下，未详细地示出或描述公知的结构、材料、或操作以便避免混淆本 发明的各方面。

贯穿本说明书对“一个实施例”或“实施例”的引用是指在此结合该实施 例所描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因 此，贯穿本说明书，短语“在一个实施例中”或“在实施例中”在各种地方的出 现并非必须全部指代相同的实施例。而且，特定特征、结构或特性可在一 个或多个实施例中以任意适当的方式组合。

在此公开了提供用于将用于包括所提出的100GBASE-KR4 PHY和 100GBASE-CR4 PHY的高速以太网链路的训练模式序列解相关的实施例。 为了保持与现有的训练机制的兼容性，用于100GBASE-KR4/CR4 PHY的链 路训练的某些方面与为IEEE 10GBASE-KR PHY定义的类似方面相同，这 是10Gbps链路的目标并且当前用在各种类型的设备(诸如交换机和路由 器)中。此外，存在在IEEE Std 802.3ap-2007中定义的其他共同的方面。 尽管可在此标识并简短地讨论这些共同的方面，通常不在此提供这些方面 可如何操作或实现的相应的细节讨论，以便不混淆实施例的发明性方面。 以更多的细节在IEEE P802.3bj Draft 1.2和IEEE P802.3bh Draft 3.1中描述 了某些实施例的其他方面。

在图1中示出了100GBASE-KR4链路的一个实施例的物理层(也被称 为“PHY”)结构。PHY定义互连的物理结构并且负责处理两个链路合作伙 伴(也被称为端点，诸如由组件A和B所描绘的)之间的特定链路上的信 号的操作细节。这个层管理信号线上的数据传送，包括在通过平行通道发 送和接收每个信息位所涉及的电平、定时方面和逻辑问题。如图1所示， 每个互连链路的物理连接由四个差分信号对100组成，在每个方向包括通 道0-3。每个端口支持由两个单向链路组成的链路对以便完成两个组件之间 的连接。这同时支持两个方向的流量。100GBASE-CR4链路的PHY结构具 有与图1中示出的配置类似的配置。

具有100GBASE-KR4/CR4端口的组件使用一对单向点到点链路(被定 义为链路对，如图1所示)进行通信。每个端口包括发射(Tx)链路接口 和接收(Rx)链路端口。对于所示出的示例，组件A具有连接到组件B Rx 端口104的Tx端口102。同时，组件B具有连接到组件B Rx端口108的 Tx端口104。一个单向链路从组件A向组件B传输，而另一个链路从组件 B向组件A传输。相对于哪个组件端口发射数据以及哪个端口接收数据定 义“发射”链路和“接收”链路。在图1中示出的配置中，组件A发射链路从 组件A Tx端口102向组件B Px端口104发射数据。这个相同的组件A发 射链路是端口B接收链路。

图2a描绘用于一个方向的100GBASE-CR4链路的物理介质依赖 (PMD)子层链路框图。图2b中示出用于一个方向的100GBASE-KR4链 路的类似的PMD子层链路框图。100GBASE-CR4和100GBASE-KR4各自 在每个方向采用四条通道，其中使用差分信号对为每条通道实现信令。 100GBASE-CR4和100GBASE-KR4各自还使用2-电平脉冲振幅调制(被称 为PAM2)信号来通过通道发送和接收数据。PAM2信号由被如下映射的两 个逻辑电平组成：

0映射到-1

1映射到+1

逻辑电平0和1分别对应于具有信号电平-1和+1的低和高电平信号。

100GBASE-CR4和100GBASE-KR4之间的主要不同是 100GBASE-CR4定义使用基于线缆的链路，而100GBASE-KR4定义在电路 板等等中(例如，在背板或中间板中)实现链路。如图2b中所描绘的，设 备200(诸如具有100GBASE-KR4 PHY的网络接口控制器(NIC)芯片) 耦合到封装202，该封装进而经由焊盘204耦合到板。在分离的层上在板中 路由信号路径，以便促成在NIC芯片上的TX和RX端口之间或者在其他 以太网PHY接口端口之间传送信号。

100GBASE-CR4和100GBASE-KR4链路是使用以下序列建立的：

(1)与链路合作伙伴自动协商的能力

(2)发送训练序列以便对通道的特征调谐PHY

获得帧锁

TX FFE握手：将Tx系数适配到通道特征

所会聚的DSP：对通道训练Rx

状态交换：是否准备就绪？

(3)倒计时到数据模式并发送空闲符号

用于100GBASE-KR4 PHY和100GBASE-CR4 PHY的物理信令采用具 有与25.78125 Gbd符号(-38.8psec)相对应的时间的单元间隔(UI)。

在一个实施例中，用于针对100GBASE-KR4/CR4 PHY的训练序列的 格式类似于用于在IEEE Std.802.3ap-2007规范中定义的10GBASE-KR  PHY的格式。在图3中示出针对10GBASE-KR PHY的训练状态图。

训练帧是在训练期间连续地发送的固定长度结构。如图4a和图4b所 示，在一个实施例中，对于总共548个八位字节长度，训练帧400包括包 含4个八位字节的帧标记402、包括包含16个八位字节的系数更新404和 包含16个八位字节的状态报告406的控制信道、以及包括512个八位字节 的训练模式408。

与10GBASE-KR、40GBASE-KR4和40GBASE-CR4 PHY一样， 100GBASE-KR4 PHY和100GBASE-CR4 PHY各自采用包括4096位伪随机 位序列的训练模式，其第一4094个位由11位线性反馈移位寄存器(LFSR) 或任何等效的实现方式生成。11位LFSR的输出是2047(＝2^11-1)位的周期 序列，并且该序列的单个周期被称为PRBS11序列。10GBASE-KR PHY规 范定义使用“随机种子”要求(即，PRBS11序列中的起始点应当是随机的)。 此外，使用四条通道的40GBASE-KR4和40GBASe-CR4 PHY要求应当为 这四条通道中的每条通道使用不同的随机种子。

由于远端串扰(FEXT)，其中来自组件的一个发射通道的信号可与来 自相同组件的附近发射通道的信号耦合，一条通道的接收器的适配会受到 在相邻通道上存在的信号影响。在图1a中示出了图1的链路配置的上下文 中的FEXT的示例。如果在一条通道上使用的训练模式与相邻通道上的训 练模式相关，FEXT效应与在每条单独的通道上导致的符号间干扰(ISI) 不可区分。通常通过接收器处的自适应均衡化减少ISI，从而接收器会错误 地适配其均衡器以便在训练期间减少FEXT。当用实数据替换训练模式时， 相关性消失并且之前适配的均衡增加FEXT效应而不是减少它，因此增加 噪声并且使得数据错误更易出现。因此，期望的是将通道之间的训练模式 序列解相关。理想地，不同通道上的模式之间的相关性应当最小化。

在由10GBASE-KR PHY定义的常规方法中，随机数生成器用于生成随 机种子。首先，很难设计真随机数生成器；而是，合理的实现方式最多是 伪随机的。同样不存在所要求的随机性的标准化定义。例如，种子320、641、 1282、516、1032和17是随机的，但是创建移位开1位的PBRS11模式。 将此与非随机序列2、3、4、5、6进行比较，这导致模式与彼此非常不同。

在图5中示出了这种问题的进一步的示例。在此，4条通道使用分离 开固定偏移的种子，这是使用一个伪随机源为每条通道选择不同种子的典 型方式。偏移被选择为使得这些序列间隔开512个UI(PBRS11长度的1/4)。 这些图示出了完整的训练帧波形(包括标记和控制信道)之间的交叉相关。 结果描绘了明显相关的序列，从而任何FEXT信号将与具有相同偏移(在 本情况中，n*512)的ISI不可区分。在从训练切换到数据之后，使用这种 种子选择可因此导致错误的接收器适配以及因此增加的噪声电平和更高的 错误概率。由于针对高速链路(例如，100Gbps链路)的更低的噪声裕量， 由10GBASE-KR PHY采用的随机种子技术不是足够的。

在一个实施例中，通过每条通道使用不同的PRBS多项式(以及因此 不同的PRBS11训练模式)解决这种相关性问题。通常，具有不同多项式 的PRBS序列实际上是不相关的。结果是，FEXT不改变每个接收器中的均 衡器的适配，并且因此防止了在从训练切换到数据之后的噪声电平和错误 率增加。

在图6中示出了四个不同的PRBS多项式的示例性集合。此外，描绘 了对每条通道使用种子和PRBS11多项式所导致的示例性种子和第一32位 输出序列。如所示，每条通道中的PRBS11采用以‘1’开始并且以x¹¹结束的 唯一的多项式。在这种方法下，存在从其为给定的链路方向选择其中四个 的178个适当的多项式。

这种方法提供优于常规方法的若干优势。使用指定的唯一的每通道多 项式使得能够简单地标识通道，即使互连对差分对进行重新排序，并且因 此逻辑地恢复原始的数据顺序。使用固定的和指定的种子而不是随机种子 使得能够容易地验证所需要的(即，标准化的)实现方式。更难以验证“每 通道随机且不同的种子”要求。使用不同的且不相关的序列便于实现用于串 扰消除的算法和电路。尽管这些算法本身是已知的，这种新颖的发明性的 方法使得可能在训练期间使用它们，而这原本是不可能的。

图7示出用于生成与通道0相对应的PRBS11训练模式的PRBS生成 器的一个实施例。在一个实施例中，对于总共4096位，用于每条通道的训 练模式包括来自用于该通道的PRBS生成器的输出的第一4094位，其后是 两个零。如上所述，包括这个模式的训练帧在链路训练期间重复地在每条 通道上发射。

图8中的示图示出使用在图6中定义的示例性PRBS11多项式集合的 通道之间的相关性。如所示，多对通道上的模式之间存在非常小的相关性。 (注意每条通道与其自身之间的相关性在零偏移处较高并且在其他地方较 低，如出于比较在此描绘的；这是训练模式的典型的且令人期望的性质) 通常，可使用唯一PRBS11多项式的不同组合获得类似的结果。

除针对给定的链路方向的通道之间具有串扰(FEXT)之外，同样可能 的是在相反的方向发射的通道之间具有串扰，从而使得设备的发射通道上 的信号耦合到相同设备的接收通道。这种效果被称为近端串扰或NEXT。 例如，图9示出以下情况：其中在背板中的一个平面上路由用于在NIC芯 片902上的TX端口900到NIC芯片906上的RX端口904之间传输信号 的信号路径，从而使得它们串扰用于从NIC芯片906上的TX端口908向 NIC芯片902上的RX端口910传输信号的在背板的另一个平面中路由的 信号路径。还在图1a中示出了图1的链路配置上下文中的NEXT的示例。 除当其并行地路由时在相反方向传输的信号之间的串扰的可能性之外，可 存在其中信号路径重叠(诸如在连接器和芯片封装内)的其他串扰可能性。

尽管前述技术很好地适合于在给定的方向为100GBASE-KR4 PHY或 100GBASE-CR4 PHY链路的四条通道生成训练模式，其未解决发射器可使 用由相对端的发射器所使用的相同PRBS11多项式中的一个或多个的可能 性。在图9中示出的信号路径路由以及其他信号路径路由配置下，这可导 致NEXT类似ISI并且导致误适配，如果在相对发射器处生成的训练模式 之间存在相关性。在一个实施例中，为了进一步改善PHY之间的解相关， 令人期望的是在包括链路段的两个PHY中的每一个处具有不同的多项式集 合(或其等效物)。结果是，每个端点将具有唯一的训练模式签名。

在图10中示出了这种方案的一个实施例，该图描绘了用于端点组件A 和B的以类似于图1中示出的方式配置的TX和RX端口。组件A和B各 自进一步包括被分为两组的PRBS11多项式集合1000：组A和组B。如以 下进一步详细解释的，在链路协商期间，确定链路端点之一将使用来自组 A的PRBS11多项式发射其四个训练模式，而相对链路端点将使用来自组B 的PRBS11多项式发送其四个训练模式。因为这两个组中不存在共同的 PRBS11多项式，确保用于针对链路的每条通道的PRBS11多项式将是唯一 的，序列将会不相关，并且将不发生误适配。

在一个实施例中，PRBS11多项式组使用的协调是通过使用来自IEEE 802.3条款73自动协商基页的所发射的回波随机数字段促成的。根据条款 73，在DME(差分曼彻斯特编码)页内传输基链路码字(即，基页)并且 其传达在图11中示出的编码，该编码如下。

D[4:0]包含选择器字段。D[9:5]包含回波随机数字段。D[12:10]包含用 于广告与PHY不相关的能力的能力位。C[1:0]用于广告暂停能力。保留剩 余能力位C[2]。D[15:13]包含RF、Ack和NP位。D[20:16]包含所发射随 机数字段。D[45:21]包含技术能力字段。D[47:46]包含FEC能力。

回波随机数字段(E[4:0])是包含从链路合作伙伴接收的随机数的5位 宽字段。当确认(Acknowledge)被设置为逻辑零时，该字段中的位应当包 含逻辑零。当确认被设置为逻辑1时，该字段中的位应当包含在所发射随 机数字段中从链路合作伙伴接收的值。

所发射随机数字段(T[4:0])是包含随机或伪随机数的5位宽字段。应 当在每次进入能力检测状态时生成新值。所发射随机数应当具有范围从0 到2⁵-1的均匀分布。用于生成该值的方法应当被设计为最小化与其他设备 所生成的值的相关性。

在一个实施例中，在自动协商期间，两个链路端点使用伪随机生成器 生成随机数位并且与其合作伙伴交换其随机数。如图12所示，在自动协商 期间采用的仲裁状态机防止具有基页匹配和相同的随机数字段的两个端点 设备建立链路；如果随机数和回波随机数相同，则状态机从能力检测转换 到发射禁用并且然后回到能力检测，其中选择新的随机数值。在一个实施 例中，在其随机数字段中具有最高值的PHY采用多项式组A，而另一个PHY 采用多项式组B。如朝向图10的底部所描绘的，组件A和B各自包括被配 置成用于确定发射随机数字段(T[4:0])是否大于回波随机数字段(E[4:0]) (这反映其从另一个组件接收的随机数)的相同逻辑1002。使用相同的逻 辑1002和这两个随机数值必需不同以便建立链路的事实确保仅一个链路端 点将选择组A，而另一个将选择组B。在确定组之后，在每个端点处从该 组选择不同的PRBS11多项式以便为耦合到该端点的发射器端口的四条通 道生成训练模式。

在一个实施例中，以下多项式用于这些组中的一个组：

通道0：l+x+x⁵+x⁶+x¹¹

通道1：l+x²+x⁵+x⁶+x¹¹

通道3：l+x³+x⁵+x⁷+x¹¹

通道4：l+x⁴+x⁵+x⁷+x¹¹

在一个实施例中，图6中示出的并且在以上讨论的多项式用于另一组。

示例性实现环境和刀片服务器架构

设想在此的实施例的各方面可在各种类型的计算和联网环境中实现， 诸如交换机、路由器和刀片服务器，诸如在数据中心和/或服务器群环境中 采用的那些。通常，在数据中心和服务器群中使用的服务器包括阵列服务 器配置，诸如基于机架的服务器或刀片服务器。这些服务器经由各种网络 供应在通信中互连，诸如将多组服务器分区到LAN中，在LAN之间具有 适当的交换和路由设施，以便形成专用内联网。例如，云主存设施可通常 采用具有许多服务器的大型数据中心。

作为概览，在图13a-c和图14中示出典型的刀片服务器组件和系统。 在典型配置下，机架式机箱1300用于为多个服务器刀片(即，刀片)1302 的提供功率和通信功能，这些刀片服务器各自占据相应的插槽。(注意： 无需占据机箱内的所有插槽。)进而，一个或多个机箱1300可安装在图13c 中示出的刀片服务器机架1303中。每个刀片在安装时经由一个或多个配对 连接器耦合到接口板1304(即，背板或中间板)。通常，接口板将包括向 刀片提供功率和通信信号的多个对应的配对连接器并且包括用于耦合刀片 之间的以太网信号的路由信号路径。在当前实践下，许多接口板提供“热替 换”功能，即，可工作中添加或移除(“热替换”)刀片，而无需通过适当的 功率和数据信号缓冲拆除整个机箱。

图13a和图13b中示出典型的中间板接口板配置。接口板1304的背侧 耦合到一个或多个电源1306。经常，电源是冗余的和可热替换的，耦合到 适当的功率板和调节电路以便使得能够在电源故障的情况下进行连续操 作。在可选配置中，电源阵列可用于向整个刀片机架供电，其中，不存在 电源到机箱的一一对应关系。多个冷却风扇1308用于将空气牵引通过机箱 以便冷却服务器刀片。

所有刀片服务器的所需重要特征为与其他IT基础设施进行外部通信的 能力。这通常是通过一个或多个网络连接卡1310促成的，这些连接卡各自 耦合到接口板1304。通常，网络连接卡可包括包含多个网络端口(例如RJ-45 端口)连接的物理接口，或者可包括被设计成用于直接连接到网络设备(诸 如网络交换机、中枢、或路由器)的高密度连接器。

刀片服务器通常提供用于管理单独刀片的操作的某种类型的管理接 口。这可通常由内建网络或通信信道促成。例如，用于促成“专用”或“管理” 网络以及适当交换的一条或多条总线可内建到接口板中，或者可通过密切 耦合的网络缆线和网络实现专用网络。可选地，交换和其他管理功能可由 耦合到接口板的背侧或前侧的管理交换机卡1312提供。作为仍另一个选项， 管理或配置服务器可用于管理刀片活动，其中，通过标准计算机联网基础 设施(例如以太网)处理通信。

参照图14，示出示例性刀片1400的进一步的细节。如上所述，每个 刀片包括被配置成用于执行服务器型功能的分离的计算平台(即，“卡上服 务器”)。相应地，每个刀片包括与常规服务器共同的组件，包括提供用于 耦合适当的集成电路的内部布线(即，总线)的主印刷电路板(主板)1401 以及安装到主板上的其他组件。这些组件包括耦合到系统存储器1404(例 如某种形式的随机存取存储器(RAM)、高速缓存存储器1406(例如 SDRAM)、以及固件存储设备1408(例如闪存))上的一个或多个处理器 1402。NIC(网络接口控制器)芯片1410被提供用于支持常规网络通信功 能，诸如支持刀片和外部网络基础设施之间的通信。其他示出组件包括状 态LED(发光二极管)1412、一组RJ-45控制台端口1414(出于简单的目 的仅示出其中一个)以及耦合到接口板连接器1416的NIC 1415。附加组件 包括各种无源组件(即，电阻器、电容器)、功率调节组件、以及外围设 备连接器。

总体上，每个刀片1400还可提供板上存储。这通常是通过一个或多个 内建盘控制器和一个或多个盘驱动器1418耦合到其上的相应的连接器促 成。例如，典型的盘控制器包括SATA控制器、SCSI控制器等等。可使用 固态驱动器(SSD)替代盘驱动器1418。作为选项，可在相同或分离的机 架中与刀片分离地容纳盘驱动器，诸如可以是当网络附接存储(NAS)电 器或后端存储子系统用于存储大量数据的情况。

NIC 1410包括用于促成相应的联网操作(诸如支持物理层(L1)和数 据链路层操作(L2))的电路和逻辑。通常，上层操作由将由在处理器1402 上运行的操作系统主存的操作系统网络堆栈促成。然而，在某些实施例中， NIC可通过嵌入式逻辑等等采用其自身的网络堆栈。

在典型的数据中心布局中，网络交换元件包括机架式设备，诸如将占 据1U、2U或4U插槽，或可经由一个或多个服务器刀片实现。可选地，可 使用一个或多个刀片服务器实现网络交换元件。

NIC 1415包括用于经由接口板1304在多个刀片1400之间实现高速通 信的电路和逻辑。在一个实施例中，NIC 1415被配置成用于实现与在此公 开的100Gbps实施例相对应的信令和逻辑，包括用于实现100GBASE-KR4 端口或l00GBASE-CR端口和相关联的链路训练操作的电路和逻辑。为了进 一步促成100GBASE-KR4上的刀片间通信，中间板1304包括用于促成PHY 的物理介质方面的适当的连接器、电路和布线(未示出布线)。例如，电 路可包括用于根据图1中示出的配置促成8个差分对上的信令的连接器和 布线。

通常，在此公开的链路训练实施例的各方面可由硬件(经由例如嵌入 式逻辑)或经由硬件和软件的组合实现。例如，网络元件可包括运行基于 软件的网络堆栈和通过用于执行在此描述的操作方面的软件实现的相关联 的逻辑的处理器。可选地，可经由NIC、大规模网络接口等等中的嵌入式 逻辑实现类似的逻辑。

除刀片服务器中的实现方式之外，在此的原理和教导可经由其他类型 的设备(诸如电信路由器和交换机)实现。例如，典型的电信交换机包括 具有耦合到背板的多个卡的机架，其中这些卡通常类似于刀片并且背板类 似于刀片服务器中的接口板。相应的，这些卡将配置有用于实现的 100GBASE-KR4或CR4端口的电路和逻辑，并且背板将包括用于促成 100GBASE-KR4和CR4 PHY的物理介质方面的连接器、电路和布线。

图15示出根据在此公开的实施例的各方面用于网络节点的架构1500， 该网络节点采用被配置成用于使用解相关训练模式执行链路训练操作的网 络芯片1502。网络芯片1502包括PHY电路1504，该电路包括物理编码子 层(PCS)模块1506、自动协商模块1508、链路训练模块1510、包含发射 器电路1513的发射器端口1512和包括接收器电路1515的接收器端口 1514。网络芯片1502进一步包括DMA(直接存储器存取)接口1516、外 围组件互连PCI(PCIe)接口1518、MAC模块1520和调和子层(RS)模 块1522。网络节点1500还包括片上系统(SoC)1524，该片上系统包括具 有一个或多个处理器核的中央处理单元(CPU)，其经由互连1532耦合到 存储器接口1528和PCIe接口1530。存储器接口1528进一步被描绘为耦合 到存储器1534。在典型的配置下，网络芯片1502、SoC 1524和存储器1534 将安装在或以其他方式操作地耦合到包括用于通信地耦合这些组件的布线 迹线的电路板1536，如由将DMA 1516连接到存储器1534以及将PCIe接 口1518耦合到PCIe端口1538处的PCIe接口1530的单条线所描绘的。

在一个实施例中，MAC模块1520被配置成用于实现由在此描述的实 施例所执行的MAC层操作的各方面。类似地，RS模块1522被配置成用于 实现调和子层操作。

链路训练模块1510被进一步描绘为包括PRBS11多项式集合1540，以 与图10中示出的PRBS11多项式集合1000相似的方式配置该多项式集合， 包括被分为组A和B的PRBS11多项式。自动协商模块1508被进一步描绘 为包括基页1542。在链路初始化期间，自动协商模块1508被实现用于链路 速度和能力的自动协商。自动协商格式由基页(例如，基页1542)组成， 该基页是与链路合作伙伴(如由包括接收器端口1546和发射器端口1548 的链路合作伙伴1544所描绘的)交换的第一格式化信息集合。在一个实施 例中，节点1500和链路合作伙伴1544的配置类似。在一个实施例中，基 页1542的格式符合在IEEE Std 802.3^TM-2012(IEEE以太网标准)中定义的 基页格式。根据在此公开的实施例的各方面，链路训练模块1510被进一步 配置成用于执行与针对通信地耦合在网络芯片1502和链路合作伙伴1544 之间的链路1550的初始化有关的链路训练操作。

在一个实施例中，网络芯片1502包括100Gbps以太网网络接口控制 器(NIC)芯片。然而，网络芯片1502的电路和组件还可在其他类型的芯 片和组件中实现，包括SoC、多芯片模块和包括支持多个网络接口(例如， 有线和无线)的NIC芯片。

此外，本描述的实施例可不仅在半导体芯片(诸如NIC)中而且还在 非瞬态机器可读介质中实现。例如，上述设计可存储在和/或嵌入在与用于 设计半导体器件的设计工具相关联的非瞬态机器可读介质中。示例包括以 VHSIC硬件描述语言(VHDL)语言、Verilog语言或SPICE语言或其他硬 件描述语言格式化的连线表(netlist)。某些连线表示例包括：行为级连线 表、寄存器传输级(RTL)连线表、门级连线表和晶体管级连线表。机器 可读介质还包括具有布局信息(诸如GDS-II文件)的介质。此外，用于半 导体芯片设计的连线表文件或其他机器可读介质可在模拟环境中使用以便 执行上述教导的方法。

前述实施例中的以太网链路的使用仅用于说明性目的，并且不应当被 解释为是限制性的。而是，这些实施例的各方面可在各种类型的高速多通 道链路和互连中实现，包括但不限于无线带宽^TM链路和高速串行互连(诸 如PCIe^TM)。

以下示例涉及进一步的实施例。在实施例中，提供了一种用于促成包 括多条通道的高速链路的链路训练的方法。该方法包括实现包括用于该多 条通道中的每一条的伪随机位序列(PRBS)的链路训练模式以及采用不同 的PRBS多项式为用于每条链路的该链路训练模式生成该PRBS。在实施例 中，每个PRBS多项式生成11位PRBS。在实施例中，该高速链路包括100 吉比特每秒以太网链路。在实施例中，该高速链路包括经由中间板或背板 之一中的布线实现的物理介质。在实施例中，该高速链路经由通过线缆传 送的信号路径耦合链路端点。

在实施例中，该高速链路在用于总共2N条通道的两个方向中的每一个 方向采用N条通道，进一步包括采用不同的多项式为该2N条通道路中的 每一条生成PRBS。在实施例中，该高速链路通信地耦合第一和第二端点， 该方法进一步包括在该第一和第二端点中的每一个端点处存储多个PRBS 多项式，该PRBS多项式被分为多个组；以及将来自第一组的PRBS多项 式用于在该第一端点处的发射端口以便为从该第一端点的发射端口到该第 二端点的接收端口的该N条通道生成训练模式；以及将来自第二组的PRBS 多项式用于为从该第二端点的发射端口到该第一端点的接收端口的该N条 通道生成训练模式。在实施例中，该方法进一步包括在该两个端点之间进 行协商以便确定该第一和第二端点中的哪一个将采用来自该第一组的 PRBS多项式以及哪个端点用采用来自该第二组的PRBS多项式，其中该协 商确保将在该第一和第二端点处采用不同组的多项式。在实施例中，该多 个组包括包含该第一组和该第二组的两个组，并且该方法进一步包括从该 第一端点向该第二端点发送第一随机数；从该第二端点向该第一端点发送 第二随机数；从该第二端点向该第一端点返回第一回波随机数，该第一回 波随机数等于该第一随机数；从该第一端点向该第二端点返回第二回波随 机数，该第二回波随机数等于该第二随机数；在每个端点处，对从该端点 所发送的该随机数和从该端点返回的该回波随机数进行比较，并且如果它 们相等，则用新生成的随机数值重复该过程；以及在每个端点处，使用对 从该端点所发送的该随机数和从该端点返回的该回波随机数的最终值进行 比较的结果确定是使用该第一组PRBS多项式还是使用该第二组PRBS多 项式。

根据进一步的实施例，装置配置有用于执行前述方法操作的装置。在 实施例中，该装置包括包含发射端口和接收端口的高速通信接口，该发射 端口被配置成用于通过多条发射通道发射信号并且该接收端口被配置成用 于通过多条接收通道接收信号；以及多个链路训练模式生成器，各自被配 置成用于采用伪随机位序列(PRBS)多项式生成用于对应的发射通道的 PRBS链路训练模式，其中用于为每条发射通道生成该链路训练模式的 PRBS多项式是唯一的。在实施例中，该多条发射通道包括四条通道，并且 该多条接收通道包括四条通道。在实施例中，该装置被进一步配置成用于 存储多个PRBS多项式以及从该多个PRBS多项式选择PRBS多项式以供该 多个链路训练模式生成器使用。在实施例中，该装置包括网络接口控制器。

在实施例中，该装置被进一步配置成用于存储被分为第一组和第二组 的多个PRBS多项式，并且其中，当操作时，该装置被配置成用于通过与 链路合作伙伴协商以便确定该装置和链路合作伙伴中的哪一个采用来自该 第一组的PRBS多项式以及该装置和链路合作伙伴中的哪一个采用来自该 第二组的PRBS多项式，采用与包括链路合作伙伴的第二装置进行链路协 商操作，该第二装置还被配置成用于存储被分为第一组和第二组的相同的 多个PRBS多项式，其中该链路协商操作是以确保将在该第一和第二端点 处采用不同组的多项式的方式实现的。

在实施例中，该装置被配置成用于通过执行包括以下内容的操作执行 与该链路合作伙伴的该协商：从该第一端点向该第二端点发送第一随机数； 从该第二端点向该第一端点发送第二随机数；从该第二端点向该第一端点 返回第一回波随机数，该第一回波随机数等于该第一随机数；从该第一端 点向该第二端点返回第二回波随机数，该第二回波随机数等于该第二随机 数；以及在每个端点处，将该第一随机数与该第二随机数进行比较以便确 定是使用来自该第一组还是来自该第二组的PRBS多项式。

在实施例中，一种装置，包括：物理层(PHY)电路，包括物理编码 子层(PCS)模块；自动协商模块；链路训练模块；发射端口，其包括用于 四个发射通道的发射器；以及接收端口，其包括用于四个接收通道的接收 器电路。该装置进一步包括媒体访问控制(MAC)模块；调和子层(RS) 模块；以及高速外围组件互连(PCIe)接口。当该装置操作时，该链路训 练模块被配置成用于实现包括用于该四条发射通道中的每一条通道的唯一 11位伪随机位序列(PRBS11)的链路训练模式，其中不同的PRBS11多项 式用于为用于每条通道的该链路训练模式生成该PRBS11。

在实施例中，该装置被进一步配置成用于存储多个PRBS11多项式以 及从该多个PRBS11多项式选择四个PRBS11多项式以便用于为该四条发 射通道实现该链路训练模式。在实施例中，该四条发射通道包括通道0、1、 2和3，并且该PRBS11多项式包括：

用于通道0的l+x⁵+x⁶+x¹⁰+x¹¹；

用于通道1的l+x⁵+x⁶+x⁹+x¹¹；

用于通道2的1+x⁴+x⁶+x⁸+x¹¹；以及

用于通道3的l+x⁴+x⁶+x⁷+x¹¹。

在实施例中，该装置被进一步配置成用于存储被分为第一组和第二组 的多个PRBS11多项式，并且其中，当操作时，该装置被配置成用于通过 与链路合作伙伴协商以便确定该装置和链路合作伙伴中的哪一个采用来自 该第一组的PRBS11多项式以及该装置和链路合作伙伴中的哪一个采用来 自该第二组的PRBS11多项式，采用与包括链路合作伙伴的第二装置进行 链路协商操作，该第二装置还被配置成用于存储被分为第一组和第二组的 相同的多个PRBS11多项式，其中该链路协商操作是以确保将在该第一和 第二端点处采用不同组的多项式的方式实现的。在实施例中，该装置包括 100吉比特每秒以太网网络接口控制器。

根据进一步的实施例，一种系统被配置成用于执行前述方法操作以及 实现该装置的各方面。在实施例中，该系统包括机箱；安装在该机箱内的 中间板，其具有第一和第二中间板连接器以及耦合在两者之间的被配置成 用于促成多通道100吉比特每秒(Gbps)以太网链路的布线；第一板，其 具有第一网络接口控制器(NIC)，该第一网络接口控制器包括操作性地耦 合到第一板连接器的100Gbps以太网发射器和接收器端口，该第一板连接 器耦合到该第一中间板连接器；第二板，其具有第二NIC，该第二NIC包 括操作性地耦合到第二板连接器的100Gbps以太网发射器和接收器端口， 该第二板连接器耦合到该第二中间板连接器。用于该第一和第二NIC中的 每一个的该100Gbps以太网发射器被配置成用于在四条发射通道上发射数 据，并且当该系统操作时，该第一NIC被配置成用于实现包括用于该四条 发射通道中的每一条通道的唯一11位伪随机位序列(PRBS11)的链路训 练模式，其中不同的PRBS11多项式用于为用于每条通道的该链路训练模 式生成该PRBS11。

在该系统的实施例中，该第一和第二NIC中的每一个被进一步配置成 用于存储被分为第一组和第二组的多个PRBS11多项式，并且其中，当操 作时，该第一和第二NIC被配置成用于采用链路协商操作以便确定该第一 和第二NIC中的哪一个采用来自该第一组的PRBS11多项式以及哪一个用 于采用来自该第二组的PRBS11多项式。在实施例中，该第一和第二NIC 中的每一个被配置成用于通过执行包括以下内容的操作执行链路协商：从 该第一端点向该第二端点发送第一随机数；从该第二端点向该第一端点发 送第二随机数；从该第二端点向该第一端点返回第一回波随机数，该第一 回波随机数等于该第一随机数；从该第一端点向该第二端点返回第二回波 随机数，该第二回波随机数等于该第二随机数；以及在每个端点处，将该 第一随机数与该第二随机数进行比较以便确定是使用来自该第一组还是来 自该第二组的PRBS多项式。

尽管已经参照具体实现方式描述了某些实施例，其他实现方式根据某 些实施例是可能的。此外，在附图中示出和/或在此描述的元素或其他特征 的安排和/或顺序无需以所示出和描述的特定方式安排。许多其他安排根据 某些实施例是可能的。

在附图中示出的每个系统中，在某些情况下，元件可各自具有相同的 参考标号或不同的参考标号，以便指示所表示的元件可不同和/或类似。然 而，元件可足够灵活以便具有不同的实现方式并且与在此示出或描述的某 些或所有系统一起工作。在附图中示出的各个元素可相同或不同。将哪一 个称为第一元素以及将哪一个称为第二元素是任意的。

在描述和权利要求书中，可使用术语“耦合”和“连接”及其衍生词。应 当理解的是这些术语不旨在作为彼此的同义词。而是，在具体实施例中，“连 接”可用于指示两个或更多个元素与彼此直接物理或电接触。“耦合”可意指 两个或更多个元素直接物理或电接触。然而，“耦合”还可意指两个或更多 个元素可不彼此直接接触但是可仍彼此合作或交互。

实施例是本发明的实现方式或示例。本说明书中对“实施例”、“一个实 施例”、“某些实施例”、或“其他实施例”的引用是指在此结合该实施例所描 述的特定特征、结构或特性包括在本发明的至少某些实施例但无需所有实 施例中。各种出现“实施例”、“一个实施例”或“某些实施例”无需全部指代相 同的实施例。

不是所有在此描述和示出的组件、特征、结构、特性等等需要被包括 在一个或多个特定实施例中。如果说明书陈述例如组件、特征、结构、或 特性“可”、“可能”、“能够”或“可以”被包括，不要求包括该特定特征、结构、 或特性。如果说明书或权利要求书提到“一个”或“一”元素，这不意味着仅存 在一个这种元素。如果说明书或权利要求书提到“附加”元素，这不排除存 在多于一个这种附加元素。

包括在摘要中描述的内容的本发明的所示出实施例的以上描述不旨在 是排他性的或者将本发明限制为所公开的精确形式。尽管在此为了示意性 的目的描述了本发明的特定实施例和示例，在本发明的范围内，各种等效 修改是可能的，正如本领域普通技术人员将认识到的那样。

可鉴于以上细节描述对本发明做出这些修改。在以下权利要求书中所 使用的术语不应被解释为将本发明限制到在说明书和附图中公开的特定实 施例。而是，本发明的范围全部由以下权利要求书确定，应当根据权利要 求解释的确定条文对其进行解释。