用于数据中心电源架构的电源管理

摘要

本公开涉及用于数据中心电源架构的电源管理，具体涉及一种管理用于系统板的资源使用的管理系统资源的方法，系统板包括多个处理器、与每个处理器相关联的存储器、被配置为调节施加给处理器和存储器的电压的多个电压调节器以及被配置为管理系统板的资源的板管理器，该方法包括：将操作状态信息从板管理器传输至电压调节器的控制器，不受处理器支配，并且还与控制器通信，由每个控制器接收的操作状态信息表示由该控制器控制的电压调节器所调节的用于处理器的计算负载。该方法还包括：基于操作状态信息控制电压调节器，以根据由板管理器传输至每个处理器的控制器的操作状态信息表示的处理负载来设置电压调节器的功率限制。

说明书

技术领域

本发明涉及用于数据中心电源架构的电源管理，具体地，涉及用于最佳电源效率的数据中心内的电源部件的动态缩放。

背景技术

数据中心架构包括多个转换器级以将AC主电源转换为低DC电压CPU(中心处理单元)、存储器和包括在系统中的其他电子部件(诸如存储器、图形逻辑、I/O(输入/输出)等)。在数据中心内具有多个机架，并且每个机架都包含多个服务器板。在一个示例中，48V的分配电压在每个板上被向下转换为12V，然后通过电压调节器(VR)和负载点(POL)转换器转换为数字电路所需的低电压。每个板通常都包括N个CPU(其中，N例如可以是2或4)，并且每个CPU都包含2个以上的存储体。每个电源转换级的最优效率被高度期望为所要求的总输入功率，其是所有级的效率的乘积的函数。此外，数据中心所消耗的许多能量用于风扇和空调的热管理。计算资源的低效使用会潜在地导致电源转换器的低效操作，其又会损伤冷却系统。因此，各个CPU层级处的电源管理方案的小改进会导致数据中心层级处的剧烈电源效率。

发明内容

公开了用于系统板的管理资源使用的方法。系统板包括多个处理器、与每个处理器相关联的存储器、被配置为调节施加给处理器和存储器的电压的多个电压调节器、以及被配置为管理系统板的资源的板管理器。根据一个实施例，该方法包括：将操作状态信息从板管理器传输至电压调节器的控制器，其中该控制器不受处理器支配，并且处理器还与控制器通信，由每个控制器接收的操作状态信息指示由该控制器控制的电压调节器所调节的处理器的计算负载。该方法还包括：基于操作状态信息控制电压调节器，以根据处理负载来设置电压调节器的功率限制，所述处理负载由板管理器传输至用于每个处理器的控制器的操作状态信息所指示。各个处理器被允许控制它们对应的电压，但是板管理器可以设置电压调节器处的功率限制。由板管理器确定的每个功率限制都说明由对应处理器设置的动态电压。

公开了一种系统板。根据一个实施例，系统板包括多个处理器、与每个处理器相关联的存储器、被配置为调节施加给处理器和存储器的电压的多个电压调节器以及板管理器。板管理器被配置为将操作状态信息传输至电压调节器的控制器，该控制器不受处理器支配，并且处理器还与控制器通信，由每个控制器接收的操作状态信息指示由该控制器控制的电压调节器所调节的处理器的计算负载。板管理器进一步被配置为基于操作状态信息经由相应的控制器来控制电压调节器，以根据处理负载来设置电压调节器的功率限制，所述处理负载由板管理器传输至用于每个处理器的控制器的操作状态信息所指示。

公开了一种数据中心。根据一个实施例，数据中心包括多个机架，每个机架均包括被配置为管理该机架的资源的机架管理器、多个系统板，每个系统板均具有多个处理器、与每个处理器相关联的存储器、被配置为调节施加给处理器和存储器的电压的多个电压调节器以及板管理器。板管理器被配置为通过将操作状态信息传输至系统板的电压调节器的控制器来管理该系统板的资源，该控制器不受处理器的支配并且处理器还与控制器通信，由每个控制器接收的操作状态信息指示由该控制器控制的电压调节器所调节的用于处理器的计算负载，并且基于操作状态信息经由相应的控制器来控制系统板的电压调节器，以根据处理负载来设置电压调节器的功率限制，所述处理负载由板管理器传输至用于每个处理器的控制器的操作状态信息所指示。数据中心管理器还包括被配置为管理数据中心的资源的数据中心管理器。

本领域技术人员在阅读以下详细说明并查看附图的基础上将意识到附加的特征和优势。

附图说明

附图的元件相互之间没有必要按比例绘制。类似的参考标号表示对应的类似部件。各个所示实施例的特征可以组合，除非相互之间排斥。附图中示出和说明书中描述的实施例如下。

图1示出了根据实施例的系统板的框图，其包括被配置为管理系统板的资源的板电源管理器。

图2示出了根据实施例的管理用于系统板的资源使用的方法的流程图。

图3示出了根据实施例的机架的框图，其包括多个系统板和与系统板通信且被配置为管理机架的资源的机架层级电源管理器。

图4示出了根据实施例的数据中心的框图，其包括多个机架以及与机架通信且被配置为管理数据中心的资源的数据中心层级电源管理器。

具体实施方式

本文描述的实施例使用电源管理器来生成数据中心内的部件的电源效率分布，并且基于确定的电源效率分布控制这些部件的使用。在数据中心的板层级处，板管理器具有与电压调节器的控制器的直接通信链接。控制器管理电压调节器的操作，使得施加给处理器的电压被有效调节，并且具有进入各种不同的电源模式的能力。因此，板管理器具有与电压调节器控制器的直接通信链接，该控制器不受处理器的支配并且处理器与控制器通信。板管理器接收遥测信息(例如，电压调节器的输入功率)，其表示与每个处理器相关联的电压调节器的电源效率。使用该遥测信息，板管理器可以生成效率分布，其表示在用于最佳电源效率的哪些状态下应该使用板上的哪个处理器。

与传统的数据中心电源管理技术相比，本文描述的实施例具有多种值得注意的优点。传统地，每个处理器与其电压调节器的控制器直接通信，并且根据各种因素来将电源状态调上调下。然而，处理器不能得到电源效率或者系统中成对的其他处理器-电压调节器的使用。出于各种原因，每个板上的特定电压调节器可以在给定的电源设置下或多或少有效。例如，这些原因可包括部件的工艺变化以及部件的物理分离距离。板管理器向在给定条件下最有效的那些处理器-电压调节器对分配工作负载，并且仅在需要时利用低效率的处理器-电压调节器对。此外，板管理器可以覆盖电压调节器的电源状态。处理器保持自由调节它们相应的电压，并且对应的电压调节器将响应。这避免了电源模式之间不需要的过渡。这种概念可以在系统内的每个层级处实施。例如，在机架层级(每个机架包括多个板)处，每个机架可以包括电源管理器，其使用类似的优先方案向相应机架内的各个板分配工作负载。每个机架的电源管理器还可以控制冷却设置，诸如机架内的风扇速度和温度。相同的概念可应用于使用控制多个机架的电源管理器的数据中心层级。

参照图1，根据实施例示出了被配置为管理资源使用的系统板100的代表性框图。系统板100包括多个(例如，两个、三个、四个等)处理器102(例如，CPU)。系统板100还包括与每个处理器102相关联的至少一个存储器104。例如，如图1所示，两个存储器104单元耦合至每个处理器102。系统板100还包括多个电压调节器(VR)106，其被配置为调节施加给处理器102和存储器104的电压。根据一个实施例，电压调节器106是多相电压调节器106，其包括两个或更多个电源级109，每个电源级109都提供多相电压调节器的相位并且被配置为将电流传输至CPU。在多相降压转换器的情况下，多相降压转换器的每个电源级109都包括高侧晶体管和低侧晶体管，用于通过电感器将相位耦合至对应的处理器102。

随着CPU的电源需求的变化，电压调节器106可以动态地激活或去激活相位。此外，在低使用的周期内，电压调节器106可以选择电源相位的子集并去激活其他电源相位。这通常被称为相位脱落。每个电压调节器106还包括用于管理相应电压调节器的操作的控制器107。电压调节器被逻辑地示为单个单元，但是其可以实施为独立部件的集合，诸如电源晶体管管芯、控制器管芯、电容器、电感器等。

该系统还包括与每个处理器102、每个存储器104单元和每个电压调节器106通信的板管理器108。为此，系统包括板管理器108与电压调节器106之间的第一通信链接110以及板管理器108与电压调节器106之间的第二通信链接112。例如，第一和第二通信链接110、112可以通过串行总线来提供。根据一个实施例，第一和第二通信链接110、112相互独立。板管理器108可以具有与电压调节器106(更具体地，与每个电压调节器106相关联的控制器107)直接的双向通信，而不使用处理器102与电压调节器106之间的通信链接。

板管理器108被配置为以以下方式管理系统板100的资源使用。板管理器108将操作状态信息从板管理器108传输至电压调节器106的控制器107。操作状态信息表示VR控制器107的处理器计算负载。当板管理器108将操作状态信息传输至VR控制器107时，板管理器108传输电流或功率。电压调节器106不知道或不具有将实际的处理器计算负载转换为操作状态的能力。代替地，板管理器108执行该功能。在一个实施例中，板管理器108预先将电负载限值传输至VR控制器107。例如，板管理器将处理器计算负载(例如，MIPS(每秒百万个指令))转换为电流或功率。在第二实施例中，板管理器108不转换处理器计算负载而是代替地通知VR控制器107电负载将不会变得更糟。

操作状态信息从板管理器108传输至电压调节器106的控制器107，不受处理器106的支配，且还与VR控制器107通信。如前所述，这种独立的通信可以通过第二通信链接112来实现。

板管理器108被配置为基于操作状态信息控制电压调节器106。由板管理器108对电压调节器106的控制是根据由板管理器108传输至与每个处理器102相关联的VR控制器107的操作状态信息所表示的计算负载而进行的。即，板管理器108可以基于操作状态信息设置电压调节器106的功率限制。处理器106被允许控制它们相应的电压，同时板管理器108设置相应的功率限制。由板管理器108设置的每个功率限制说明由对应处理器102设置的动态电压。

板管理器108可优化系统板100的电源效率的一种方式涉及使用遥测信息来向处理器102和电压调节器106的最有效对分配处理工作负载。根据一个实施例，板管理器108接收在板管理器108处接收来自电压调节器106的遥测信息。遥测信息可以是提供关于电压调节器106的效率的一些指示的任何信息。例如，遥测信息可以包括每个处理器102的活动层级、每个电压调节器106的输入电压、电流和/或功率、每个电压调节器106的输出电压、电流和/或功率、每个处理器102的电压、每个处理器102的电流、每个处理器102的温度、每个调节器106的温度等。例如，遥测信息可以被传输至第二通信链接112。

板管理器108被配置为基于电压调节器106针对不同电源模式的效率优先使用处理器102。即，板管理器108可以利用遥测信息来确定哪一对处理器102和电压调节器106应该给出较高的优先级以及哪一对处理器102和电压调节器106应该给出较低的优先级。尽管每个处理器102/电压调节器106对标称地可以在一些条件下以相同的效率进行操作，但是存在各种原因来使得处理器102/电压调节器106对不会标称地动作。例如，每个电压调节器106的一个或多个部件(诸如输出电感器、输出电容器、输入电容器等)会由于工艺变化而变化。此外，处理器102、存储器104和电压调节器106的物理布局会导致特定的通信路径快于其他路径。根据一个实施例，板管理器108根据相应处理器102针对不同电源模式的计算层级生成每个电压调节器106的输入功率的分布。即，板管理器108在给定的电源设置中收集关于哪一对处理器102和电压调节器106执行得好于其他对的数据，并且将该数据映射为优先级方案。

板管理器108基于优先级使用将进入的板数据引导至处理器102，使得进入的板数据首先被引导至电压调节器106更加有效的处理器102，然后被引导至电压调节器106不太有效的处理器102。优先级应用仅发生在需要附加的处理资源来处理进入的板数据的情况。即，板管理器108仅响应于对至少一个处理器102的电压调节施加改变的负载条件，因此会得益于表示哪一对处理器102和电压调节器106应该被首先使用的优先级方案。

根据一个实施例，基于生成的分布，进入的板数据通过板管理器108被引导至处理器102，使得仅在需要附加的处理资源来处理进入的板数据的情况下，进入的板数据被首先引导至电压调节器106具有计算层级分布的较低输入功率的处理器102，然后被引导至电压调节器106具有计算层级分布的较高输入功率的处理器102。现在将为了说明的目的讨论该资源奉献的工作示例。由板管理器108生成的分布可以表示系统板100上以80％的峰值功率消耗的两个处理器102比40％的峰值功率消耗的四个处理器102更加有效。基于该知识，板管理器108将进入的板数据引导至两个更加有效的处理器102，使得这些处理器102将执行计算，并且使得两个更加低效的处理器102可以被去激活或者仅在需要额外的处理资源来处理输入数据时被使用。

除了上述资源分配优先级管理方案，板管理器108可用于与相应处理器102无关地控制电压调节器106。在缺乏板管理器108和板管理器108与电压调节器106之间的第二通信链接112的情况下，电压调节器106可以仅被处理器106外部控制。在这种情况下，电压调节器106的电源模式直接由处理器102控制，而不管处理器102和电压调节器106的效率以及不管系统板100中的未来处理请求的可能分配。系统使用板管理器108和电压调节器106之间的第二通信链接112来克服这种缺陷，以加快指示电压调节器106改变电源状态的处理和/或消除电源状态之间的电压调节器106的不需要的过渡。

根据一个实施例，在与第一VR控制器107相关联的处理器102输入受限的功率范围之前，操作状态信息(例如，用于处理器102的计算负载的指示)预先从板管理器108传输至第一个VR控制器107。预先传输的操作状态信息指示与第一VR控制器107相关联的处理器102期望最终输入受限的功率范围，并且在预定的时间周期内保持在受限的功率范围内。基于该信息，由第一VR控制器107基于预先传输的操作状态信息控制的电压调节器106的减小的功率操作状态被确定。根据另一实施例，在与第一VR控制器107相关联的处理器102进入受限功率范围之后，板管理器108将操作状态信息从板管理器108传输至第一个VR控制器107。在这种情况下，操作状态信息指示与第一VR控制器107相关联的处理器102输入受限的功率范围，并且将在预定的时间周期内保持在受限的功率范围中。在任意情况下，基于板管理器108和第一VR控制器107之间的操作状态信息的直接传输，由第一VR控制器107控制的电压调节器106在减小的功率状态下进行操作。第一VR控制器107可以被指示保持在减小的功率操作状态下直到板管理器108另有指示。以这种方式，板管理器108可以覆盖处理器102可发布给与这些处理器102相关联的电压调节器106的控制器107的任何指令。

使用板管理器108，系统还可以使用操作状态信息来加快电压调节器106从各种电源状态的过渡。例如，根据一个实施例，板管理器108预先迫使由第一VR控制器107控制的电压调节器106退出减小的功率操作状态。例如，这可以发生在操作状态信息向板管理器108指示置于处理器102上的计算负载即将来临的情况下。在与第一VR控制器107相关联的处理器102向电压调节器106发布指示电压调节器106应该退出减小的功率操作状态的命令之前，电压调节器106被迫使退出减小的功率操作状态。有利地，由于板管理器108根据针对不同的电源模式的相应处理器106的计算层级生成每个电压调节器106的输入功率的分布，所以板管理器108可以确定哪一个处理器102将退出减小的功率操作状态以及哪一个处理器102将保持在减小的功率操作状态，因此仅与这些处理器102相关联的电压调节器106转变至适当的电源操作状态。

系统还可以使用操作状态信息来防止处理器102响应于动态事件(例如，一个处理器102的计算负载的突然增加或减少)调整电压调节器106的电源状态。例如，根据一个实施例，响应于与第一VR控制器107相关联的处理器102处的动态事件，操作状态信息从板管理器108传输至第一个VR控制器107。在这种情况下，操作状态信息表示处理器102处发生的动态事件。由第一VR控制器107控制的电压调节器106被防止响应于在第一VR控制器107处接收到该操作状态信息而进入减小的功率状态。换句话说，操作状态信息用于向电压调节器106指示大计算事件即将来临，使得电压调节器106保持在最佳效率和/或性能。

参照图2，示出了管理用于系统板的资源使用的方法的流程图。根据该方法的第一步骤200，操作状态信息例如作为一个或多个命令从板管理器108传输至电压调节器106的控制器107，不受处理器的控制，并且还与VR控制器107通信。操作状态信息被每个VR控制器107接收并且指示由控制器控制的电压调节器106所调节的用于处理器102的计算负载。操作状态信息可以指示特定的电流或功率限制。

根据该方法的第二步骤202，基于操作状态信息控制电压调节器106，以根据由板管理器108传输至VR控制器107的操作状态信息所指示的处理负载来设置电压调节器106的功率限制。各个处理器102被允许控制它们相应的电压，但是板管理器108通过在第二通信链接112上向相应的VR控制器107发送操作状态信息(例如，以一个或多个命令的形式)来设置功率限制。由板管理器108确定的每个功率限制都说明由对应处理器102设置的动态电压。用于处理器102的动态电压遥测信息在第一通信链接110上从处理器102传输至板管理器108。

参照图3，图1的系统板100被结合到机架300(例如，服务器机架)中。机架300还包括多个附加的系统板100，它们与图1的系统板100基本相似或相同。机架300包括机架管理器302，其被配置为管理机架300的资源。机架管理器302具有与每个系统板100的每个板管理器108的直接通信链接304。

从机架层级的角度来看，机架管理器302被配置为采用类似的电源效率管理方案，参照图1讨论的板管理器108具有板层级的角度。更具体地，使用板管理器108与机架管理器302之间的直接通信链接304，操作状态信息从每个板管理器108传输至机架管理器302。由每个板管理器108传输的操作状态信息表示用于与相应板管理器108相对应的系统板100的计算负载。机架管理器302基于由板管理器108传输的操作状态信息优先化机架管理器302对系统板100的使用。机架管理器302基于优先化使用将进入的机架数据引导至系统板100，使得进入的机架数据被首先引导至操作状态信息表示较高效率的系统板100，然后被引导至操作状态信息指示较低效率的系统板100。这种优先化使用仅发生在需要附加的处理资源来处理进入的机架数据的情况下。即，机架管理器302仅响应于对至少一个板100的电压调节施加变化的负载条件，因此将得益于关于首先使用哪个板100的优先级方案。

机架管理器302还被配置为基于对应板100的电源需求的知识来调整机架300的冷却系统。如图3所示，机架管理器302板接收来自每个板的板管理器108的遥测。来自板管理器108的遥测的示例包括：处理器102的温度、处理器102的输入电压(由电压调节器106施加)、处理器102的输入电流和处理器102的输入功率。机架管理器302还经由机架管理器302与冷却系统之间的直接通信路径接收来自机架300的冷却系统的遥测。来自冷却系统的遥测的示例包括：机架300的周围温度、风扇输入电压、风扇输入电流和风扇输入功率。机架管理器302集合该遥测并相应地调整机架300的冷却系统。例如，根据实施例，机架管理器302基于由板管理器108传输的操作状态信息调整机架300内的温度和气流。

参照图4，示出了包括多个参照图3描述的机架300的数据中心400。每个机架300都包括机架管理器302，其被配置为管理机架300的资源(例如，以参照图3所述的方式)。数据中心400包括数据中心管理器402，其被配置为管理数据中心400的资源。机架管理器302具有与每个系统板100的每个板管理器108的直接通信链接404。从数据中心层级的角度来看，数据中心400采用与参照图1讨论的板管理器108相似的资源使用和效率方案以及参照图3讨论的机架302管理器。更具体地，每个机架管理器302都被配置为将操作状态信息传输至数据中心管理器402。由每个机架管理器302传输的操作状态信息表示用于与机架管理器302相关联的机架300的计算负载。数据中心管理器402被配置为基于由机架管理器302传输的操作状态信息优先化使用机架300。数据中心管理器402被配置为基于优先化使用将进入的数据中心数据引导至机架，使得进入的数据中心数据首先被引导至操作状态信息表示较高效率的机架300，然后引导至操作状态信息表示较低效率的机架300。这种优先化使用仅发生在需要附加的处理资源来处理进入的数据中心数据的情况下。即，数据中心400仅响应于对至少一个处理器102的电压调节施加变化的负载条件，因此将得益于首先使用哪个电压调节器106的优先级方案。

数据中心管理器402还被配置为基于各个机架的功率需求的知识来调整数据中心管理器402的冷却机制。如图4所示，数据中心管理器402接收来自每个机架300的机架管理器302的遥测。来自机架管理器302的遥测的示例包括：聚集的机架遥测(例如，机架温度、机架输出电压、机架输出电流、机架输出功率、计算负载(MIPS、FLOPS等中)；数据中心层级遥测(例如，数据中心输入功率、数据中心输入电流、数据中心输入功率)；以及数据中心冷却系统信息(例如，数据中心HAVC系统的温度设置、有效HVAC单元等)。数据中心400聚集该遥测，并且相应地调整数据中心冷却系统。例如，根据一个实施例，数据中心管理器402被配置为基于由机架管理器302传输的操作状态信息调整数据中心400内的温度和气流。

尽管数据中心400被用作示例，但本文描述的实施例可等效地应用于微服务器和云计算架构。

诸如“第一”、“第二”等的术语用于描述各个元件、区域、部分等，并且不用于限制。类似的术语在说明书中表示类似的元件。

如本文所使用的，术语“具有”、“包括”等是开放性术语，其表示所提元件或特征的存在，但是不排除附加的元件或特征。冠词“一个”和“该”用于包括多个和单个，除了另有明确指定。

应该理解，本文所述各个实施例的特征可以相互组合，除非另有明确指定。

尽管示出和描述了具体实施例，但本领域技术人员应该理解，在不背离本发明的范围的情况下可以对所示和所述具体实施例进行各种改变和/或等效实施。本申请用于覆盖本文所讨论的具体实施例的任何改变或变化。因此，本发明仅通过权利要求及其等效物来限制。