用于在计算中心中实施资源使用策略的方法和装置

摘要

本发明涉及用于在计算中心中实施资源使用策略的方法和系统。具体地，本发明的一个实施方式提供了一种在计算中心中实施资源使用策略的系统。在操作期间，系统可以接收规范规则，其包括资源使用规则和校正动作规则。资源使用规则可以规定违反资源使用策略的情形，而校正动作规则可以规定需要执行校正动作的情形。接下来，系统可以接收包括作业监测数据和进程监测数据的资源使用信息。系统继而可以通过对资源使用信息应用资源使用规则来确定资源使用违反。接着，系统可以在违反数据库中存储资源使用违反。系统继而可以通过对存储在违反数据库中的一系列违反应用校正动作规则来确定校正动作。接着，系统可以执行该校正动作，由此在计算中心中实施资源使用策略。

说明书

技术领域

本发明总体上涉及分布式计算。更具体地，本发明涉及用于确保按照期望的方式来使用计算中心的资源的方法和装置。

背景技术

廉价硬件的可用使得分布式计算系统(所谓的计算中心)兴起，在计算中心中，大量的计算机系统(例如服务器)使用高速网络耦合在一起。企业正在使用计算中心来执行计算密集型任务，诸如计算机辅助设计、图形绘制、软件编辑、电子设计自动化以及数据库查询处理。

计算中心中的资源通常使用排队系统来管理。典型地，计算中心的资源表示为作业槽(job slot)的集合，其中每个作业槽表示计算中心中特定数量的资源。排队系统继而在这些作业槽调度用户提交的作业。系统通常使用不同类型的作业槽来适应不同类型的应用。例如，系统可以有交互式作业槽和批处理作业槽，其目的分别在于执行轻量级交互式作业和计算密集型批处理作业。

当用户向排队系统提交作业时，传统技术通常依靠用户来指示作业的类型。遗憾的是，如果用户对作业进行了错误归类，则排队系统可能在错误类型的作业槽中调度作业，这可能浪费资源和/或导致性能问题。而且，有些用户可能尝试通过试图直接在计算中心节点上执行作业来绕过排队系统，这也可能导致性能问题。

因此，迫切需要找到确保计算中心中的资源被正确使用的系统和技术。

发明内容

本发明的一个实施方式提供了一种在计算中心中实施资源使用策略的系统。计算中心的资源可以表示为不同类型的作业槽的汇集，这些作业槽将被分配给不同类型的作业。例如，作业槽可以归类为轻型交互式作业槽、重型交互式作业槽、批处理作业槽、溢出作业槽，等等。系统可以使用排队系统来管理作业槽的集合。

在操作期间，系统可以接收规范规则，其包括资源使用规则和校正动作规则。资源使用规则可以规定违反资源使用策略的情形，而校正动作规则可以规定需要执行校正动作的情形。接下来，系统可以接收包括作业监测数据和进程监测数据的资源使用信息。作业监测数据可以描述所监测的作业的资源使用，而进程监测数据可以描述所监测的进程的资源使用。

系统继而可以通过对资源使用信息应用资源使用规则来确定资源使用违反。接着，系统可以将资源使用违反存储在违反数据库中。系统继而可以通过对存储在违反数据库中的一系列违反应用校正动作规则来确定校正动作。接着，系统可以执行该校正动作，由此在计算中心中实施资源使用策略。

对于每个被监测的作业，作业监测数据可以描述所监测作业已经执行了多久，以及所监测作业已经空闲了多久。进一步地，对于每个被监测的进程，进程监测数据可以描述所监测进程使用的处理器时间量以及所监测的进程使用的存储器的量。进程监测数据也可以指示用户在计算中心节点上是否执行了直接登录以及在登录会话期间用户产生的进程。

校正动作通常可以是被设计用来校正资源使用策略违反的任何动作。具体地，系统可以向导致一系列触发校正动作的违反的用户发送通知。进一步地，系统可以向用户的管理人和/或系统管理员发送通知。附加地，系统可以终止引起一系列触发校正动作的违反的有害作业或有害进程。

附图说明

图1示出了根据本发明一个实施方式的计算中心。

图2示出了根据本发明一个实施方式的计算机系统。

图3A示出了根据本发明一个实施方式的、用于使用资源使用策略的方法。

图3B-图3D示出了根据本发明一个实施方式的示例性资源使用策略。

图4给出了示出根据本发明一个实施方式的、用于实施资源使用策略的过程的流程图。

图5给出了示出根据本发明一个实施方式的、用于对批处理作业应用规范(etiquette)规则的过程的流程图。

图6给出了示出根据本发明一个实施方式的、用于对交互式作业应用规范规则的过程的流程图。

图7给出了示出根据本发明一个实施方式的、用于对直接登录应用规范规则的过程的流程图。

图8示出了根据本发明一个实施方式的、用于在计算中心中实施资源使用策略的装置。

具体实施方式

给出以下描述是为了使本领域技术人员能够制造和使用本发明，并且这些描述是在特定应用及其要求的上下文中提供的。对于本领域技术人员而言，对所公开的实施方式做出各种改进是显然的，并且在此定义的通用原理在不脱离本发明精神和范围的前提下，适用于其他实施方式和应用。由此，本发明并不限于所示实施方式，而是符合与在此公开的原理和特征一致的最宽泛范围。

计算中心

廉价硬件的可用使得分布式计算架构兴起，在此架构中，大量计算机系统使用高速网络耦合在一起。这些分布式架构有时称为计算中心，并且正用于各种各样的应用，其中大部分应用需要大量计算资源。例如，计算中心已经用于计算辅助设计、图形绘制、电子设计自动化、软件编辑、数据库查询处理，等等。

图1示出了根据本发明一个实施方式的计算中心。

计算中心102包括使用网络耦合在一起大量计算机。构成计算中心的计算机可以位于单个建筑(例如数据中心)内，或者可以分散在世界各地。

通常，将计算中心与普通计算机网络区分开的是：计算中心通常包括使得用户能够将计算中心作为一个整体在其上执行作业的软件。换言之，该软件向用户隐藏计算中心架构的细节。该软件提供计算中心中资源的摘要，其使得计算中心更加用户友好，并且还使得计算中心更加容易管理和维护。例如，为了在计算中心上执行作业，用户不必知道计算机的网络地址或不同计算机的负载。相反，用户简单地将作业提供给管理该计算中心的软件，继而软件确定如何执行该作业以及何时执行该作业。

在一种实施方式中，该软件使得用户能够将计算中心视为作业槽的集合。作业槽是可以用来执行作业的广义的资源单元。例如，作业槽可以表示具有特定量的存储器的专用处理器，或者其可以仅表示处理器的时间的一个百分比，而且没有存储器保证。进一步地，作业槽可以具有不同类型，例如，有些作业槽可以预留给高度交互式作业，而其他作业槽可以预留给计算密集型作业。

例如，计算中心102可以视为作业槽104的集合。作业槽104可以基于作业的不同类型而划分为不同类别。例如，作业槽104可以包括轻型交互式作业槽106、重型交互式作业槽108、溢出作业槽110以及批处理作业槽112。轻型交互式作业槽106可以用来执行要求用户交互并且预期不会计算密集的作业。重型交互式作业槽108可以用来执行要求用户交互并且预期会计算密集的作业。溢出作业槽110可以用来执行“溢出”作业，也即，系统无法为其找到未使用作业槽的作业。批处理作业槽112可以用来执行不需要用户交互的计算密集型作业。批处理作业槽112也可以用于执行需要专用资源的高优先级作业。

不同类型的作业槽可以表示不同数量的资源。例如，由于轻型交互式作业预期不会计算密集，因此每一个轻型交互式作业槽可以表示小量的处理器和存储器资源。换句话说，计算中心中的单个计算机可以容纳大量轻型交互式作业槽。与之对比，批处理槽可以表示大量处理器和存储器资源，例如专用计算机系统。

图2示出了根据本发明一个实施方式的计算机系统。

计算机系统202包括处理器204、存储器206以及存储设备208。计算机系统202可以与显示器214、键盘210以及指点设备212相耦合。存储设备208可以存储应用216、操作系统218以及数据220。注意，在常规操作期间，计算中心中的计算机系统通常不与诸如显示器214、键盘210和指点设备212之类的输入/输出设备耦合。然而，出于维护目的，计算机系统可以与输入/输出设备耦合。

计算中心中的每个计算机系统通常是“单机”计算机系统，也即，每个计算机系统有其自己的操作系统，并且其通过将作业加载到存储器中以及在处理器上执行相关联的指令来执行作业。计算中心通常无法在不丢失状态的情况下将正在一个计算机系统上执行的作业移动到另一计算机系统上。换言之，在计算中心中将作业从第一计算机系统移动到第二计算机系统通常涉及在第一计算机系统上停止作业，以及在第二计算机系统上从头开始重启该作业。在这方面，计算中心可能不同于分布式系统，分布式系统对于终端用户看起来是单个计算机系统，并且其支持作业从一个计算节点到另一计算节点的无缝迁移。

仅仅出于示例和描述目的，给出了对计算机系统和计算中心的上文描述。其并非意在穷尽或是将本发明限于所公开的形式。计算中心中的计算机系统通常可以是能够处理数据并且能够与其他计算机系统通信的任何系统。具体地，计算机系统可以基于多处理器和/或具有多个内核的处理器。

资源使用策略

为了有效地利用计算中心的资源，系统通常必须确保每种类型的作业槽都在正确地使用。例如，批处理作业槽被设计用于执行计算密集型作业。因此，如果系统在批处理作业槽内调度交互式作业，则将会浪费资源。相反，如果系统在用于执行交互式作业的计算机系统上调度计算密集型作业，则可能导致严重的性能问题。

即使假设排队系统有效地管理计算中心的资源，资源利用率也不可能要多有效就有多有效。具体地，排队系统通常依靠用户来正确地归类作业，从而使排队系统知道如何对其进行调用。因此，用户可能错误地或故意使得系统在错误的作业槽类型内调度作业。进一步地，有些用户可能尝试通过直接登录计算中心中的计算机系统来完全绕过排队系统。基于这些原因，需要这样的系统和技术，其检测计算中心中正在错误使用计算中心的资源的作业和进程，并且通过向合适的用户发送通知和/或终止有害作业或进程来校正错误使用。

资源使用策略规定作业、进程和/或用户未按期望方式使用资源的情形。进一步地，资源使用策略规定何时需要采取校正动作，以及如果需要，应采取哪种校正动作。

图3A示出了根据本发明一个实施方式的、用于使用资源使用策略的方法。

资源使用策略302可以规定将要如何使用计算中心的资源。具体地，资源使用策略302可以规定这样的规范规则，其规定作业、进程或用户没有按照符合企业的使用策略的方式使用计算中心的资源的情形。

实施资源使用策略可能需要由一个或多个计算机系统来执行各种处理或步骤。具体地，系统可以收集针对作业和进程的监测数据(步骤304)。接着，系统可以确定哪些作业存在违反的情况(步骤306)。系统继而可以更新违反作业列表(步骤308)。具体地，系统可以在违反数据库310中存储这些违反。接着，系统可以确定动作的过程(步骤312)。例如，动作的过程可以包括杀死(kill)有害作业和/或进程(步骤314)。可选地，动作的过程可以包括发送电子邮件给作业拥有者(步骤316)。系统也可以发送电子邮件给管理员(步骤318)。

图3B-图3D示出了根据本发明一个实施方式的示例性资源使用策略。具体地，图3B示出了用于批处理作业的资源使用策略，图3C示出了用于交互式作业的资源使用策略，图3D示出了用于处理器/存储器使用和直接登录的资源使用策略。

在图3B-图3D中，每一行对应于资源使用策略中的可配置参数，而每一列对应于用于特定作业类型的资源使用策略。“数据采集频率”行描述采集作业监测数据的频率，“阈值”行描述导致策略违反的情形。例如，在图3B中，如果批处理作业超过3个小时消耗低于10％的处理器时间，则认为批处理作业是空闲作业(其违反了批处理作业策略)。

一旦系统确定作业或进程违反了策略，则系统可以采取校正动作。例如，在图3B中，如果系统确定批处理作业是空闲作业，则系统可以根据“通知频率”行中指定的通知频率、向“电子邮件收件人”一行中示出的电子邮件收件人发送通知电子邮件。如果策略违反继续了一段较长时间，则系统可以采取其他校正动作，诸如终止该作业或进程。例如，在图3B中，“进程/作业终止”行规定：如果在给用户发送了三次通知之后还没有停止违反，系统应当终止该有害作业或进程。

资源使用策略可以免除用户(“用户特例”行)、进程(“进程特例”行)或主机(“主机特例”行)遵守此策略。例如，在图3B中，称为“I/O进程”的进程可以被免除遵守空闲作业策略，因为预期此进程执行大量的收入/输出操作，因此，可以预期其会空闲很长一段时间，以便等待用于执行操作的输入/输出设备。因而，即使系统确定“I/O进程”已经违反了空闲作业策略，系统可能不执行任何校正动作。可选地，系统可能决定不采集针对“I/O进程”的进程监测数据，由此豁免该进程。

仅出于示意性和描述的目的给出了资源使用策略的上述描述。其意图不在于穷尽或将本发明限制在所公开的形式。

用于实施资源使用策略的过程

图4给出了示出根据本发明一个实施方式的、用于实施资源使用策略的过程的流程图。

该过程可以开始于接收规范规则，其包括规定违反资源使用策略的情形的资源使用规则，以及规定需要执行校正动作的情形的校正动作规则(步骤402)。

注意，每个作业或进程通常使用各种各样的资源，诸如处理器时间、存储器等等。资源使用规则可以规定视为违反的资源使用模式。可选地，资源使用规则可以规定视为遵守的资源使用模式。

例如，资源使用规则可以规定：正在与交互式作业槽相关联的计算机系统上执行的进程不能使用超过一定百分比的处理器时间。另一资源使用规则可以规定：每个作业的存储器使用必须低于一定量。资源使用规则也可以同时对多个资源施加限制。例如，资源使用规则可以规定：如果进程使用低于20％的处理器时间，则其可以使用最多2GB的存储器，但是如果进程使用低于10％的处理器时间，则其可以使用最多4GB的存储器。这些资源使用规则的示例仅仅是出于示意性目的提供的，其意图不在于将本发明限制于所公开的形式。

接着，系统可以接收资源使用信息，其包括描述所监测作业的资源使用的作业监测数据，以及描述所监测进程的资源使用的进程监测数据(步骤404)。

具体地，对于每个被监测的作业，作业监测数据可以描述所监测的作业已经执行了多久，以及所监测的作业已经空闲了多久。进一步地，对于每个被监测的进程，进程监测数据可以包括所监测的进程使用的处理器时间量以及所监测进程使用的存储器数量。进程监测数据还可以指示计算中心中计算机系统上所监测进程是否与用户在该计算机系统上的直接登录相关联。

如果计算机系统正在运行UNIX操作系统，则系统可以按照有规律的间隔来调度采集作业监测数据和进程监测数据的“cron(计划任务)”作业。注意，作业通常与高级别任务相关联，因此作业可以与多个进程相关联。例如，在布局上执行光学临近校正(OPC)可以是一项任务。为了执行此任务，系统可以调度“OPC作业”，其可以包括产生多个进程和/或线程。当进程产生另一进程时，操作系统可以存储它们的父子关系。因此，系统可以首先确定计算机系统上各种进程的资源使用，然后使用父子关系信息来确定作业的资源使用。

系统继而可以通过对资源使用信息应用资源使用规则来确定资源使用违反(步骤406)。

接着，系统可以将资源使用违反存储在违反数据库中(步骤408)。例如，如果进程监测数据指示特定进程正在使用比分配给该进程的处理器时间更多的处理器时间，则系统可以创建违反，其包括进程标识符以及该进程违反的资源使用规则。接着，系统可以在违反数据库中存储此违反。

系统继而可以通过对存储在违反数据库中的一系列违反应用校正动作规则来确定校正动作(步骤410)。

对一系列违反应用校正动作规则使得系统能够更好地选择校正动作。具体地，违反数据库可以跟踪特定作业或进程过去曾经犯下的各种违反，其使得系统能够基于违反的“状态”来定义复杂的校正动作规则。

例如，如果系统检测到批处理作业是空闲的，则系统可以增加对此批处理作业的“空闲作业违反”计数。资源使用策略可以规定：如果“空闲作业违反”计数超过或等于3，则应当采取校正动作。然而，资源使用策略也可以规定：如果批处理作业开始使用资源(也即，其不再空闲)，则计数应当重置为零。因此，在此资源使用策略下，如果批处理作业空闲了两个连续的数据采集周期，并且在第三个数据采集周期期间开始使用资源，则计数在第三个数据采集周期之后将等于零。

校正动作通常可以是被设计用来校正资源使用策略违反的任何动作。示例性校正动作包括向导致一系列触发校正动作的违反的用户发送通知、向用户的管理人发送通知、以及向计算中心的系统管理员发送通知。如果不希望发送通知来校正违反，则系统可以终止引起一系列触发校正动作的违反的有害作业或有害进程。如果系统终止作业，则系统可以通知用户其作业被终止，并且提供该作业被终止的理由。

接着，系统可以执行校正动作，由此在计算中心中实施资源使用策略(步骤412)。在有些实施方式中，系统留意其用户的调度。具体地，系统可以推迟执行校正动作以给用户或管理员机会来校正问题。例如，如果因为用户没有在接收到在假期或周末期间发送给用户的警告电子邮件之后行动，系统就终止进程，则对于用户来说不太公平。因此，本发明的有些实施方式在假期和周末期间不执行校正动作，从而用户有机会校正问题。换言之，有些实施方式推迟执行校正动作，使得其在工作日执行。

图5给出了示出根据本发明一个实施方式的、用于对批处理作业应用规范规则的过程的流程图。

该过程可以开始于接收用于批处理作业的一条或多条规范规则，其规定如果批处理作业在比特定时段更长的一段时间内是空闲的，或者如果批处理作业在特定时段内还没完成，则该批处理作业违反了资源使用策略(步骤502)。

接着，系统可以接收作业监测数据，其指示作业在特定的状态已经持续了多久(步骤504)。具体地，作业监测数据可以指示该作业已经空闲了多久和/或该作业运行了多久。

系统继而可以对作业监测数据应用规范规则，以确定该作业是否已经空闲太久，或者该作业是否已经运行太久(步骤506)。如果作业已经运行太久或者如果作业已经空闲太久，则系统可以生成违反，并且将该违反存储在违反数据库中。

接着，系统可以对存储在违反数据库中的一系列违反应用规范规则，以确定是否发送通知或是否终止该批处理作业(步骤508)。

具体地，系统可以记录特定批处理作业犯下的违反数目，并且基于违反的数目来执行不同的校正动作。通过在数据库中存储这些违反，系统可以基于违反的历史而不是仅基于最近的违反来确定校正动作。例如，系统可以在每次批处理作业违反资源使用规则时发送通知。然而，如果作业违反规则超过指定的次数，则系统可以终止该作业或通过将电子邮件发送给作业所有者的管理人或发送给系统管理员来升级问题。

图6给出了示出根据本发明一个实施方式的、用于对交互式作业应用规范规则的过程的流程图。

该过程可以开始于接收用于交互式作业的一条或多条规范规则，其规定：如果交互式作业正使用超过特定数量的处理器时间或超过特定数量的存储器，则该交互式作业违反了资源使用策略(步骤602)。

接着，系统可以接收进程监测数据，其指示每个监测的进程正使用多少处理器时间和存储器(步骤604)。注意，系统可以不监测所有的进程。例如，“根(root)”所拥有的进程可以不被监测，因为它们是系统正确操作所必需的。例如，系统可以不关心自动加载器进程消耗了多少资源，只要该进程正确地操作。因此，系统可以不用为确定资源使用策略违反而监测这种进程。

系统继而可以对进程监测数据应用规范规则，以确定进程是否已经使用太多处理器时间，或者进程是否已经使用太多存储器(步骤606)。如果进程已经使用太多处理器时间或存储器，则系统可以生成违反，并且将该违反存储在违反数据库中。

接着，系统可以对存储在违反数据库中的一系列违反应用规范规则，以确定是否发送通知或是否终止该进程(步骤608)。

具体地，系统可以记录特定进程犯下的违反数目，并且基于违反的数目来执行不同的校正动作。例如，系统可以在每次进程违反资源使用规则时发送通知。然而，如果进程违反规则超过指定的次数，则系统可以终止该进程或通过将电子邮件发送给进程所有者的管理人或发送给系统管理员来将问题升级。

图7给出了示出根据本发明一个实施方式的、用于对直接登录应用规范规则的过程的流程图。

该过程可以开始，包括接收用于直接登录的一条或多条规范规则，其规定何时直接登录违反了资源使用策略(步骤702)。例如，规范规则可以规定：普通用户(相对于管理员而言)的所有直接登录都违反了策略。具体地，该规范规则可以使用例外列表来实现。系统可以确定到计算中心中的计算机系统的所有直接登录都违反资源使用策略，除非登录用户名或计算机系统在例外列表中。例外列表可以使得系统能够允许系统管理员的直接登录，该系统管理员具有合法理由直接登录到计算中心的计算机系统中。而且，例外列表可以排除计算中心中的特定计算机系统，这些特定计算机系统专门预留给特定用户以执行直接登录。

接着，系统可以接收指示任何用户是否已经直接登录到计算中心中的计算机系统的进程监测数据(步骤704)。

系统继而可以对作业监测数据应用规范规则，以确定不允许执行直接登录的用户是否已经执行了直接登录(步骤706)。如果用户违反资源使用策略而已经直接登录进入计算机系统，则系统可以将该违反存储在违反数据库中。

接着，系统可以对存储在数据库中的一系列违反应用规范规则，以确定是否发送通知或是否终止该直接登录(步骤708)。

例如，系统可以向直接登录到计算机系统中用户发送通知，并且如果该用户未在指定的时间内退出，则系统可以终止该会话。进一步地，系统可以确定当用户登录进入时该用户产生的进程的列表，并且还终止那些进程。

图8示出了根据本发明一个实施方式的、用于在计算中心中实施资源使用策略的装置。

设备802可以包括可以经由有线或无线通信信道相互进行通信的多个装置。设备802可以使用一个或多个集成电路来实现，并且其可以集成在计算机系统中，或者其可以实现为能够与其他计算机系统通信的单独设备。具体地，设备802可以包括接收装置804、接收装置806、确定装置808、存储装置810、确定装置812，以及执行装置814。

在有些实施方式中，接收装置804可以配置用于接收规范规则，接收装置806可以配置用于接收资源使用信息，确定装置808可以配置用于通过对资源使用信息应用资源使用规则来确定资源使用违反，存储装置810可以配置用于在违反数据库中存储资源使用违反，确定装置812可以配置用于通过对存储在违反数据库中的一系列违反应用校正动作规则来确定校正动作，以及执行装置814可以配置用于执行校正动作，由此在计算中心中实施资源使用策略。

前述描述的目的不在于穷举或者将此设备限制到所公开的形式。因此，对于本领域的技术人员来说多种修改和变形将是明显的。例如，在有些实施方式中，设备可以不包括接收装置806和确定装置812。相反，接收装置804可以配置用于接收规范规则以及资源使用信息，并且确定装置808可以配置用于确定资源使用违反以及校正动作。

结论

在此具体实施方式中描述的数据结构和代码通常存储在计算机可读存储介质上，其可以是能够存储供计算机系统使用的代码和/或数据的任何设备或介质。计算机可读存储介质包括但不限于易失性存储器、非易失性存储器、磁和光存储器件(诸如，盘驱动器、磁带、CD(压缩盘)、DVD(数字通用盘或数字视频盘))，或能够存储计算机可读介质的现在已知或日后研发的其他介质。

在具体实施方式部分中描述的方法和过程可以实现为代码和/或数据，其可以存储在如上所述的计算机可读存储介质中。当计算机系统读取并执行存储在计算机可读存储介质上的代码和/或数据时，计算机系统执行实现为数据结构和代码并存储在计算机可读存储介质内的方法和过程。

此外，以下描述的方法和过程可以包括在硬件模块中。例如，硬件模块可以包括但不限于专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和现在已知或日后研发的其他可编程逻辑器件。当硬件模块被激活时，硬件模块执行包括在硬件模块内的方法和过程。

仅示出示意性和描述的目的给出了本发明实施方式的前述描述。它们并不是穷举性的，也无意将本发明限于所公开的形式。因此，对于本领域技术人员而言，很多修改和变体是显然的。另外，以上公开并不意在限制本发明。本发明的范围由所附权利要求来限定。