由与物理机器相关地分析虚拟机器性能问题原因的方法和系统

摘要

根据一个示范性实施例，一种用于分析根本原因的方法施加应用级依赖发现和异常检测，以找到一个或多个虚拟机器（VM）中的应用级依赖，并生成带有异常的应用级拓扑；并且然后将该带有异常的应用级拓扑转换为VM级依赖，并且经由物理和虚拟资源映射将该VM级依赖转换到物理机器级（PM级）依赖，并且最终生成一组事件集。通过对该组事件集区分优先次序来生成优先次序化的事件列表。

说明书

技术领域

本公开一般涉及一种用于由与物理机器相关地分析虚拟机器当中的性 能问题的根本原因的方法和系统。

背景技术

网络通信和硬件/软件技术中的快速发展带来大量的电子服务以丰富人 类的日常生活。随着虚拟技术的发展和进步，可以将这些服务移动到虚拟机 器上运行。一些技术可以提供新的经济模型，新的经济模型提供诸如计算能 力、数据存取和网络变换作为效用。例如，一种模型亦称为可以计算领域中 的基础设施即服务（IAAS）。作为拥有物理数据中心的IAAS提供商，绝对 需要监视整个物理数据中心以知晓所述设备的条件，例如冷却系统和供电 /UPS系统或者所述物理设备的使用，并且很多现有的监视系统，例如Zenoss 和WhatsUp可以支持这些要求。

现有技术之一公开了集成在小规模数据中心上运行的Xen管理程序中 以识别VM间的依赖的LWT方法。另一技术引入了使用虚拟化的服务器合 并（consolidate）的概念。为了满足服务级别协议（SLA），该技术基于用 于当检测到性能问题时在一组物理机器内迁移虚拟机器的算法。又另一种技 术提供了一种虚拟环境中用于应用性能控制和动态资源分配的系统。此技术 预测满足应用级性能要求的资源需求。又另一种技术公开了一种基于TCP/IP 模式的警报关联算法，并且所述警报关联（或事件关联）是网络管理系统中 的关键功能。此技术根据每一种TCP/IP协议类型的标识符，例如TCP中的 端口号对所述警报分类，并且然后聚集所述警报以找到根本原因警报（root cause alarm）。

存在一些关于应用性能问题的根本原因分析的工作。这些技术之一提到 监视与多个组件的事务可以收集组件级信息。并且，对于超过门限的事务， 可以分析从独立组件收集的数据以找到性能问题的可能的根本原因。另一种 技术公开了一种包括代理组件的监视系统，该监视系统监视并报告性能参 数，例如响应时间，并且可以使用基于网络的服务器来显示所收集的数据。 此外，根本原因分析系统应用统计算法来检测特定参数中的性能下降，并且 使用一些预定义的参数依赖规则来使该性能下降与问题的根本原因相关。又 在另一种技术中，从用于事务的代理处聚集的性能度量用于与基线度量比较 以自动检测异常，并且监视系统报告可接受范围之外的事务的组件作为根本 原因。

一种技术公开了一种名为应用级依赖发现和维护的中心服务器，并且使 用在管理程序之内集成的系统模块来收集线程粒度中的应用轨迹和用于特 定应用的应用级依赖图。在图1中示出带有浏览器的根节点、开始时间和结 束时间的应用轨迹的例子。其中图1中的应用轨迹100从浏览器1开始，并 且如果应用A与另一应用B具有数据交换并且应用A是A到B连接的客户 端侧，那么应用A依赖于应用B。例如，如果负载均衡器（应用A）与应用 服务器2（应用B）具有数据交换，那么负载均衡器依赖于应用服务器2。 换言之，应用轨迹可以相当于轨迹的静态视图。可以将虚拟机器或物理机器 的信息添加在应用轨迹上以帮助理解应用部署。

以上工作或技术要么仅关心物理机器的使用和工作负载而忽略对于虚 拟机器资源分配的硬件问题，要么仅关心物理机器上的硬件问题或性能问题 而没有结合虚拟化的概念。然而，现在的监视系统或网络监视系统（NMS） 可能不诊断在物理数据中心上运行的虚拟机器当中的性能问题，并且这些性 能问题的根本原因可能来自物理数据中心的硬件问题，例如错误很多 （buggy）的磁盘或者交换机过载等等。因此，解决虚拟机器当中的性能问 题很重要。

发明内容

本公开的示范性实施例可以提供一种由与物理机器相关地分析虚拟机 器中的性能问题的根本原因的方法和系统。

一个示范性实施例涉及一种适应于物理数据中心的方法，用于由与物理 机器（PM）相关地分析虚拟机器（VM）当中的性能问题的根本原因。该方 法包括：施加应用级依赖发现和异常检测以找到在物理数据中心中的多个 PM上运行的一个或多个VM中的应用级依赖，并生成带有异常的应用级拓 扑；将该带有异常的应用级拓扑转换到VM级依赖；经由物理和虚拟资源映 射将该VM级依赖转换PM级依赖，并生成一组事件集；并且通过优先次序 化该组事件集来生成优先次序化的事件列表。

另一示范性实施例涉及一种用于由与物理机器（PM）相关地分析虚拟 机器（VM）当中的性能问题、的根本原因的系统。该系统可以适应于物理 数据中心，并且可以包括应用级异常检测模块、提取模块以及事件生成和优 先次序化模块。应用级异常检测模块被配置为找出在物理数据中心中的多个 PM上运行的一个或多个VM中的应用级依赖，并且生成带有异常的应用级 拓扑。提取模块被配置为从带有异常的应用级拓扑提取VM级依赖，然后将 VM级依赖转换到PM级依赖。事件生成和优先次序化模块被配置为获得PM 通信拓扑，通过使用该PM通信拓扑生成一组事件集，并且通过对该组事件 集区分优先次序而生成优先次序化的事件列表。

附图说明

图1示出应用轨迹的例子；

图2示出根据示范性实施例的、用于由与物理机器相关地分析虚拟机器 当中的性能问题的根本原因的方法的操作流；

图3示出根据示范性实施例，用于接收/响应PDCM请求的、在物理设 备中安装的代理的示意图；

图4示出根据示范性实施例的虚拟数据中心中的示范性应用依赖拓扑的 示意图；

图5示出图解根据示范性实施例的所述应用在其上运行的虚拟机器和在 图4的应用级依赖图中检测的异常的示意图；

图6示出图解根据示范性实施例的用于图5的虚拟机器和虚拟卷当中的 通信的示意图；

图7示出图解根据示范性实施例的从图6的虚拟机器级到物理机器级的 提取的示意图；

图8示出图解根据示范性实施例的物理数据中心中的物理机器和物理网 络存储器当中的通信的示意图；

图9示出根据示范性实施例的彼此进行通信的两个示范性物理机器之间 的示范性路由路径，以及所得到的对应事件；

图10示出根据示范性实施例的、用于图8的物理机器通信拓扑的事件 集的示范性组；

图11示出根据示范性实施例的、来自图10的事件集组的示范性优先次 序化事件列表；

图12示出根据示范性实施例的用于根本原因分析的事件优先次序化的 操作流；

图13示出根据示范性实施例的、用于由与物理机器相关地分析虚拟机 器当中的性能问题的根本原因的系统。

具体实施方式

下面，将参照附图详细描述示范性实施例，以便由本领域普通技术人员 容易地实现该示范性实施例。可以在各种形式中具体化本发明构思，而不限 于此处阐述的示范性实施例。为了清楚省略公知部分的描述，并且通篇相似 的参考标号指代相似的元素。

示范性实施例公开了一种用于由与物理机器相关地分析虚拟机器当中 的性能问题的根本原因的技术。在本公开中，使用基础设施即服务（IAAS）， 其中一个或多个虚拟机器可以在装备有诸如物理机器、网络存储器和交换机 的物理设备的至少一个数据中心上运行，并且该数据中心可以指物理数据中 心。考虑如下示范性情形。作为从该物理数据中心操作员租借资源以创建他 /她自己的虚拟数据中心的用户的虚拟数据中心操作员，发现他/她的虚拟数 据中心中的应用性能问题。应用性能问题可以是，但不限于，从网站的响应 时间非常长。在该情形中，示范性实施例可以监视其中运行了大量虚拟机器 的物理数据中心中的物理设备，并且通过使性能问题与硬件问题相关来弄清 同一虚拟数据中心中的虚拟机器当中的性能问题的根本原因。

根据示范性实施例，使在一个或多个物理机器上运行的虚拟机器当中的 性能问题与所述物理机器的硬件问题相关，可以包含诸如应用级依赖发现和 异常检测、物理和虚拟资源映射、用于事件产生和合并的硬件监视、用于根 本原因分析的事件优先次序化流程图等等的分步骤（component）。换言之， 所述示范性实施例将虚拟机器上的性能问题转换为物理机器的硬件问题，用 于帮助弄清并解决根本原因，并且通过使用应用级依赖、物理/虚拟资源映射 和网络路由信息可以实现根本原因分析技术。

图2示出根据一示范性实施例的、用于由与物理机器相关地分析虚拟机 器当中的性能问题的根本原因的方法的操作流。参照图2，该方法可以施加 应用级依赖发现和异常检测来找出一个或多个虚拟机器（VM）中的应用级 依赖（步骤210），并生成带有异常的应用级拓扑，并向VM级依赖转换该 带有异常的应用级拓扑（步骤220）。该方法然后执行物理和虚拟资源映射 以将VM级依赖转换为物理机器级依赖，并最终生成一组事件集（步骤 230）。该方法还可以通过对该组事件集区分优先次序来进一步生成优先次 序化的事件列表（步骤240）。图2中所示方法的操作流可以向物理数据中 心的管理员推荐客户的虚拟机器当中的性能问题的根本原因。以下进一步描 述了用于所包含的每一步骤的细节。

在步骤210中，可以使用称为ADDM（应用级依赖发现和维护）的中 心服务器和在管理程序中集成的系统模块，来收集用于特定应用的线程粒度 中的应用轨迹和应用级依赖地图。可以在图1中示出具有浏览器的根节点、 等于0:00的开始时间和等于4:00的结束时间的应用轨迹的例子。可以将虚 拟机器或物理机器的信息添加在应用轨迹上以帮助理解应用部署。例如在所 公开的实施例中，可以获得施加后向踪迹、延迟时间或与每一跳相关的延 迟。在正常的环境下，它可以多次收集用于整个应用的开始和结束时间间隔， 以找出与每一跳相关的平均延迟——这指的是训练阶段。换言之，在训练阶 段可以找出应用轨迹上与每一跳相关的平均延迟。通过添加作为容差的相应 的δ时间段到与每一跳相关的平均延迟（或者就使用与每一跳相关的平均延 迟），可以产生每一跳的基线延迟。当请求ADDM服务器来收集用于整个 特定应用的当前响应时间时，该ADDM服务器还可以检查以确定与每一跳 相关的平均延迟是否超过它的对应基线延迟。将延迟超过它们对应的基线延 迟的这些跳检测作为异常。

在步骤220中，虚拟机器的物理资源使用可以包括计算能力、数据存取 和网络传输。在计算能力方面，所公开的实施例可以使用储存库（repository） 来保存关于特定的虚拟机器在哪个物理机器上运行的信息。当创建虚拟机器 时或者迁移虚拟机器之后，无论使用何种虚拟机器创建/迁移算法（诸如资源 分配算法），都可以知道该虚拟机器在哪个物理机器上运行。在数据存取方 面，所公开的实施例可以使用储存库来保存关于虚拟卷附属于哪个虚拟机器 的信息，并且使用储存库来保存关于虚拟卷涉及哪些网络存储设备的信息。 换言之，当创建虚拟卷并且然后将它们附属于特定的虚拟机器时，还可以在 所述储存库中保存关于特定的虚拟机器使用哪些虚拟卷以及这些卷位于哪 些网络存储器的信息。此外，保存此信息在所述储存库中可以与任何虚拟化 算法结合。

另一方面，在网络传输方面，所公开的实施例可以使用至少一个储存库 来保存关于如何向因特网传送虚拟机器的数据或者如何在同一虚拟数据中 心中的两台虚拟机器之间传送数据的信息。为了知道答案，所公开的实施例 保存多个物理机器的每一对之间的路由路径的信息，和所述多个物理机器的 每一个和一个或多个物理设备的每一个之间的至少一条路由路径的信息。可 以在至少一个储存库中保存该信息。物理设备可以是，但不限于网关或诸如 交换机、物理存储器等的网络设备。一对物理机器之间的路由路径意思是物 理机器沿着该路径向另一物理设备发送分组/帧。因为已知该虚拟机器在哪些 物理机器上运行，所以可以知道两台虚拟机器之间如何传送数据。

如图3中所示，根据示范性实施例，可以在每一个被监视的物理设备中 安装代理用于接收/响应物理数据中心管理（PDCM）请求。该代理可以收集 物理设备信息，并在对应的储存库中保存该信息。该物理设备信息可以是， 但不限于制造商、CPU/存储利用、空闲分区空间、接口的比特率/误比特率 和其它信息。该代理可以通过IPMI、SMART或者甚至分析系统记录和诸如 “top”或“xentop”的系统命令的结果来得到物理信息。当该代理从诸如 PDCM服务器300的服务器的监视模块310接收请求时，它可以向该PDCM 服务器300发回对应的值以得到在该PDCM服务器的物理设备信息。物理 数据中心（PDC）的管理员可以设置探测时段，例如350秒，来向该PDC 中的每一物理设备发送请求，并且每个探测时段（例如350秒）得到与每一 物理设备对应的最后的值（例如在物理机器PM₁，CPU温度50°C）。

在步骤230中，它也可以设置不同的门限，用于与不同物理设备对应的 不同的最后值。当所获得的值超过它们对应的给定门限时，诸如PDCM服 务器的服务器可以生成用于对应物理设备的对应事件以通知物理数据中心。 此外，可以使用PING请求以检查物理设备是否可达到。已经使所述监视模 块商业化，例如Zenoss或者WhatsUp。所产生的一些事件可以具有关联， 其中一组事件可以具有同一根本原因。产生相关联的事件之后，所公开的示 范性实施例可以施加现有的算法来合并该组事件。

在步骤240中，根据事件优先次序化算法可以对该组事件集区分优先次 序，稍后将描述如下。在优先次序化的事件列表中，具有更靠前的顺序的事 件可能具有较高的可能性成为该性能问题的根本原因，并且应该比具有更靠 后顺序的事件更快地解决它们。合并步骤210~240中包含的以上分步骤，以 下示出用于示范性应用的整体操作流，以通过使性能问题与硬件问题关联来 分析同一虚拟数据中心中的虚拟机器当中的性能问题的根本原因。

根据步骤210，ADDM服务器可以用于被请求以得到虚拟数据中心中的 应用的当前延迟并检测异常。所述虚拟数据中心中的示范性应用的应用依赖 拓扑如图4中所示。从图4的应用依赖拓扑，该ADDM服务器还弄清所述 应用在哪些虚拟机器上运行，并且进行检查以确定所获得的针对所述应用当 中的每一跳的当前延迟是否超过它的对应基线。图5示出根据示范性实施例 图解所述应用在其上运行的虚拟机器和在应用级依赖图中检测的异常的示 意图。例如，针对从虚拟机器VM₁中的浏览器到虚拟机器VM₂中的DNS服 务器的跳跃，检测到用虚线箭头表示的异常，并且在该应用级依赖图中检测 到四个异常。可以向PDCM服务器发送用于所述四个异常的关于用VM₁、 VM₂、VM₃和VM₄表示的对应虚拟机器的信息。

根据步骤220，从所述储存库可以获得针对VM的所使用的虚拟卷，并 且从应用级提取VM级。因此，如图6中所示，找出每一虚拟机器VM₁、 VM₂、VM₃和VM₄的附属虚拟卷，并且在该PDCM服务器中从应用级的视 点提取虚假机级的视点。此外，任何两个虚拟机器，比如VM_A和VM_B彼此 进行通信，意味着在它们上面运行的应用彼此进行通信。例如，图6中的 VM₂和VM₃彼此进行通信。原因是VM₂上的网络服务器对VM₃上的负载均 衡器进行通信。此外，认为这两个虚拟机器彼此进行通信，因此如图6中所 示在VM₂和VM₃之间存在链接。虚拟机器和卷之间的链接指示该卷附属于 该虚拟机器。例如，卷2附属于虚拟机器VM₂。

根据步骤230，可以从所述储存库获得关于物理机器和诸如存储器设备 的物理设备的信息，并且从虚假机级提取物理机级。因此，进一步从图6中 的虚拟机器级的视点提取物理机器级的视点。换言之，可以从至少一个储存 库找到所述虚拟机器或虚拟卷运行在或保存在哪些物理机器或物理存储器 上。图7示出图解根据示范性实施例从图6的虚拟机器级到物理机器级的提 取的示意图。任何两个物理机器，比如PM_A和PM_B彼此进行通信，意味着 在它们上面运行的虚拟机器彼此进行通信。例如，图7中的PM₁和PM₃彼 此进行通信，因为PM₁中的VM₂和PM₃中的VM₃彼此进行通信。物理机器 和物理存储器彼此进行通信，意味着在该物理机器上运行的虚拟机器和附属 于该物理存储器的卷彼此进行通信。例如，PM₃中的VM₃和物理存储器2 中的卷3彼此进行通信。

图7的提取过程之后，如图5中的虚拟数据中心中的初始的应用级依赖 被转换成物理数据中心中的物理机器级依赖。图8示出图解根据示范性实施 例的物理数据中心中的物理机器和物理网络存储器当中的通信的示意图。其 中，在该PM通信拓扑800中，两个物理机器之间的链接意味着该两个物理 机器彼此进行通信，并且一个物理机器和一个物理存储器之间的链接意味着 该物理机器和该物理存储器彼此进行通信。

如前所述，所公开的实施例可以使用至少一个储存库来保存多个物理机 器的每一对之间的路由路径的信息，和所述多个物理机器的每一个和一个或 多个物理设备的每一个之间的至少一条路由路径的信息。因此，对于被认为 彼此进行通信的任何两个物理机器，所公开的示范性实施例可以从所述储存 库得到该两个物理机器之间的路由路径（即数据传输路径），并且得到相应 的事件。例如，图9示出根据示范性实施例的彼此进行通信的两个示范性物 理机器（比如PM_A和PM_B）之间的示范性路由路径910，以及所得到的对应 事件920。如图9中所示，从PM_A到PM_B的路由路径910经过交换机A、 交换机B以及然后的交换机C。收集与该数据传输路径中包含的物理设备相 关的（已经合并了的）所有当前事件之后，形成PM_{A_}PM_B对的事件集。该 PM_{A_}PM_B对的事件集包括PM_A的事件、交换机A的事件、交换机B的事件、 交换机C的事件和PM_B的事件。

因此，对于被认为彼此进行通信的任何两个物理机器，所公开的示范性 实施例可以得到对应的事件集。因此，通过使用物理机器通信拓扑可以形成 一组事件集。图10示出根据示范性实施例的、用于图8的物理机器通信拓 扑800的事件集的示范性组1000。在图10中，该事件集组1000可以包括 PM_{1_}PS₁对的事件集、PM_{1_}PM₃对的事件集、PM_{2_}PM₃对的事件集、PM_{3_}PS₂对的事件集和PM_{2_}PS₃对的事件集，其中PM表示物理机器而PS表示物理 存储器。正如可以看出的，该组事件集中的事件集数目等于物理机器通信拓 扑中链接的数目。换言之，PM级依赖是PM通信拓扑，并且通过使用PM 通信拓扑可以产生该组事件集。

根据步骤240，可以进一步根据事件优先次序化算法对一组事件集区分 优先次序。根据事件优先次序化算法的一个示范性实施例，对于该组事件集 中的事件，当它包含在两个事件集中时，定义针对此事件的支持计数（support count）。可以用该事件在其中出现的事件集的数目来定义用于事件的支持计 数。因此，可以计算该组事件集中每个事件的支持计数，然后按支持计数的 递减顺序对所有对应事件排好序。当存在具有相同的支持计数的两事件时， 它可以根据事件严重性对它们排序。如图11中示出示范性优先次序化事件 列表1100，可以进一步将其发送到物理数据中心。

如图11中所示，该优先次序化的事件列表1100中的每个事件可以关联 诸如物理机器或物理设备的设备，并且具有与到该设备的硬件问题对应的关 联消息。如前所述，在该列表中具有更靠前顺序的事件可以具有更高的可能 性成为特定的性能问题的根本原因。并且最好是早于具有更靠后顺序的事件 的特定性能问题，解决该事件的特定性能问题。例如，与称为交换机A的设 备关联的事件A具有CPU利用率超过85%的消息，并且CPU利用率超过 85%的性能问题具有最高的可能性成为根本原因。

以上用于对该组事件集1000区分优先次序的原理是：通常的硬件问题， 例如交换机的过载可能是同一虚拟数据中心中的虚拟机器当中对应性能问 题的瓶颈，并且最高优先地解决它们可以加速提高性能。对该组事件集中事 件的超过次数计数是优先次序化的基本思想。用于优先次序化一组事件集的 算法可以变化。例如，它可以将事件严重性和设备类型考虑到用于每一类事 件的特定权重（而不是1）上，并且通过使用加权的支持计数来对所述事件 进行优先次序化。

因此，根据示范性实施例，可以如图12中总结用于根本原因分析的事 件优先次序化的操作流，其可以包括：得到带有异常的应用级拓扑的应用级 异常检测（步骤1210）；得到VM级依赖的从应用级到虚拟机器级（VM级） 的第一提取过程（步骤1220）；得到PM级依赖的从VM级到PM级的第二 提取过程（步骤1230）；从该PM级依赖生成一组事件集（步骤1240）； 以及以产生优先次序化的事件列表的事件优先次序化（步骤1250）。其中， 至少一个储存库可以用于保存所述两个提取过程期间PM/VM映射信息并产 生所述事件集组。监视模块可以用于生成该组事件集的每个事件。

用于根本原因分析的公开的示范性实施例可以适应于具有物理机器、一 个或多个网络存储器以及一个或多个网络设备的物理数据中心（PDC）。可 以使用物理数据中心管理模块以连续地监视该物理机器、网络存储器以及网 络设备，并生成针对硬件组件的事件以分析与所述硬件组件对应的性能问 题。可以使用至少一个储存库以保存虚拟机器在哪个物理机器上运行、虚拟 卷附属于哪个虚拟机器、虚拟卷与哪个（些）网络存储器有关以及任何两个 物理设备之间的路由路径的信息。

因此，可以如图13中示出用于由与物理机器关联地分析虚拟机器当中 的性能问题的根本原因的系统的一个示范性实施例。参照图13，该系统1300 可以适应于物理数据中心，并且可以包括应用级异常检测模块1310、提取模 块1320以及事件生成和优先次序化模块1330。应用级异常检测模块1310 被配置为找出在物理数据中心中的多个物理机器（PM）上运行的一个或多 个虚拟机器（VM）中的应用级依赖，并且生成带有异常的应用级拓扑。提 取模块1320被配置为从带有异常的应用级拓扑提取VM级依赖，然后将VM 级依赖转换到PM级依赖。事件生成和优先次序化模块1330被配置为得到 PM通信拓扑，通过使用该PM通信拓扑生成一组事件集，并且通过对该组 事件集区分优先次序而生成优先次序化的事件列表。

可以将该系统1300集成到物理数据中心管理系统模块中，以连续地监 视该物理数据中心中的多个PM和一个或多个物理设备。物理设备可以是， 但不限于网关或诸如交换机、物理存储器等的网络设备。该系统1300可以 进一步包括至少一个储存库来保存所述多个物理机器的每一对之间的路由 路径的信息，和所述多个物理机器的每一个和一个或多个物理设备的每一个 之间的至少一条路由路径的信息。提取模块1320可以从该储存库得到用于 VM的使用的虚拟卷的信息，用于从应用级提取VM级，并且可以从该储存 库得到所述多个PM和一个或多个物理存储器的信息，用于从所述VM级依 赖提取PM级依赖。事件生成和优先次序化模块可以从该储存库得到所述多 个PM的每对PM之间的路由路径的信息，用于生成对应于该路由路径上多 个物理设备的多个事件。之前已经描述了用于对该组事件集区分优先次序的 示范性算法，并且在这里省略。

总之，所述示范性实施例提供了用于分析根本原因的技术，通过使用应 用级依赖、物理/虚拟资源映射和网络路由信息实现该技术。该技术施加应用 级异常检测以得到带有异常的应用级拓扑，执行（从应用级到VM级的）提 取过程以得到VM级依赖，和执行（从VM级到PM级的）提取过程以得到 PM通信拓扑，然后从该PM通信拓扑生成一组事件集。并且，通过执行优 先次序化算法形成优先次序化的事件列表。

对本领域技术人员来说，显然可以对所公开的实施例进行各种修改和变 化。旨在认为本说明书和例子仅是示范性的，本公开的真实范围由下面的权 利要求及其等价内容指示。