在智能数据中心中使用增强现实对物理机器状况的实时检查

摘要

一种用于使用增强现实来促进跨物理机器的状况检查的系统，该系统生成关于跨物理系统的应用结构的信息的叠加，这些物理系统诸如位于数据中心中的物理系统。此外，用于使用增强现实来促进跨物理机器的应用结构检查的系统使用通过摄像头捕获的成像来叠加关于应用结构的这一信息，该摄像头是诸如与平板电脑类型或智能电话类型的计算设备相关联的摄像头。

说明书

技术领域

本公开概括地涉及计算机和类似的技术领域，并且更特别地涉 及在这一领域中使用的软件。进一步更特别地，本公开涉及使用增 强现实的跨物理机器的实时状况检查。

背景技术

随着使用计算机来主控商业应用、因特网网站等的爆炸式增长， 建立更大的数据中心来容纳计算机和相关硬件的需求也已经呈指数 式增长。数据中心(也称为服务器农场)能够容纳成千上万的计算 机和相关设备，诸如联网设备等。数据中心或者服务器农场是用以 容纳大量计算机系统和相关设备的设施。例如，商业组织可以在一 个物理位置容纳它们的全部或某些计算机服务器，以高效地管理这 些计算机服务器。数据中心中的计算机服务器典型地经由因特网或 广域网(WAN)或局域网(LAN)或任何其他类似类型的介质，来 耦合到计算机服务器的用户。这些计算机服务器通常用于主控关键 的商业应用。因为这些商业组织的商业运作严重地依赖于计算机服 务器的连续可用性，通常会特别注意管理数据中心以防止或最小化 服务器宕机次数。数据中心中的计算资源的信息技术(IT)管理对 于确保计算资源的高可用性来说是重要的。

与数据中心有关的一个问题是，IT支持人员并不必然知道那些 正在数据中心中的特定设备上执行应用的知识。在特定的已知数据 中心中，支持人员可能具有对静态操作仪表盘(dashboard)的访问 权限以获得与这一类型的数据有关的信息。此外，在特定的已知数 据中心中，IT支持人员经由图形用户接口(GUI)或命令行接口(CLI) 检查状况。此外，诸如IT架构师和经理之类的数据中心IT人员在 查看数据中心中装配的物理机器时，可能不了解什么应用堆栈已经 以虚拟的或物理的模式分派给物理机器。

发明内容

本发明包括但不限于用于使用增强现实来促进跨物理机器的状 况检查的方法、系统和计算机可读介质。

更具体的，各种实施例中，该用于使用增强现实来促进跨物理 机器的状况检查的系统生成关于跨物理系统的应用结构的信息的叠 加，这些物理系统诸如位于数据中心中的物理系统。此外，该用于 使用增强现实来促进跨物理机器的应用结构检查的系统使用通过摄 像头捕获的成像来叠加关于状况的这一信息，该摄像头是诸如与平 板电脑类型或智能电话类型的计算设备相关联的摄像头。此外，该 用于使用增强现实来促进跨物理机器的应用结构检查的系统经由平 板电脑类型或智能电话类型的计算设备的显示器，显示关于状况和 相关联的物理系统的信息。在特定实施例中，成像可以是实时的。 当IT支持人员实际上正在查看数据中心中的一个设备或多个设备 时，通过用所显示的信息进行叠加，很容易连同关于被查看的物理 系统状况的信息一起经由显示设备获得和显示该一个设备或多个设 备的图像。物理设备的图像与关于物理系统状况的信息的组合称为 物理系统的增强现实。因此，IT支持人员能够访问一个物理设备或 多个物理设备，并且获得关于物理系统和状况的详细信息。这样的 系统提供了一种自然直观的系统使得IT人员可以监控系统。

此外，在特定的实施例中，该用于使用增强现实来促进跨物理 机器的状况检查的系统定义当前在以虚拟的和/或云计算环境中的物 理硬件上执行的软件堆栈的表示。此外，在特定实施例中，该用于 使用增强现实来促进跨物理机器的状况检查的系统定义关于物理安 装的硬件环境的信息的表示。此外，在特定实施例中，当接近摄像 头所对准的物理设备时，计算设备连续地获得关于物理设备的信息。 此外，在特定实施例中，计算设备随后经由该物理设备的唯一标识 符(ID)(诸如在物理机器上可见的物理设备的快速响应(QR)类 型码)，来识别正在查看的物理机器。该用于使用增强现实来促进 跨物理机器的状况检查的系统随后访问监控软件，并且获得关于物 理设备状态、在物理设备上执行的应用以及这些应用的状态的数据。 此外，在特定实施例中，正在查看的物理设备是资产的数据中心池 的正式注册的端点，从而使得能够针对内部软件堆栈获得与物理设 备相关联的信息。该用于使用增强现实来促进跨物理机器的状况检 查的系统随后使用这一信息来在对经由计算设备观察到的内容的图 像上呈现叠加并显示所获得的数据。

更具体地，在一个实施例中，本公开涉及， 在权利要求确认了以后再补全

在以下的详细书面描述中，本公开的上述内容以及其他目的、 特征、优点将会变得显然。

附图说明

当结合以下附图考虑以下详细描述时，可以理解本公开的选定 实施例及其大量目的、特征和所获得的优点，其中：

图1示出了本公开可以在其中实现的示例性数据处理系统。

图2示出了智能电话或平板电脑类型的数据处理系统的框图。

图3示出了用于使用增强现实来促进跨物理机器的状况检查的 系统的框图。

图4示出了用于使用增强现实来促进跨物理机器的状况检查的 系统的操作的流程图。

图5示出了用于使用增强现实来促进跨物理机器的状况检查的 系统所生成的表示的示例性图形视图。

具体实施方式

公开了一种用于使用增强现实来促进跨物理机器的状况检查的 方法、系统和计算机可读介质。本领域普通技术人员将会理解，本 公开可以实现为方法、系统或计算机程序产品。相应地，本公开的 实施例可以以完全硬件、完全软件(包括固件、驻留软件、微代码 等)或结合了软件和硬件的实施例来实现。在此可以将这些各种实 施例一般地统称为电路、模块或系统。另外，本公开可以采取计算 机可读存储介质上的计算机程序产品的形式，该计算机可读存储介 质具有包含在该介质中的计算机可读程序代码。

可以采用任何合适的计算机可用或计算机可读介质。该计算机 可用或计算机可读介质例如可以是但不限于电子的、磁的、光的、 电磁的、红外的、或半导体的系统、装置、设备或传播介质。计算 机可读介质的更具体示例(非穷举列表)可以包括如下各项：具有 一根或多根导线的电连接、便携式计算机磁盘、硬盘、随机存取存 储器(RAM)、只读存储器(ROM)、可擦除式可编程只读存储器 (EPROM或闪存)、光纤、便携式压缩光盘-只读存储器(CD-ROM)、 光存储设备、诸如支持因特网或内网的那些传输介质或者磁存储设 备。在本文档的上下文中，计算机可用或计算机可读介质可以是包 含、存储、传送、传播、传输由指令执行系统、装置、设备使用或 结合指令执行系统、装置或设备而使用的程序的任何介质。计算机 可用程序代码可以使用任何合适的介质来传送，该介质包括但不限 于因特网、有线线路、光纤电缆、射频(RF)等。

用于执行本公开的操作的计算机程序代码可以用诸如Java、 Smalltalk、C++之类的面向对象编程语言来编写。然而，用于执行本 公开的操作的计算机程序代码还可以用诸如C编程语言或类似的编 程语言之类的常规的面向过程的编程语言来编写。程序代码可以作 为独立的软件包完全在用户计算机上执行、部分在用户计算机上执 行，部分在用户计算机上且部分在远程计算机上执行，或者完全在 远程计算机或服务器上执行。在后一种场景中，远程计算机可以通 过局域网(LAN)或广域网(WAN)连接到用户计算机，或者可以 进行到外部计算机的连接(例如，通过使用因特网服务提供者的因 特网)。

下面参考根据本公开的实施例的方法、装置、系统和计算机程 序产品的流程图示和/或框图来描述本公开的实施例。应当理解，流 程图示和/或框图中的每一个框以及流程图示和/或框图中的框的组 合可以由计算机程序指令来实现。可以将这些计算机程序指令提供 给通用计算机、专用计算机或其他可编程数据处理装置的处理器以 产生机器，从而使得指令在经由计算机或其他可编程数据处理装置 的处理器执行时，产生用于实现在流程图和/或框图的一个或多个框 中指定的功能/动作的装置。

还可以将这些计算机程序指令存储在计算机可读存储器中，该 计算机可读存储器能够引导计算机或其他可编程数据处理装置以特 定方式运行，从而使得存储在计算机可读取存储器中的指令产生包 括指令装置的产品，该指令装置实现在流程图和/或框图的一个或多 个框中指定的功能/动作。

还可以将计算机程序指令加载到计算机或其他可编程数据处理 装置中，以便使得在计算机或其他可编程装置上执行一系列的操作 步骤以产生计算机实现的处理，从而使得在计算机或其他可编程装 置上执行的指令提供用于实现在流程图和/或框图的一个或多个框中 指定的功能/动作的步骤。

图1示出了本公开可以在其中使用的示例性数据处理系统102 的框图。数据处理系统102包括处理单元104，该处理单元104耦合 到系统总线106。可以控制显示器110的视频适配器108也耦合到系 统总线106。系统总线106经由系统桥102耦合到输入/输出(I/O) 总线114。I/O接口116耦合到I/O总线114。I/O接口116承担与各 种I/O设备的通信，这些I/O设备包括键盘118、鼠标120、压缩光 盘-只读存储器(CD-ROM)驱动122、软盘驱动124以及闪速驱动 存储器126。连接到I/O接口116的端口的格式可以是计算机架构领 域普通技术人员已知的任何格式，包括但不限于通用串行总线 (USB)端口。

数据处理设备102能够使用偶合到系统总线106的网络接口130 经由网络128与服务提供者服务器152通信。网络128可以是诸如 因特网之类的外部网络，或诸如以太网或虚拟专用网(VPN)之类 的内部网络。使用网络128，客户端数据处理系统102能够使用本公 开来访问服务提供者服务器152。

硬盘驱动器接口132也耦合到系统总线106。硬盘驱动器接口 132与硬盘驱动器134对接。在一个优选实施例中，硬盘驱动器134 对系统存储器136进行填充，系统存储器136也耦合到系统总线106。 填充系统存储器136的数据包括数据处理系统102的操作系统108 和软件程序144。

OS 138包括外壳(shell)140，用于提供对诸如软件程序144之 类的资源的透明用户访问。一般地，外壳140是提供用户与操作系 统之间的解释器和接口的程序。更具体地，外壳140执行进入命令 行用户接口或来自文件的命令。因此，外壳140(正如在中 所称的那样)，在中也称为命令处理器，一般是操作系统 软件层级的最高级并且用作命令解释器。外壳提供系统提示，解释 由键盘、鼠标或其他用户输入介质输入的命令，并且将解释后的命 令发送给操作系统的适当的更低的级(例如内核142)。尽管外壳 140一般是基于文本的、面向行的用户接口，本公开还能够支持其他 用户接口模式，诸如图形的、声音的、手势的等。

正如所示出的，OS 138还包括内核142，内核包括用于OS 138 的功能性的较低的级，包括OS 138的其他部分和软件程序144所需 的必要服务，包括存储器管理、进程和任务管理以及鼠标和键盘管 理。

软件程序144可以包括浏览器146和电子邮件客户端148。浏览 器146包括支持万维网(WWW)客户端(即，客户端数据处理系统 102)的程序模块和指令，以使用超文本传输协议(HTTP)向因特 网发送和接收网络消息，从而支持与服务提供者服务器152的通信。 软件程序144还包括状况检查促进模块150。状况检查促进模块150 包括用于实现下文中所描述的图2到图5中所描述的处理的代码。 在一个实施例中，数据处理系统102能够从服务提供者服务器152 下载状况检查促进模块150。

状况检查促进模块150生成关于跨物理系统(诸如位于数据中 心中的物理系统)的状况的信息的叠加。此外，状况检查促进模块 152使用通过摄像头捕获的成像来叠加关于状况的这一信息，该摄像 头是诸如与平板电脑类型或智能电话类型的数据处理系统相关联的 摄像头。此外，状况检查促进模块150经由平板电脑类型或智能电 话类型的计算设备的显示器，显示关于状况和相关联的物理系统的 信息。在特定实施例中，成像可以是实时的。当IT支持人员实际上 正在查看数据中心中的一个设备或多个设备时，通过用所显示的信 息进行叠加，很容易连同关于被查看的物理系统状况的信息一起经 由显示设备获得和显示该一个设备或多个设备的图像。物理设备的 图像与关于物理系统状况的信息的组合称为物理系统的增强现实。 因此，IT支持人员能够访问一个物理设备或多个物理设备，并且获 得关于物理系统和状况的详细信息。这样的系统提供了一种自然直 观的系统使得IT人员可以监控系统。

数据处理系统102中所示出的硬件单元并非旨在穷举，而仅仅 是代表性的以强调本公开所使用的组件。例如，数据处理系统102 可以包括替代的存储器存储设备，诸如磁盘、数字多功能盘(DVD)、 伯努利盒式磁盘(Bernoulli cartridge)，等等。这些和其他的变更旨 在落在本公开的精神和范围内。

图2示出了示例性智能电话或平板电脑类型的数据处理系统(有 时也称为客户端节点)的框图。尽管示出了客户端节点的各种组件， 客户端节点的各种实施例可以包括所列出的组件的子集或未列出的 附加组件。如图2所示，客户端节点202包括DSP 202和存储器204。 如图所示，客户端节点202可以进一步包括天线和前端单元206、射 频(RF)收发器208、模拟基带处理单元210、麦克风212、听筒扬 声器214、耳机端口216、总线218(诸如系统总线或输入/输出(I/O) 接口总线)、可移除存储卡202、通用串行总线(USB)端口222、 短距离无线传输子系统224、报警器226、键盘228、液晶显示器(LCD) 230(其可以包括触摸敏感表面)、LCD控制器232、电荷耦合器件 (CCD)摄像头234、摄像头控制器236、全球定位系统(GPS)传 感器238以及可操作的耦合到蓄电单元(诸如电池242)的电源管理 模块240。在各种实施例中，客户端节点202可以包括不提供触摸敏 感屏的另一类显示器。在一个实施例中，DSP 202直接与存储器204 通信而不经过输入/输出接口218。

在各种实施例中，DSP 202或某些其他形式的控制器或中央处理 单元(CPU)进行操作，以根据存储在存储器204中或存储在包含 在DSP 202本身中的存储器中的嵌入式软件或固件来控制客户端节 点202的各种组件。除了嵌入式软件和固件之外，DSP 202可以执行 其他应用，这些应用存储在存储器204中，或经由诸如便携式数据 存储介质(如可移除存储卡220)之类的信息载体介质而可用，或经 由有线或无线网络通信而可用。应用软件可以包括将DSP 202配置 为提供期望功能性的一组编译好的机器可读指令，或者应用软件可 以是将由解释器或编译器处理以间接地配置DSP 202的高级软件指 令。

可以将天线和前端单元206提供为在无线信号与电信号之间进 行转换，使得客户端节点202能够对蜂窝网络或某些其他可用无线 通信网络或对端客户端节点202发送和接收信息。在一个实施例中， 天线和前端单元206可以包括多个天线以支持波束成形和/或多输入 多输出(MIMO)操作。本领域中普通技术人员已知，MIMO操作可 以提供空间分集，空间分集可以用于克服困难的信道条件或增加信 道吞吐量。同样，天线和前端单元206可以包括天线调谐或阻抗匹 配阻件、RF功率放大器或低噪声放大器。

在各种实施例中，RF收发器208提供频移，将接收到的RF信 号转换为基带并将基带发射信号转换为RF。在某些描述中，可以将 无线电收发器或RF收发器理解为包括其他信号处理功能性，诸如调 制/解调、编码/解码、交织/解交织、扩频/解扩频、逆快速傅里叶变 换(IFFT)/快速傅里叶变换(FFT)、循环前缀附加/去除以及其他 数据处理功能。为清楚起见，这里的描述将对这一信号处理的描述 与RF和/或无线电阶段分开，从概念上将该信号处理分配到模拟基 带处理单元210或DSP 202其他中央处理单元。在某些实施例中， 可以将RF收发器、天线和前端单元206的部分以及模拟基带处理单 元210结合到一个或多个处理单元和/或专用集成电路(ASIC)中。

模拟基带处理单元210可以提供对输入和输出的各种模拟处理， 例如对来自麦克风212和头戴式耳机216的输入和到耳机214和头 戴式耳机216的输出的模拟处理。为此，模拟基带处理单元210可 以具有用于连接到内置麦克风212和耳机扬声器214的端口，使得 客户端节点202能够用作移动电话。模拟基带处理单元210可以进 一步包括用于连接到头戴式耳机或其他不用手操作的麦克风和扬声 器配置的端口。模拟基带处理单元210可以在一个信号方向上提供 数模转换，并且在相反的信号方向上提供模数转换。在各种实施例 中，模拟基带处理单元210的至少某些功能性可以由数字处理组件 提供，例如由DSP 202或由其他中央处理单元提供。

DSP 202可以执行与无线通信相关联的调制/解调、编码/解码、 交织/解交织、扩频/解扩频、逆快速傅里叶变换(IFFT)/快速傅里 叶变换(FFT)、循环前缀附加/去除以及其他数据处理功能。在一 个实施例中，例如在正交频分复用多址(OFDMA)技术应用中，对 于发射机功能，DSP 202可以执行调制、编码、交织、扩频、逆快速 傅里叶变换、循环前缀附加，并且对于接收器功能，DSP 202可以执 行循环前缀去除、快速傅里叶变换、解扩频、解交织、解码、解调。 在其他无线技术应用中，还有其他信号处理功能和信号处理功能的 组合可以由DSP 202执行。

DSP 202可以经由模拟基带处理单元210与无线网络通信。在某 些实施例中，该通信可以提供因特网连通性，使得用户能够访问因 特网上的内容并收发电子邮件或文本消息。输入输出接口218将DSP 202与各种存储器和接口互连。存储器204和可移除存储卡220可以 提供用以配置DSP 202的操作的软件和数据。在这些接口中包括 USB接口222和短距离无线通信子系统224。USB接口可以用于为 客户端节点202充电，还可以使得客户端节点202能够用作外围设 备来与个人计算机或其他计算机系统交换信息。短距离无线通信子 系统224可以包括红外端口、蓝牙接口、遵循IEEE 802.11的无线接 口或任何其他短距离无线通信子系统，其可以使得客户端节点202 能够无线地与其他附近的客户端节点和接入节点通信。

输入/输出接口218可以进一步将DSP 202连接到报警器226， 报警器226在触发后例如通过响铃、播放音乐或振动向用户提供通 知。报警器226可以用作用于通过无声的震动或通过播放用于特定 的主叫方的特定的预先分配的音乐来提醒用户各种事件中的任何一 种的机制，这些事件诸如来电、新的文本消息以及约会提醒。

键盘228经由输入/输出接口218耦合到DSP 202以向用户提供 一种机制来进行选择、输入信息以及以其他方式向客户端节点202 提供输入。键盘228可以是全数字字母键盘或精简的数字字母键盘， 诸如QWERTY、Dvorak、AZERTY和顺序类型，或者具有与电话键 盘相关联的字母键盘的传统数字键盘。同样，输入键可以包括轨迹 轮、退出或取消键、以及其他导航或功能键，其可以向内按压以提 供进一步的输入功能。另一输入机制可以是LCD 230，其可以包括 触摸屏功能并且可以向用户显示文本和/或图形。LCD控制器232将 DSP 202耦合到LCD 230。

如果装配了摄像头234，其能够使得客户端节点202拍摄数码照 片。DSP 202经由摄像头控制器236与摄像头234通信。在特定实施 例中，可以采用根据诸如电荷耦合器件(CCD)摄像头之类的技术 而操作的摄像头。GPS传感器238耦合到DSP 202以对全球定位系 统信号或其他导航信号进行解码，从而使得客户端节点202能够确 定其位置。还可以包括各种其他外围以提供附加功能，诸如无线电 和电视接收。

参考图3，示出了状况检查促进模块150的框图。更具体地，状 况检查促进模块150包括叠加模块130，叠加模块130生成关于跨物 理系统的状况的信息的叠加，这些物理系统诸如位于数据中心中的 物理系统。叠加模块在接近一个或多个物理设备时，经由智能电话 或平板电脑类型的数据处理系统202的I/O设备，实时地获得关于该 一个或多个物理设备的信息。I/O设备可以是例如摄像头234、GPS 设备238、短距离无线通信子系统234或任何其他合适的I/O设备。 信息可以包括唯一标识符、设备的图像、射频(RF)标识信息、物 理位置等。此外，应用叠加模块310使用通过摄像头捕获的成像来 叠加关于具有状况的物理设备的这一信息，该摄像头诸如智能电话 或平板电脑类型的数据处理系统202的摄像头234。

状况检查促进模块150还包括显示模块320，显示模块320经由 平板电脑类型或智能电话类型的计算设备的显示器显示关于状况和 相关联的物理系统的信息。在特定实施例中，成像可以是实时的。 状况检查促进模块150还从设备状况信息模块330接收关于设备的 状况信息。状况信息可以包括关于在物理设备上执行的应用的信息、 诸如当前连接信息(例如，去往和来自网际协议(IP)地址)之类 的I/O健康信息、目前在物理设备上操作的用户以及由与物理设备相 关联的任何诊断工具生成的诊断信息。

当IT支持人员实际上正在查看数据中心中的一个设备或多个设 备时，通过用所显示的信息进行叠加，很容易连同关于被查看的物 理系统状况的信息一起经由显示设备获得和显示该一个设备或多个 设备的图像。物理设备的图像与关于物理系统状况的信息的组合称 为物理系统的增强现实。因此，IT支持人员能够访问一个物理设备 或多个物理设备并且获得关于物理系统和状况的详细信息。

参考图4，示出了状况检查促进模块150的操作的流程图。更具 体地，状况检查促进模块150的操作开始于步骤410，其中定义当前 在以虚拟的和/或云计算环境中的物理硬件上执行的软件堆栈的表 示。接下来，在步骤420中，状况检查促进模块150定义关于物理 安装的硬件环境的信息的表示。接下来，在步骤430中，状况检查 促进模块150经由与数据处理系统相关联的摄像头捕获摄像头所对 准的物理设备的图像。在特定实施例中，图像捕获可以是基本上连 续的。接下来，在步骤440中，状况检查促进模块150经由在物理 机器上可见的该物理设备的标识符(ID)或快速响应(QR)类型码 来识别正在查看的物理机器。接下来，在步骤450中，状况检查促 进模块150访问监控软件，并且获得关于物理设备状态、在物理设 备上执行的应用以及这些应用的状态的数据。接下来，在步骤460 中，在特定实施例中，状况检查促进模块150确定正在查看的物理 设备是否是资产的数据中心池的正式注册的端点，从而使得能够针 对内部软件堆栈获得与物理设备相关联的信息。接下来，在步骤470 中，状况检查促进模块150使用这一信息来在对经由计算设备观察 到的内容的图像上呈现叠加并显示所获得的数据。

参考图5，示出了数据中心连同叠加后的数据中心呈现的示例性 图形视图。更具体地，平板电脑类型的数据处理系统102获得位于 数据中心510中的物理设备的图像。状况检查促进模块150提供叠 加后的数据中心呈现。

对本领域技术人员来说显然的是，很多这种组合对于提供事务 处理来说是都可能的，上述内容并非旨在限制本公开精神、范围或 意图。

由此已经参考本申请公开的优选实施例详细描述了本申请公 开，显然的是，在不偏离在所附权利要求书中所限定的公开的范围 的前提下，修改和变更都是可能的。