用于医学图像集的自动基准真值生成

摘要

本申请涉及用于医学图像集的自动基准真值生成。用于医学图像集的自动基准真值生成的方法和布置。各方面包括接收多个成像研究，其中每个成像研究包括一个或多个图像以及与所述一个或多个图像相关联的文本报告。各方面还包括从多个成像研究中每一个的一个或多个图像中的每一个选择关键图像，并且从关键图像内的感兴趣区域提取一个或多个区别图像特征。各方面还包括处理与一个或多个图像相关联的文本报告以检测一个或多个概念标签，将来自一个或多个概念标签的初始标签分配给一个或多个区别图像特征，以及学习一个或多个区别图像特征中的每一个与一个或多个概念标签之间的关联。

说明书

技术领域

本发明涉及医学图像的处理，并且更具体地涉及用于医学图像集的自动基准真值(ground truth)生成。

背景技术

关于大的数据集的测试方法，医学成像界传统上落后于通用计算界。这既是由获取图像集的困难也是由对基准真值进行标记的临床专家的可用性导致的。随着许多大医院推出电子健康记录(EHR)，现在有可能在集成EHR系统中获得DICOM成像研究的大规模集合。但是，向这样的集合有效地分配基准真值疾病标签呈现许多挑战。预期临床专家单独地手动标记这些图像是繁琐和不切实际的。此外，当专家之间缺乏共识时，手动数据输入还可能容易出错。不同于通用的成像，许多医学图像需要深度的专业临床解释，这是通过诸如众包(crowd-sourcing)之类的常规的大规模基准真值收集机制难以实现的。然而，获得这些基准真值标签对诸如临床决策支持、计算机辅助诊断和精密测量提取之类的若干应用来说是重要的。

在大多数情况下，包括用文档记录医学成像研究中的发现的、诸如临床笔记、放射学和心脏病学报告之类的文本报告的电子健康记录系统经常是可用的。通常地，这些报告用文档记录在超声心动图图像中的许多疾病和发现，包括正面发现和负面发现两者。

发明内容

示例性实施例包括用于医学图像集的自动基准真值生成的方法、系统和计算机程序产品。各方面包括接收多个成像研究，其中每个成像研究包括一个或多个图像以及与所述一个或多个图像相关联的文本 报告。各方面还包括从所述多个成像研究中的每个成像研究的所述一个或多个图像中的每一个图像，选择关键图像，并且从关键图像内的感兴趣区域提取一个或多个区别图像特征。各方面还包括处理与所述一个或多个图像相关联的文本报告以检测一个或多个概念标签、从所述一个或多个概念标签向一个或多个区别图像特征分配初始标签，以及学习所述一个或多个区别图像特征中的每一个与所述一个或多个概念标签之间的关联。

为了更好地理解本发明的示例性实施例，连同其它和进一步的特征和优点，将结合附图并参考以下描述，在所附权利要求中指出本发明要求保护的实施例的范围。

附图说明

被认为是本发明的主题在说明书结尾处的权利要求中被特别指出并明确地要求保护。结合附图根据以下详细描述，本发明的上述内容和其它特征以及优点是显而易见的，附图中：

图1绘出了根据示例性实施例的用于医学图像集的自动基准真值生成的方法的流程图；

图2绘出了根据示例性实施例的用于学习一组频繁出现的概念标签与成像研究的视觉特征之间的关联的方法的流程图；

图3绘出了根据示例性实施例的用于医学图像集的自动基准真值生成的方法的流程图；

图4A是说明根据示例性实施例的对文本报告中发现的各种句子应用最长共同子缀算法的结果的图表；

图4B是说明根据示例性实施例的在心脏报告中发现的主要的疾病标签的频率分布的图表；

图5绘出了根据示例性实施例的用于确定最长共同子缀的算法；以及

图6绘出了根据实施例的用于实行本文的教导的计算机系统的框图。

具体实施方式

示例性实施例包括用于医学图像集的自动基准真值生成的方法、系统和计算机程序产品。所述方法包括从成像研究的文本报告中自动提取疾病标签，并且将提取出的疾病标签作为模糊的、或者初始的标签分配给成像研究内的关联图像。所述方法还包括从成像研究的关联图像中提取与诊断有关的视觉特征。在示例性实施例中，通过自动提取多普勒包络(Doppler envelope)并且通过尺度不变特征变换(SIFT)码本对其包围区域(enclosing region)进行编码来提取特征。所述方法还包括使用机器学习算法学习常见的疾病标签与视觉特征之间的关联。在示例性实施例中，机器学习算法是适用于模糊标签的、最小化替代损耗(surrogate loss)的凸优化学习算法。

在示例性实施例中，针对诸如超声心动图研究之类的成像研究，提供包括临床解释的文本报告。通过自动提取文本报告中对疾病的诊断，这些报告可以被用作用于标记与报告相关联的研究的图像的源。但是，这样的标签集最多也只是模糊标签集，因为诊断成像研究的图像与疾病标签之间的对应关系是未知的。

在一种示例性系统中，心脏超声中的多普勒频谱用于测量血流速度、方向、以及心脏腔室内和通过瓣膜的震荡。速度模式被临床医生观察以诊断许多状况，包括血液凝块或血栓、功能不良的瓣膜、心脏瓣膜缺陷等。对这样的视觉模式的自动检测可以进一步缩小从报告中推导出的可能疾病标签的列表。由于从报告推导出的标签集有可能适用于研究中多于一个的图像，因为报告是针对整个研究而不是专门针对单个图像的，因此从部分标签中进行学习的系统地机器学习规划可以用于降低关联和对应关系中的总体模糊性。假设相似的疾病显示出相似的图像模式，这样的学习算法可以利用具有重叠的疾病标签的图像在外观上的相似性，这已经由其他研究人员针对心脏多普勒模式观察到。在示例性实施例中，对词汇短语的自动检测将基于时态、主动或被动语态、单数或复数的语法规则(在这种情况下是英语)容忍单 词变形，而同时仍保留语义。此外，对于一些缺失的词或者额外词的存在，报告中文本的匹配应当是稳健的，因为不同的临床医生可能使用稍有不同的词来描述相似的诊断。

现在参考图1，示出了根据示例性实施例的用于医学图像集的自动基准真值生成的方法100的流程图。如方框102所示，方法100包括收集多个成像研究，每个成像研究包括一个或多个图像和一个或多个报告。接下来，如方框104所示，方法100包括分离并预处理多个成像研究中每一个成像研究中的一个或多个图像，以便从每个成像研究中选择一个或多个关键图像以供注释。此外，如方框106所示，所述方法包括处理多个成像研究中每个成像研究中的一个或多个报告，以检测一个或多个概念标签。然后，所述一个或多个概念标签按出现频率被排序，并且一组频繁出现的概念标签被保留，如方框108所示。接下来，如方框110所示，方法100包括向所述一个或多个关键图像当中的每一个分配初始标签，其中初始标签是从关联的文本报告中检测到的一个或多个概念标签中选择出的。在示例性实施例中，来自相同研究的一组图像最初可以被分配相同的标签。方法100还包括从一个或多个关键图像内的具有临床意义的区域、或感兴趣区域中提取一个或多个区别图像特征，如方框112所示。接下来，方法100包括，使用机器学习算法学习这组频繁出现的概念标签中的每一个与视觉特征之间的关联。在示例性实施例中，机器学习算法是适用于模糊标签的、最小化替代损耗的凸优化学习规划。

现在参考图2，示出了根据示例性实施例的用于学习一组频繁出现的概念标签与成像研究的视觉特征之间的关联的方法200的流程图。如方框202所示，方法200包括针对一个或多个关键图像中的每一个创建图像特征向量，并且从一组频繁出现的概念标签中选择最近的标签。接下来，如方框204所示，方法200包括对照从关联的研究报告中推导出的初始标签匹配图像特征向量，并且如果初始标签处于这组频繁出现的概念标签内，则将其标记为真(true)标签。接下来，如方框206所示，方法200包括计算整个测试集的预测准确度。在示例 性实施例中，整个测试集的预测准确度可以由被标记为真标签的初始标签的比例确定。如方框208所示，方法200包括将更多数据添加到训练集，直到整个测试集的预测准确度高于期望的阈值。接下来，如方框210所示，方法200可选地包括针对由专家手动设定的测试的随机子集验证所选择的标签。

在示例性实施例中，文本报告中的疾病标签检测使用从诸如SNOMED CT和ICD9之类的标准收集的疾病术语词汇。为了认出在报告的自然语言句子内疾病短语的出现，使用本文中被称为最长共同子缀算法的字符串匹配算法。给定K个词的查询词汇短语S＝<s1s2...sK>和N个词的候选句子T＝<t1t2...tN>，最长共同子缀被定义为LCF(S,T)＝<p1p2...pL>，其中L是在T中发现部分匹配的S中的词的最大子集，而pi是词si∈S与T中的词的部分匹配。如果S中的词si共享最大长度共同前缀pi，使得

$\frac{\left|p_i\right|}{\max \{\left|s_i\right|,\left|s_j\right|\}}>\tau .$

则S中的词si被称为与T中的词tj部分匹配。

如果阈值τ＝1.0，则这减少了发现与S的词的精确匹配的情况。通过使用动态编程来实施最长共同子缀算法，词汇短语S与候选句子T之间的最佳对齐通过保持用于计算将S的片段匹配至第i个词并且将T的片段匹配至第j个词的得分的数组C[i,j]而被找到。然后，根据算法1所示的算法，动态编程矩阵被更新，如图5所示。这里，pmax(i,j)是字符串(si,tj)的最长前缀，而δ是失配惩罚，失配惩罚控制匹配的词之间的分离并且防止句子中相距太远的词与相同的词汇短语相关联。使用这种算法，如果对于某个阈值Г存在：

$\frac{\left|LCF(S,T)\right|}{\left|S\right|}\ge \Gamma$

则词汇短语S被称为在句子T中被检测到。τ和Г的选择影响匹配的精度和查全率(recall)，并且基于对标记的集合的ROC曲线分析选择τ和Г以满足针对精度和查全率的指定标准。

图4A说明示出对在示例性文本报告中发现的各种句子应用最长共同子缀算法的结果的表。可以看出，所述算法能够认出第一个句子 中的主动脉硬化和主动脉瓣狭窄两者的出现，尽管词主动脉瓣和狭窄被中间的若干词分离。类似地，词汇短语左心房扩张被匹配到“左心房：左心房尺寸轻度扩张”，甚至不需要对基础词的语言起源的深入理解。通常地，最长共同子缀算法通过使用包括用于快速词发现的认出否定和共同前缀的模式在内的许多细化改善来实现高精度和查全率。

通过分析从大量的超声心动图报告的集合中推导出的疾病标签，那些具有1％的出现机会的标签被保留以形成前三十六个候选疾病标签的参考列表。然后，根据对应报告中的疾病标签检测的结果，用这些标签的子集适当地标记来自超声心动图研究的多普勒图像。图4B绘出了示出在实验中使用的7148个超声心动图报告的集合中检测到的前三十六个疾病标签的表。虽然这个组中的大多数疾病可以从多普勒成像中推算出，但是存在足够的干扰(例如，晕厥，缺血)，以实现用于之后使用学习来避免模糊的良好测试平台。

对于超声心动图研究的多普勒图像，临床相关区域是多普勒频谱。速度模式的形状、其幅度(大小)以及其密度传达出有关疾病的重要区别信息。用于提取多普勒频谱的方法使用与感兴趣区域检测、EKG提取、周期性检测和包络提取相同的预处理步骤，并且还包括建立共同的多普勒参考系和从多普勒频谱的特征提取。在示例性实施例中，由于多普勒速度的幅度对疾病的区别是重要的，因此来自多普勒图像上的文字校准标记的幅度单位可以通过使用光学字符识别算法而被恢复。

在示例性实施例中，建立共同的多普勒参考系包括在共同的参考系中呈现被恢复的速度值以供特征提取和比较。在示例性实施例中，通过使用与对应于速度的最大范围VM＝VMa-VMb的固定尺寸(WM x HM)的参考图像的相似性，多普勒频谱区域中的像素被变换。然后，给定尺寸为(WI x HI)的任何单周期多普勒频谱图像，所述图像的尺寸代表速度范围VI＝(VIa-VIb)，其中后缀a和b指的是方向，每个像素点(x,y)可以被线性变换为点(xi,yi)，yi＝sh*y+thxi＝sw*x+tw，其中sw＝WM/WI，tw＝0，因为所有的频谱 都相对于R波的开始被对齐。此外，sh＝VI/Vm*Hm/HI并且th＝0.5*HM-y0，其中y0是针对多普勒频谱的基线。

在许多多普勒图像中，由于成像伪影，包络可以是微弱且破碎的，或者可能遭受混叠。在示例性实施例中，从多普勒频谱的特征提取包括使用SIFT特征对包络和多普勒频谱的内部两者密集地进行采样。SIFT描述符对位置、尺寸、方位和强度梯度信息进行建模，以捕获临床上观察到的在多普勒频谱内部(流出道)和边界中强度和形状的变化。由于SIFT特征的高维度，SIFT特征被聚集以形成类似于词袋模型(a bag of words model)的码本。

给定与所有训练图像相对应的一组特征向量X＝{xi}，i＝1...N，其中每个样本xi与一组模糊标签Yi＝{aij}，j＝1...Mi相关联，问题是训练可以减少模糊并且可以从X获得针对样本的至少一个标签的分类器。使可能的标签的集合为{1,2...,L}。使用凸优化规划，对于每个类标签a，线性分类器被定义为ga(x)＝wa·x。给定来自所有分类器{ga(x)}的针对样本x的得分，可以获得最好的标签为arg maxaga(x)。整个分类器被表示为g(x)，其被{ga(x)}或d×L参数参数化。基于通常被称为0/1损耗的、用于指示在类标记中出错的概率的风险的凸上界最小化，提出许多完全监督的多类学习的规划。

当模糊标签存在时，只要用于xi的预测标签属于Yi，这就被认为是正确的分类。通过最小化以下的目标函数而学习g的参数：

${\min }_w\frac{1}{2}{\left|\right|w\left|\right|}_2^2+C{\left|\right|\xi \left|\right|}_2^2---\left(1\right)$

使得$s.t.\frac{1}{\left|Y_i\right|}{\Sigma }_{a\in Y_i}{w}^a·x_i\ge 1-{\xi }_i-w^a·x_i\ge 1-{\xi }_{ia}\forall a\notin Y_i.$

这里，w是{w^a}的串联。一旦这个分类器经过训练，给定新的样本x，它针对每个标签的分类得分就可以被获得，因为所有w^a现在都是已知的。注意，这种方法与训练针对每个标签的单个SVM或者多类SVM不同，因为最好的学习器是基于从在式1的求和项所示的模糊标签集上定义的模糊0/1损耗中最小化经验风险而被选择出的。

现在参考图3，示出了根据示例性实施例的用于医学图像集的自动基准真值生成的方法300的流程图。如方框302所示，方法300包括接收包括多个图像和文本报告的心脏超声研究。如方框304所示，方法300包括从所述文本报告提取句子。接下来，如方框306所示，方法300包括基于提取出的句子中的词前缀来选择候选疾病标签。方法300还包括使用最长共同子缀算法来检测疾病标签，如方框308所示。接下来，如方框310所示，方法300包括使用否定模式检测来细化改善检测出的疾病标签。方法300还包括基于检测出的疾病标签向来自心脏超声研究的图像分配模糊标签。

继续参考图3，方法300包括从心脏超声研究中选择关键图像，如方框312所示。接下来，如方框314所示，方法300包括从关键图像检测感兴趣区域(ROI)。接下来，如方框316所示，方法300包括从ROI提取心电图(EKG)。方法300还包括检测EKG的周期性，如方框318所示。接下来，如方框320所示，方法300包括从ROI提取多普勒频谱。方法300还包括对提取出的多普勒频谱执行变换，如方框322所示。接下来，方法300包括通过尺度可变特征变换(SIFT)码本对提取的多普勒包络及其包围区域进行编码。

现在参考图6，示出了采用本文的教导使用的示例性计算机系统400的方框图。本文所描述的方法可以在硬件、软件(例如，固件)或者它们的组合中实施。在示例性实施例中，本文描述的方法在硬件中实施，并且是专用或通用数字计算机的微处理器的一部分，所述专用或通用数字计算机诸如个人计算机、工作站、小型计算机或大型计算机。因此，系统400包括通用计算机401。

在示例性实施例中，关于硬件体系架构，如图6所示，计算机401包括处理器405、经由存储器控制器445耦接的存储器440、存储设备420、以及经由本地输入/输出控制器435通信耦接的一个或多个输入和/或输出(I/O)设备440、445(或外围设备)。输入/输出控制器435可以是但不限于，例如本领域中已知的一个或多个总线或其它有线或无线连接。输入/输出控制器435可以具有为了简化而被 省略的诸如控制器、缓冲区(高速缓存)、驱动器、中继器和接收器之类的附加元件以支持通信。另外，本地接口可以包括地址、控制和/或数据连接以支持上面提到的组件之间的适当通信。存储设备420可以包括一个或多个硬盘驱动器(HDD)、固态驱动器(SSD)、或任何其它合适形式的存储装置。

处理器405是用于执行硬件指令或软件、尤其是存储在存储器440中的指令或软件的计算设备。处理器405可以是任何定制或商用的处理器、中央处理单元(CPU)、在与计算机401关联的若干处理器当中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、宏处理器、或通常用于执行指令的任何设备。处理器405可以包括高速缓存470，高速缓存470可以被组织为多个高速缓存级别(L1，L2等)的层次结构。

存储器440可以包括易失性存储器元件(例如，随机存取存储器(RAM，诸如DRAM、SRAM、SDRAM等))和非易失性存储器元件(例如，ROM、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁带、光盘只读存储器(CD-ROM)、盘、磁盘、盒式磁盘、盒式磁带或类似物等)当中的任何一个或它们的组合。此外，存储器440可以包含电子、磁性、光学和/或其它类型的存储介质。注意，存储器440可以具有分布式体系架构，其中各个组件彼此远离地布置，但可以由处理器405访问。

存储器440中的指令可以包括一个或多个单独的程序，其中每个程序包括用于实施逻辑功能的可执行指令的有序列表。在图6的示例中，存储器440中的指令包括合适的操作系统(OS)411。操作系统411基本上控制其它计算机程序的执行，并且提供调度、输入-输出控制、文件和数据管理、存储器管理、以及通信控制和相关的服务。

在示例性实施例中，常规的键盘450和鼠标455可以耦接到输入/输出控制器435。诸如I/O设备440、445之类的其它输出设备，可以包括输入设备，例如但不限于打印机、扫描仪、麦克风等。最后， I/O设备440、445还可以包括传送输入和输出两者的设备，例如但不限于网络接口卡(NIC)或调制器/解调器(用于访问其它文件、设备、系统或网络)、射频(RF)或其它收发器、电话接口、桥接器、路由器等。系统400还可以包括耦接到显示器430的显示控制器425。在示例性实施例中，系统400还可以包括用于耦接到网络465的网络接口460。网络465可以是用于经由宽带连接在计算机401与任何外部服务器、客户端等之间进行通信的基于IP的网络。网络465在计算机401与外部系统之间发送和接收数据。在示例性实施例中，网络465可以是由服务提供商管辖的被管理的IP网络。网络465可以以无线方式被实施，例如，使用诸如Wi-Fi、WiMax等之类的无线协议和技术。网络465还可以是分组交换网络，诸如局域网、广域网、城域网、因特网网络、或其它类似类型的网络环境。网络465可以是固定的无线网络、无线局域网(LAN)、无线广域网(WAN)、个人区域网(PAN)、虚拟专用网(VPN)、内联网或其它合适的网络系统，并且包括用于接收和发送信号的装备。

如果计算机401是PC、工作站、智能设备等，则存储器440中的指令还可以包括基本输入输出系统(BIOS)(为简单起见而被省略)。BIOS是在启动时初始化和测试硬件、启动OS 411并且支持数据在存储设备当中的传送的一组必要程序。BIOS存储在ROM中，从而当计算机401被激活时，BIOS可以被执行。

当计算机401在操作中时，处理器405被配置为执行存储在存储器440内的指令，以便向存储器440传送数据和从存储器440传送数据，并且通常按照指令控制计算机401的操作。在示例性实施例中，计算机系统400包括一个或多个被配置为与处理器405通信的加速器480。加速器480可以是被配置成执行特定的处理任务的现场可编程门阵列(FPGA)或其它合适的设备。在示例性实施例中，计算机系统400可以被配置为将某些处理任务卸载到加速器480，因为加速器480可以比处理器405更高效地执行处理任务。

应当注意的是，附图中的流程图和框图显示了根据本发明的多个 实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或指令的一部分包含至少一个用于实现规定的逻辑功能的可执行代码。应当注意的是，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续示出的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的示例(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括 铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发所述计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，所述电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方 式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

为了说明和描述的目的呈现了本公开，但本公开不意图穷尽或者限制。许多修改和变化对于本领域普通技术人员来说将是显而易见的。实施例被选择和描述以便解释原理和实际应用，并且使本领域其他普通技术人员能够理解本公开。

虽然已经参考附图在本文中描述了本发明的说明性实施例，但是应当理解的是，本发明的实施例不限于那些精确的实施例，并且在不背离本公开内容的范围或精神的情况下，各种其它改变和修改可以由本领域技术人员在其中实现。