在电信领域中测试日志的自动评估

摘要

本发明涉及在电信领域中测试日志的自动评估。根据本发明的方法的一方面，提供了概率模型(166)，该概率模型将测试日志中的事件(506，A0-A3)与可能的原因(504，H0-H3)关联。基于概率模型(166)和搜索结果，计算原因(504)的概率值。基于所计算的概率值，输出可能的原因的参照值。

说明书

技术领域

本发明涉及用于测试电信设备的测试日志的自动评估的方法、相应的计算 机程序产品和计算机系统。

背景技术

在技术通信系统中，用于实施人和/或机器之间的数据通信和/或语音通信的 信令信息在参与的设备之间被交换。因此，例如，在移动无线电部门中，信令 消息通过用户设备(UE，“user equipment”，例如，智能手机)和网络节点(例 如，基站)之间的空中接口被交换。

在提供新设备、新软件版本和新特征等之前，必须测试通过相关接口的无 误消息交换。因此，必须实施功能测试、以及系统测试，该系统测试包括负载 和应力测试、回归测试等。通常，这些测试以自动的方式实施，例如，专用测 试设备(TE，“Test Equipment”)可以以批处理模式与被测装置(DUT，“Device  under Test”)交换消息。自动测试可以运行较短的时间段，例如，数分钟，或者 会需要以约一小时、数小时或甚至数天设置的相当长的时间。

在测试期间，通过一个或多个接口的消息交换被记录(通常通过TE)且被 存储在测试日志或测试协议中。在完成测试之后，测试日志可以以文件(例如， 文本文件)的形式存在。通常，该日志包含事件的时间次序，即，该日志包括 时间戳的列表，其中，消息被分配到各个时间戳。消息的数据可以包括所选择 的细节，例如，给定的消息内容，例如，参数的存在和/或参数的值、较低的消 息-日志层的嵌入消息等。

通常，在测试日志中列举事件，且仅这些事件可用于问题的识别和它们的 原因的确定。

在测试实验室现场可以实施测试日志的评估。然而，因为其复杂性，评估 通常在稍后的时间实施，因此在测试实验室的外部实施。一方面，该评估包括 错误情形的识别，其包括识别错误情形存在于第一位置中，以及，另一方面， 该评估包括对于已知错误情形的原因的搜索。在简单的情况下，错误的存在和 其原因可以基于消息或消息次序清楚地推断。例如，在DUT中的软件错误可以 影响消息的给定参数值；如果从日志中这是明显的，则可以识别用于DUT或者 部件的重启的原因。

然而，通常，错误情形或者事件在原则上可以归因于不同的原因。在这样 的情况下，难以以具体术语推断关于错误实际存在的原因，且这会需要日志的 更宽泛的评估。

UE(例如，智能手机)的测试可以作为一个示例，其中，UE例如在RLL (“无线电链路层”)上已经成功地与移动无线电网络同步。从测试日志明显看出， UE突然尝试与网络再次同步；例如，UE突然启动新的随机访问过程。该消息 的出现实际上总是表明此处明显存在问题，然而，对于该行为的一系列不同的 原因是可以想到的，例如，错误可以存在于UE中，但是还可以涉及UE对测试 条件的反应，例如，在无线电网络中模拟的功率损耗，例如，作为网络中的错 误或UE在网络内的移动例如以实现切换等的结果。在这种情况下，不容易确定 是否存在错误情形，以及，如果存在错误情形，则不容易确定该错误可以归因 的具体原因。

如示例中的含糊(错误)的情形表示来自例如在电信部门中的自动测试的 日志的评估中的基本问题。

日志的搜索和评估可以通过测试员来实施。然而，由于现代通信系统的复 杂性和对应的信令量，即使仅数分钟的测试持续时间，测试日志也可包含非常 多的数据，使得测试人员的分析是非常耗时的。此外，由于数据量，不能确定： 如期望的所有的错误情形已经被识别。错误情形还可能已经被不正确地评估， 这是因为仅识别错误的间接影响或者后续影响而不是识别潜在的错误。

已知测试仪器或者相应的工具应该支持评估中的测试员。例如，日志的各 部分可以以不同的颜色显示(例如，在屏幕上显示的情况下)，以便改善可读性。 因此，例如，不同的消息-日志级别可以不同地显示。此外，测试工具可以支持 在基于文本的测试日志中的给定文本字符串的搜素。字符串表征例如给定的消 息类型、给定的错误情形等。这样的字符串搜索还可以以自动的方式实施。

还已知用于测试日志的自动评估的专家系统。D.Gustavsson,D.Molin, "Expert System for Error Analysis-Rule Based Reasoning Applied on Log  Information and Dump Reports from Mobile Phones",Master's dissertation，2010年 6月，可访问http://file admin.cs.lth.se/ai/xj/Daniel Gustavsson/ADLA_Report_ 100615.pdf,描述了这样的专家系统。该系统包括例如以多个规则形式表示的知 识。因此，该系统可以做出推论，事实上，指定的决策树根据规则的评估而运 行。规则包括条件分量和结果分量。可能出现的事件可以以条件分量来表示， 且可以以结果分量表示推论。因此，专家系统针对条件分量中指定的条件的出 现搜索测试日志，其通常对应于字符串搜索(“模式匹配”)，然后从该搜索做出 相应的推论。

这样的决策树非常适于检测特定的错误，即，可归因于前面可确定的、清 楚的原因的明确定义的事件。如果多个对应的决策树存储在数据库中，则在测 试日志中对应的多个问题在原则上可以被识别和解决。

因此，这样的专家系统表示有效的工具，其支持测试员可靠地确定相应错 误的存在和确定它们的原因。

然而，已知的专家系统不能有效地处理没有清楚限定的错误情形。因此， 如果问题没有正好匹配前面限定的情形，则不能认识到问题。甚至不存在消息 意味着专家系统不再能做出有意义的推论。因此，已知的专家系统可以仅支持 测试员检测和解释简单的错误情形。然而，测试员通常必须针对复杂错误情形 的出现搜索整个日志，以及仅基于个人经验阐明这些错误。

事实上，已知的专家系统可以稳定地发展成包括可构思的错误情形的日益 增长的范围，然而，这样的扩展对于各个新的错误情形受到规模的限制，必须 实施对应的新的决策树。然而，需要持续改善系统的粒度，这导致专家系统迅 速增大复杂性。系统的维护，例如，跟踪消息日志中的变化因此变得相应地繁 杂，即，复杂且容易错误。

发明内容

本发明的一个目的是提出在测试电信设备的领域中自动评估测试日志的有 效方案，其实现了在复杂的错误情形的识别和/或解决中对测试员的可靠支持。

该目的通过具有权利要求1的特征的方法、具有权利要求11的特征的计算 机程序产品和具有权利要求12的特征的计算机系统来实现。

根据本发明，提出了一种自动评估用于测试电信设备的测试日志的方法， 所述方法包括下列步骤：提供预定义的概率模型，所述概率模型将可以在所述 测试日志中出现的多个事件与多个可能的原因关联；针对所述事件的出现搜索 所述测试日志；基于所述概率模型和搜索结果，计算原因的概率值；和基于所 计算的概率值，提供用于在所述测试日志中已经出现和/或尚未出现的事件的至 少一个可能的原因的指示。

通常，被测电信设备可以是电信(TC)用户设备(UE)，即，例如，用于 用户、客户等的用户设备，例如，移动无线电装置、例如，智能手机、平板电 脑、上网卡等。还可以是用于另一无绳的或者无线的或者绳支持或者线支持的 通信系统的用户设备，例如，配备用于根据LAN标准、WLAN标准等的通信的 装置。例如，以接口卡、套接口等形式的接口(例如，用于实现通信接口，诸 如装置(诸如PC或者笔记本电脑)中的IP接口)的实施也可以被视为TC装置。

相反，在本公开的架构内，其构成(电信)通信网络的一部分的节点或部 件也理解成TC设备，其中，网络还可以仅包括节点，其作为DUT与TE交换 信息，例如，用于测试的目的，其中，例如，TE模拟用户装置。网络节点因此 例如可以是基站，例如，移动无线电网络的BSS(“基站子系统”)或者eNB(“演 变的节点B”)或者在这样的网络或者通常通信网络的无线电或者核心网络中的 另一节点。因此，例如，DUT可以是任意的无线的或者有线支持的通信或者电 信网络的访问节点。

通常，体现为用于模拟一个或多个网络节点和/或用户装置的特定设备被用 作TE。通常，TE还包括用于记录通过接口与DUT的数据交换的部件，即，例 如，用于网络分析的嗅探器或者另外的工具。

测试日志可以是测试报告、日志文件和/或转储文件，例如，在自动测试期 间通过例如TE被准备。测试日志可以以一个文件或多个文件的形式存在(例如 作为文本文件)，例如，该文本文件包含ASCII或HTML格式或者另外的可搜 索格式的数据。

事件(“event”)包括至少一个可以在测试日志中发现的过程。例如，事件 可以是通过给定接口发送的给定消息或者消息序列(例如，同步消息)的传输。 然而，在测试日志中观测或者过程的未检测也可以定义成事件，例如，不存在 消息。

原因(“cause”)也包括至少一个过程(例如，切换)。可以构思，该过程也 可以直接来自于测试日志。然而，在一些情况中，仅仅检测不表明：该过程是 被定义成或者已经检测成事件的过程的诱因。

例如，测试日志的搜索可以基于字符串搜索(“模式匹配”)或者更一般地 针对给定模式搜索的形式(模式识别或者“模式辨识”)来实施。用于模式识别 的方法对于本领域的技术人员是已知的。搜索可以遍布整个测试日志或者仅日 志的一部分。该搜索可以包含条件分量，其中，用于一个或多个另外的模式的 目标搜索仅在模式的检测(或者未检测)之后被实施。

关于可归因于给定原因的给定事件的概率，概率模型可以表示清单。概率 模型可以被视为在事件和原因之间的链接的形式化或者技术实现，其中，链接 可以被分配概率值。

概率模型可以表示这样的网络，其中，事件和原因是关联到彼此的网络节 点。这样的网络可以被视为在一般的信息技术中已知的分类方法意义上的分类 器(“classifier”)且因此在下文被称为分类器。

在一些实施方式中，网络提供了仅在每个情况中的一个事件和在每个情况 中的一个原因之间的链接，但是不提供仅在事件之间或者仅在原因之间的链接。 在给定的实施方式中，各个链接将一个事件与一个可能的原因关联。在一些实 施方式中，各个事件与在概率模型中呈现的所有可能的原因关联。

预定的概率值可以分配到概率模型中的至少一个链接，该概率模型用在计 算可能的原因的概率值。在给定的实施方式中，一个确切的概率值被分配到模 型或者网络的各个链接。例如，概率值可以呈现为在0和1之间或者在0％和100％ 之间的数值。

概率模型可以包括贝叶斯网络，即，其可以表示贝叶斯分类器。另外或者 可替选地，该模型可包括马尔科夫网络、神经网络和/或决策树。

在网络中可用于事件节点的字母可以是二进制的，即，例如，其可以仅包 括值“真”(“True”，“1”等)和“假”(“False”，“0”等)。因此，在搜索期间， 仅可以检查事件出现或者未出现，即，例如，给定的消息或者消息序列在具有 多个消息的测试日志中出现或者未出现。分配到链接的概率值然后可以指定消 息的出现可归因于相应的原因的概率或者消息的未出现可归因于该原因的概 率。

在一些实施方式中，例如，可以将不同的概率分配到消息的出现或者未出 现(或者参数或参数值的出现或者相应的未出现)；即，消息的出现或者更普遍 地模式(“pattern”)的出现以及模式的未出现可以被设置作为分类器中的不同的 事件。

在其他实施方式中，字母可包括两个以上的值，且例如可以提供十个或者 更多的值。除了消息的出现或者未出现之外，事件因此还可以涉及消息中的参 数的出现或者未出现，和/或消息中的参数的参数值的出现或者未出现。这样的 网络可以转换成具有二进制字母的网络，其中，多个事件然后可以涉及同一个 消息，但是例如，可以涉及不同的消息内容或者给定的参数值等。

概率模型可包括未知原因的可能性。如果事件可以给定概率归因于给定原 因，则可以提供具有其余的剩余概率的未知原因的关联。用于给定事件或者多 个事件的不能找到的原因的指示至少向测试员指示已知原因以低概率存在，即， 例如，在实践中可以被排除在外。

概率模型可包括具有事件层和原因层的两层网络。概率模型还可包括多个 两层网络或者三层或者多层网络。因此，概率模型例如可以包括事件层、中间 层和原因层。中间层的节点可表示用于事件层的原因和/或用于原因层的事件。 如果三层模型被视为第一两层模型和第二两层模型的组合，则第一两层模型然 后可首先被计算，其中，在测试日志中发现的事件可以归因于第一模型的原因。 原因(或者表示原因的第一模型的节点)然后被视为第二模型的事件(或者表 示事件的节点)，因此，例如，视为得出的事件。上级原因的概率然后基于第二 模型来计算。

例如，三层模型或者多层模型可以用来分析事件的次序。在该上下文中， 中间层的至少一个节点可表示事件的时间次序。

此外，根据本发明，如果计算机程序产品在可编程的计算机系统或者数字 信号处理器上执行，则计算机程序产品被提出用于实施如上文概括或者在本公 开中的其他地方描述的方法。

计算机程序可以存储在机器可读数据载体上，例如，可编程的计算机装置 或者CD-ROM、DVD或者USB棒中的或与其关联的永久或者可重写的介质。 另外或者可替选地，计算机程序可以提供用于下载到可编程的计算机装置上， 例如，通过数据网络，例如，互联网或者另外的通信连接。

此外，根据本发明提出了一种计算机系统，在该计算机系统上，实施诸如 上文所概述的计算机程序产品。计算机系统可以是这样的装置，例如，常规的 PC、笔记本电脑、平板电脑或者用于测试评估的类似物。然而，计算机程序产 品还可以安装在DSP上，例如，TE的处理器。

在计算机系统上可以实施用于评估电信设备的测试日志的专家系统。计算 机程序产品可以提供在专家系统的框架内的评估工具。

评估工具可以体现为接收用户输入。例如，该输入可以涉及考虑至少一个 事件和/或考虑至少一个原因，其例如可以手动地指定或者从菜单选定。另外或 者可替选地，用户输入还可以涉及用于链接的至少一个概率值的指示。因此， 概率模型的一些或者所有的现有链接的概率值可以被输入或者手动修改。例如， 指定的值可以被匹配。分类器的方面，例如，概率值，也可以通过软件更新来 更新。另外或者可替选地，该工具也可以体现为学习系统，例如，该学习系统 接收用户的回复消息且因此匹配分类器的方面。

评估工具可以提供用于测试评估的不同问题的多个概率模型。因此，例如， 独立的窗口(“视图”)可以被提供用于各个分类器。

根据本发明，在测试日志中可以检测的事件可以被视为概率模型的观察结 果。该方法允许概率值分配到观察结果和它们的可能的原因之间的链接。以该 方式，分类器可以被限定为将多组具有给定概率的观察结果或者事件分配到多 组原因或者假设。

本发明允许在通信系统的领域中的测试日志的自动评估，其中，可以考虑 不同的可能原因，也就是说，视为用于观察结果或测量值(即，用于在测试日 志中发现的事件)的假设。出于该目的，在所检测的或者观察的事件和可能的 原因或解释之间的链接可以被限定在概率(图形)模型(例如，贝叶斯网络) 中。概率可被分配到链接，概率值例如可以来自理论分析也可以来自经验。该 系统还可以被设计成自学习，使得分配到链接的概率值可以例如基于测试人员 的回复消息被匹配。

因此，本发明允许在这些任务中自动检测和/或分类复杂错误情形或者支持 测试人员。自动的日志分析可以逐渐解决没有以一一对应关系链接到给定事件 的问题。事实上，根据本发明的分析工具还可以区分共同具有一个观察结果或 多个可观察的事件的原因。

根据本发明的工具因此实现了测试评估中增大的可靠性，其不仅用于简单 而且用于更复杂的错误情形，且可以以该方式更好地支持测试人员，其中，较 少的问题被忽略或者不正确地识别。该工具还可以用于排除特定的原因(具有 相应的概率)；这还有助于复杂错误情形的分类且导致更有效的测试评估。

原则上，在竞争的假设之间的决策还可以通过浏览常规的决策树来进行。 然而，用于制备和匹配这样的决策树的工作量高，且浏览决策树是计算密集型 的。对比而言，根据本发明所用的概率模型的提供和维护与减少工作量有关， 且做出决策需要较少的处理器资源。

根据本发明的分析工具的分类器通过添加例如另外的原因可以简单地扩 展。例如，与基于决策树的方法相比，根据本发明的方法通常更容易地被缩放， 其产生关于管理、维护、更新等所需的工作量方面的相应优点。

附图说明

下文将参考附图描述本发明的另外的方面和优点。附图示出了：

图1示意性地示出根据本发明的用于测试评估的系统的示例性实施方式；

图2是图1的系统的具体视图；

图3是图1和图2的系统的操作方法的第一示例性实施方式的流程图；

图4是图1和图2的系统的操作方法的第二示例性实施方式的流程图；

图5是根据本发明的分类器的示例性实施方式的示意图，例如，该分类器 可以用在图1和图2的测试系统中；

图6是在图4的过程期间可能的命令行输出的示例；和

图7是在图4的过程结束时测试报告中项目的示例。

具体实施方式

图1以示意图形式示出测试系统100和测试评估系统(RS，“报告系统”) 160的示例性实施方式。测试系统100是测试环境TB(“测试平台”)或者相应 地诸如本领域的技术人员已知的测试实验室的一部分。测试系统100包括被测 电信装置(DUT，“Device under Test”)，在示例中，是用于移动无线电网络的用 户装置102。测试系统100还包括测试设备(TE,“Test Equipment”)104。

用户装置102的测试包括消息从TE 104发送106到DUT 102以及还包括消 息从DUT 102发送108到TE 104。在该上下文中，消息交换106、108借助至 少一个接口110(即，例如，借助空中接口)运行。借助接口110，TE 102可以 模拟例如用于该目的的移动无线电网络的基站的行为。

TE 104将测试过程(即，尤其是借助接口110所发送106和相应地接收108 的消息)记录在测试日志(“log”)112中，例如，该消息可以在完成测试之后以 一个或多个计算机可读文件的形式存在。根据测试的类型和目的，多个消息可 以借助接口110交换。对于各个消息，通常记录另外的细节，例如，较低日志 层的嵌入消息、现有的参数(可选地具有参数值)等，使得获得相应地大量的 测试日志112，这一点对于本领域的技术人员是已知的。

评估系统(RS，“报告系统”)160与测试系统100或者相应的测试平台TB 分开，如通过线150示出。作为功能部件，RS 160包括专家系统(ES)162，其 可以在计算机系统上实施(此处没有更具体地示出)，计算机系统例如为常规的 办公室PC或者具有分布资源的计算机网络，例如，常规的办公网络。可替选地， 专家系统可以例如在TE 104上、或者笔记本电脑上或者类似的便携式装置上实 施，以便允许在服务的情况下在现场进行测试评估。

测试人员，即，测试员或者测试团队，通过控制台(输入/输出系统)164 启动测试评估且通过控制台164接收结果，控制台164例如可以包括键盘和/或 其他输入装置和显示器和/或其他包括用于存储结果报告的电子存储容量的显示 装置。

专家系统162能够访问数据库(资料库)，其尤其提供至少一个分类器(CI， “classifier”)166。对于测试评估的实施，专家系统162访问168测试日志112。 例如，通过借助控制台164发出的相应命令，通过测试人员可以触发测试评估。 此后，功能部件170针对每个分类器实施测试日志112的搜索(PR，“模式识别”)， 即，部件170针对出现的给定模式(例如，字符序列，例如，消息标识符)搜 索日志112，。这些模式通过分类器166来指定。

基于结果的检测和/或非检测，功能部件172实施评估处理(EV，“评估”)。 该处理也通过分类器166来指定。基于该处理，功能部件174确定测试结果(TR， “Test Result”)，其可以以结果报告的形式呈现给测试人员，例如，用于以结果文 件形式的存储和/或在控制台164处输出。

图2示出具有部件170、172和174和另外的细节的专家系统162，该另外 的细节在下文示例性测试评估的描述中将提到。

图3示出通过示例呈现来自图1和图2的专家系统162的操作(处理)300 的流程图。操作300涉及用于测试电信设备102的测试日志112的自动评估。

在步骤302中，呈现了预定义的概率模型，其将测试日志112中可以出现 的多个事件与多个可能的原因相关联。此处描述的实施例中的概率模型可以包 括分类器166。在步骤304中，针对通过分类器166指定的事件的出现，通过部 件170搜索测试日志111。

在步骤306中，基于概率模型和来自在步骤304中所实施的调查的结果， 通过部件172计算通过分类器166指定的原因的概率值。在步骤308中，部件 174实际上基于所计算的概率值提供用于事件的至少一个可能的原因的指示，这 些事件在测试日志中已经出现或者还没有出现。在步骤310中，该方法结束于， 例如，过程控制返回到在专家系统162或者测试评估系统160的框架内的上层 控制程序。

以流程图的形式，图4示出图1和图2的专家系统162的操作(处理)400 的另一示例性实施方式。关于没有清楚提出的方面，可以认为，这些方面对应 于图3的操作300中的那些方面。相反，在下文中关于处理400描述的多个方 面也可以应用于过程300。

例如，处理400还涉及测试日志112的自动评估，其中，指定的概率模型 的图形被建立用于该目的。操作400可以通过计算机程序来实施且例如通过控 制台164的输入可以被启动。处理400可以以批处理模式运行和/或可以在后台 中运行，而通过控制台164或者没有示出的评估系统160的其他部件可以控制 其他处理。该处理可以包括在启动处理400之后在控制台164上呈现评估结果。

操作400描述了基于主程序的过程。功能部件170、172和174可以以子程 序的形式来实施，子程序分别通过来自主程序的调用来控制。主程序例如可以 实施专家系统162或者其相应的示例。然而，还可以构思其他配置。

在步骤402中，过程(程序，子程序、函数等)“GetOutofSync”被调用。基 于该过程，在步骤404中，例如，通过在分类器166中读取“OutofSync”，可以 使分类器166的数据可用于专家系统162。从步骤406，根据通过分类器166指 定的数据实施另外的处理。步骤402至406可以被视为步骤302的具体实现。

图5示出分类器或者相应的概率模型或者网络166的具体形式。作为示例， 分类器166实施用于询问原因的问题502的决策网络，该询问原因的问题即为 什么移动无线电装置已经不与移动无线电网络同步(“Out of Sync”)或者不能建 立同步情形。

出于该目的，呈现了诸如对于本领域的技术人员已知的消息或者消息序列 的多个可能的原因504或者相应的假设H0、H1、H2和H3和另外的多个可能的 事件506或者具有它们的缩写的观察结果(清单)A0、A1、A2和A3。在下文 中，指出在图5中所用的技术术语的英文等同含义：“连接转移”对应于“切换 (Handover)”；“具有移动性的RRC信令”对应于“RRC信令w/移动性(RRC  signaling w/mobility)”；“随机接入过程”对应于“随机访问过程(Random Access  Procedure)”；“具有小于阈值的功率的电池功率配置”对应于“CeIIPowerConfig w/ 功率<阈值(CeIIPowerConfig w/power<threshold)”；“所接收的上行链路功率” 对应于“所接收的上行链路功率(Received uplink power)”。

原因H0表示至少一个未知原因；对于后者，可以考虑观察结果，例如，与 已知原因H1、H2和H3均不匹配的事件的出现和/或未出现的给定组合。因此， 未知原因H0给测试评估者提供了如下指示：专家系统不能识别任何可能的原因 的指示；因此这通过测试评估者来实现；和/或，在检测到“未知”的原因之后， 专家系统可以可选地通过后者来补充。

各个事件通过一个链接(关系，边缘)508关联到各个原因。相反，各个链 接508使一个事件与一个原因关联。在图5中通过箭头示出链接508，即，分类 器166是方向图，其中，箭头方向指出因果关系的方向，根据该方向，一个或 多个事件506由原因504产生。本文所讨论的处理的结果因此包括从观察的事 件推断最可能的原因或者多个最有可能的原因，即使这些原因或这些原因中的 一些是不可观察的或不可直接观察的。

分类器166以贝叶斯网络形式示出原因504、事件506和链接508，其中， 指出概率的值510被分配到各个链接508。概率值510可以被解译成通过相应的 链接508指定的事件506可归因于通过链接508关联的原因的概率。这些概率 值510在分类器166内可以指定为常数。值510可以在分类器166或者专家系 统162的开发期间被指定、通过软件/固件更新来更新、和/或通过专家系统162 或者测试评估系统160的用户输入或者修改。在管理模式中(其中，没有实施 测试评估)，专家系统因此例如可以通过控制台接收输入，通过该控制台，概率 510可以通过测试人员输入或者修改，以及例如与具体的经验值匹配。

还可以构思分类器的其他方面是可变的。例如，用户可以通过控制台164 将另外的原因增添到原因H0-H3和/或从图166去除原因H0-H3中的一个或多 个。类似地，用户可以将事件增添到事件A0-A3和/或从图166去除事件A0-A3 中的一个或多个。例如，通过菜单选择，可以实施节点506、508的增添和/或去 除，通过菜单选择，与过程H0-H3、A0-A3相当的过程或者清单被提供到用户。 例如，菜单可以对于给定接口(例如，图1中的接口110)提供给定日志堆栈的 消息的选择。

关于图4中的步骤408(其可对应于图3中的步骤304)，“测量”过程，即， 用于搜索测试日志的过程被调用。以具体的术语，部件70可以加载例如字符串 (字符串序列)的列表202(对照图2)，其中，至少一个字符串被限定用于分 类器166的各个事件A0-A3。例如，字符串可以对应于消息的标识符，通过该 标识符，该消息被表征在测试日志112中。出于清楚的原因，图2中的字符序 列202仅通过图5中也示出的相应的结果名称A0-A3呈现。

部件170现实施用于模式识别的过程，即，测量或者搜索或者扫描过程， 即，例如，执行对各个字符串202的检查以确定这是否在测试日志112中出现。 另外地，可以测量另外的信息，例如，出现的位置(例如，日志文件112中的 时间戳和/或位置)、所分配的消息内容等。应该注意，来自图5的事件506还可 以涉及消息的未出现、消息中的参数等，使得部件170还检查或者测量相应的 未出现。

在完成步骤408中的扫描过程之后，接收来自处理部件172的测量结果或 者观察结果204(图2)，例如，在步骤410中读入。只要在测量过程408期间 检查事件的出现或者未出现，限定事件506的字母可以是二进制字母，例如， 这些字母仅包括字母“T”(“真”)和“F”(“假”)205。观察结果204然后可以作 为简单的顺序表进行通信，其中，“T”或“F”被分配到各个事件A0-A3。

在该实施例中，可以认为，在图5中的网络或者图166所指出的概率510 涉及相应事件506的“真”情形，即，概率值510指出实际已经出现的事件可归因 于给定的原因504的概率，也就是说，存在给定的原因504的概率。在另外的 示例性实施方式的情况中，另外的概率值可以被分配到至少一个链接508，其指 出，如果还未检测到事件，则存在相应的关联的原因的概率。采用另外的示例 性实施方式，一个概率值被分配到各个链接，但另外指出概率值是否涉及相应 事件的出现或者未出现。

已经读入的测量数据204可以包含另外的信息。因此，例如，消息内容可 以被传输用于所检测的事件，或者可以传输所检测的事件的时间次序。限定事 件的字母相应地可以是广泛的。最后，每个字母可再次与二进制字母相关，即， 可以以多个原子事件的形式表示具有不同消息内容的消息，该原子事件然后仅 可以采用二进制字母来限定。然而，事件列表，例如，列表204可以变为大量 的。基于对于各个单独情况的上述讨论，可以优化具体实施方式。

在步骤412中，处理部件172计算对于在分类器166中呈现的原因504(假 设H0-H3)的概率。伴随通过测量结果204也可用于部件172的事件，部件172 还在指示符206(图2)中读取假设504、链接V508和所分配的概率值P(V) 510。这些指示符206不必是如用于呈现图5中的原因504和概率值510的文本 字符串或者百分比；相反，指示符可以通过专家系统162的内部变量来表示， 例如，指数、整数、指针等。在内部可以通过实数来表示概率值510。

在该实施例中网络或者分类器166被视为贝叶斯网络或者贝叶斯分类器。 因此，限定图5中的图166的原因504的概率的计算可以通过调用已知的相应 计算系统基于概率510和事件列表204来实施。例如，部件172可以从相应的 库(Lib，“Library”)208取出这样的系统和/或在相应的子函数中实施计算。

作为计算的结果，返回列表210(图2)，其中，例如，在各个情况下，可 以列举所有的假设H0-H3和相应的可能原因504与所分配的概率212。在图2 中具有指示符H0-H3和百分比212的列表210的呈现已经仅出于清楚的原因被 选择。在其他示例性实施方式中，通过内部指示符仍可以在列表210中表征这 些假设。如果概率212可以唯一地通过它们在列表210中的次序分配到假设504， 则在列表210中的假设指示符还可以完全省去。

步骤410和步骤412可以近似地对应于步骤306。在步骤414和步骤416(可 以近似地对应于步骤308)中，报告部件174接收结果数据210。另外，部件174 也可以调用214(对照图2)分类器166的数据，即，例如，至少所确定的用于 在测试报告或者控制台164中输出的原因。部件174可以体现为将测试报告写 入现有的文件或者待自动创建的新文件。例如，通过合适的编辑器或者相当的 程序，文件可以被输出到控制台164用于用户，和/或被提供用于所包含的信息 的另外的机械处理。例如，文件可以是文本文件。

图6示出输出600的示例，例如，在命令行环境中，其可以是通过部件174 插入在文本报告中和/或在显示屏上显示而产生。当针对原因或者假设H0-H3所 计算的概率值产生于步骤412时，其在结果行602中被输出。在另外的结果行 604中，至少已经计算最高的概率的原因可以以文本形式命名。在该实施例中， 可以确定，基于在测试日志112中所观测的事件A0-A3的出现或者未出现，用 于在DUT 102和TE 104之间失去同步的最可能的原因是切换(HO)。对于该原 因(H1)，相比其他的原因(例如，在DUT 102中的错误的出现(H3))计算得 出更高的概率。

图7以示意形式示出来自测试报告700的示例性摘录，该示例性摘录指示 实质位置，只要这些位置在测试日志112中以书签列表的形式已经被自动地检 测，且该示例性摘录针对各个所指出的位置列举另外的信息序列。在列表700 中的条目可以归因于根据本发明的测试评估的事件以及还有来自常规测试评估 的事件。

部件174已经启动书签702的生成，其是指测试日志112中的给定位置且 指出分配到该位置的错误情形的可能的原因。具体地，通过书签702设置警告。 在通过ID 704所指定的位置处，DUT 102的不同步(OOS，“Out of Sync”)已 经被确定。ID 704可以是转移地址。在其他示例性实施方式中，行编号、时间 戳或者其他位置细节可以直接在测试日志112中指出。

如根据上文所述的本发明的步骤所计算的，书签702还包含与OOS的原因 有关的短文本指示。在控制台164上呈现测试报告的情况下，通过点击行702 可以显示另外的信息，例如，提供如来自图6的命令行输出600的细节的水平。

例如，如果两个或更多个最大概率可以并排设置在例如10％的通道内，则 代替仅输出最可能的原因，还可以输出多个原因。

图5中的分类器166呈现为两层的网络。然而，根据本发明的概率模型还 可以通过三层或者多层网络来呈现，尤其是对于更复杂的问题的自动分析。因 此，一系列观察结果或者事件可以在测试日志中被初始测量，然后通过如上文 所述的评估归因于一个或多个可能的原因，然而，对于它们来说，可以再次归 因到更基本的原因，等。

通常，事件和原因都可最终被视为过程；也就是说，过程可以同样以概率 模型表示成事件也可以表示成原因。基于此，三层网络可以被处理作为如上文 所述的两个两层网络的组合。包括第一两层网络的所计算的概率值的原因加入 第二两层网络作为结果。例如，关于在测试日志中消息的次序，时间依赖性的 分析可以被引用作为复杂分析的示例，其被提供用于呈现在多层网络。

尽管在图5中的分类器166体现为用于确定OOS的最可能的原因，然而其 他分类器可以相应地体现为例如对关于移动无线电用户装置的多个其他分析问 题的自动响应，涉及为什么网络中的应用程序不发挥作用、为什么切换不发挥 作用，为什么数据传输不发挥作用，为什么数据传输速度太低等的问题。对于 网络节点(诸如基站)的测试，类似的问题还可以用于以分类器形式的自动评 估，如根据本发明所提出的。

类似于图1、图2中的系统164的专家系统可以体现为用于基于多个不同的 概率模型的测试评估。在该上下文中，针对不同的分类器，参考图3和图4如 上文描述的步骤可以依次或者并行多次实施。模型或者相应的分类器可以用在 同一个测试日志上且可以自动的方式在该上下文中调查不同的问题。

通过根据本发明的分类器的评估可以以一个(或多个)评估工具的形式提 供到用户。在该工具的框架内，用户可以选定或者取消选定一个或多个问题。 用于链接的事件、原因和概率值的可选输入也可以在评估工具的框架内实施。 对于专用的视图或者专用窗口还可以构思对工具或者对各个选定的分类器是开 放的或者已开放的，例如，在评估控制台164的显示屏上，其中，然后还以通 过图7中的实施例所示出或者通过6中更具体地示出的缩写形式显示评估结果。

在此处描述的方法步骤通常可以以硬件电路的形式来实施为与可编程的微 处理器，专用集成电路(ASIC)和/或一个或多个数字信号处理器(DSP)的使 用组合的软件。此处描述的方法的软件编码例如可以被存储在随机访问存储器 (RAM)或者只读存储器(ROM)(例如，“可擦可编程的ROM(EPROM)”) 或者相当的半永久或者永久存储介质中。

本发明不限于所描述的示例性实施方式和此处所强调的方面；相反，在通 过所附的权利要求所指出的范围内，设置在本领域的技术人员的活动范围内的 多个进展是可行的。具体而言，对于本领域的技术人员来说，上文分别描述的 特征的给定组合是明显方便的或者有利的。