一种新的计算引擎测试平台、装置及系统

摘要

本发明属于计算引擎测试技术领域，具体为一种新的计算引擎测试平台、装置及系统，其包括离线测试平台、实时测试平台和测试项分析模块，所述离线测试平台包括离线性能测试、离线功能测试和离线稳定性测试，所述实时测试平台包括实时性能测试、实时功能测试和实时稳定性测试，所述测试项分析模块包括离线测试项分析和离线实时测试项分析，不仅能够分别从离线和实时两大平台依次获取性能测试、功能测试、稳定性测试三个方向获取CPU、吞吐量、内存、数据分析、实时性等指标，而且应用改进的算法不仅仅可以对离线情况下的指标进行预测，而且可以对离线和实时情况下的指标进行预测分析待测计算引擎的性能。

说明书

技术领域

本发明涉及计算引擎测试技术领域，具体为一种新的计算引擎测试平台、装置及系统。

背景技术

现如今，众多行业都在使用大数据，通过大数据去左右权衡，分析现实问题，故而，如何构建构建处理大数据的平台是研究大数据的基础。通常来说，实时计算所需要的的数据量比较小，它比较专注于反应迅速，是在内存中完成的，依照相关的报告报道，现如今的百分之90以上数据信息来自传感器、设备和技术，因此，数据增长速度也将加快。我们先从技术层面上来分析，在大数据领域中对这些数据的处理将变得越来越复杂。举个例子来说，我们在使用“滴滴”的APP的时候，必须要使用实时信息去预约打车信息，然后方便自己打车。再如，我们在进行病人监护的时候，也要利用实时信息进而处理。随之而来的计算引擎的开发和研究，吸引了计算机业界开发人员的目光和注意力。对于市场上的机器测试方法，每个测试模块不能共享并且维护工作量相对较大。

近年来，测试人员同样也要具备计算核心的新知识，这就导致需要培训周期延长，浪费经济输出。与此同时，由于最近几年，随着市场上的同种产品的应用的增加，导致激烈的竞争。为了迎合市场，同公司同产品的版本更新愈加频繁。这就加重了测试人员的工作量。因为，每次更新版本之后，测试人员将会在不同的平台、设备上对新旧功能加以测试。有时候，上线时间紧迫，测试人员不足，任务中，因此会耽误很多时间和精力。

发明内容

本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述和/或现有计算引擎测试中存在的问题，提出了本发明。

因此，本发明的目的是提供一种新的计算引擎测试平台、装置及系统，能够分别从离线和实时两大平台依次获取性能测试、功能测试、稳定性测试三个方向获取CPU、吞吐量、内存、数据分析、实时性等指标，而且应用改进的算法不仅仅可以对离线情况下的指标进行预测，而且可以对离线和实时情况下的指标进行预测分析待测计算引擎的性能。

为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：

一种新的计算引擎测试平台，包括：离线测试平台、实时测试平台和测试项分析模块。

一种新的计算引擎测试系统，包括上述的计算引擎测试平台，其中，所述离线测试平台包括离线性能测试、离线功能测试和离线稳定性测试，所述实时测试平台包括实时性能测试、实时功能测试和实时稳定性测试，所述测试项分析模块包括离线测试项分析和离线实时测试项分析，所述离线性能测试包括吞吐量、内存和CPU，所述离线功能测试包括数据分析和数据转换，所述实时性能测试包括操作性能、JVM和实时性，所述实时功能测试包括异常数据处理和数据格式。

一种新的计算引擎测试装置，包括上述的计算引擎测试平台和上述的计算引擎测试系统。

与现有技术相比：本发明在实际应用于计算引擎等平台的测试过程中具有切实的实际意义，不仅能够分别从离线和实时两大平台依次获取性能测试、功能测试、稳定性测试三个方向获取CPU、吞吐量、内存、数据分析、实时性等指标，而且应用改进的算法不仅仅可以对离线情况下的指标进行预测，而且可以对离线和实时情况下的指标进行预测分析待测计算引擎的性能。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明系统功能模块结构示意图；

图2为本发明正确率随着K值变化示意图；

图3为本发明离线测试项测试集测试结果图；

图4为本发明离线、实时测试项测试集测试结果图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施方式的限制。

其次，本发明结合示意图进行详细描述，在详述本发明实施方式时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明提供一种新的计算引擎测试平台、装置及系统，能够分别从离线和实时两大平台依次获取性能测试、功能测试、稳定性测试三个方向获取CPU、吞吐量、内存、数据分析、实时性等指标，而且应用改进的算法不仅仅可以对离线情况下的指标进行预测，而且可以对离线和实时情况下的指标进行预测分析待测计算引擎的性能，请参阅图1和图2，包括：离线测试平台、实时测试平台和测试项分析模块；

一种新的计算引擎测试系统，包括任一项的计算引擎测试平台，其中，离线测试平台包括离线性能测试、离线功能测试和离线稳定性测试，实时测试平台包括实时性能测试、实时功能测试和实时稳定性测试，测试项分析模块包括离线测试项分析和离线实时测试项分析，离线性能测试包括吞吐量、内存和CPU，离线功能测试包括数据分析和数据转换，实时性能测试包括操作性能、JVM和实时性，实时功能测试包括异常数据处理和数据格式。

一种新的计算引擎测试装置，其特征在于，包括任一项的计算引擎测试平台和任一项的计算引擎测试系统。

改进KNN对测试项结果分析

针对传统的KNN算法的缺点，引入了加权-KNN算法，其实也就是在计算距离的时候加入权重值。改进后的KNN算法步骤：

算法：加权-KNN算法

输入：测试集test_x，训练集train_x，标签labels，k值

输出：分类结果label

步骤：

1)利用欧拉距离计算test_x与train_x之间的距离distance

2)对上述distance递增次序进行排序

3)选取与test_x距离distance最小的k个点

4)计算权重w

5)确定这k个点里，类别出现的概率

6)返回概率最高的类别作为test_x的预测分类结果label。

基于ReliefF的决策树算法

由于数据集中会有不平衡数据的原因，因此上文对ReliefF算法进行了改进，接下来将阐述改进的ReliefF算法引入到决策树算法中，产生新的算法，并起名为：ReliefF_DecisionTree。

ReliefF算法的作用是先去排除掉一些无关紧要的特征，然后再将其余的特征，按权值大小进行排序，去除掉一些没有什么重要的特征。

算法：ReliefF_DecisionTree

输入：训练集D，标签集T，样本抽取次数为n，最近邻样本个数为k

输出：各个特征的权重W

步骤：

1)假设给定的特征的权重为0，W为空集

2)for j＝1 to n do

2.1)从训练集D中，随意地选择样本R；

2.2)从R的同类样本几种找到R的k个最近邻Hj(j＝1,2,...,k)，从每一个不同类样本集中找出k个最近邻的Mj(C)；

3)for A＝1 to n All feature do

End

4)If Min(W(A))&&W(A))＝＝0 do

delete feature

离线实验结果分析

在实验的过程中，采用从3609条数据集进行三分类问题，采用F1值、召回率和准确率来判断模型的好坏。采用欧拉距离作为KNN的距离公式。首先，在进行测试的时候选择训练集的百分之30进行测试，得出正确率随着K值的选择的变化图。从图2中，我们可以看出，K取5的时候，正确率是最高的。

其次，在确定到K＝5之后，利用同样的数据集，采用7:3的比例进行测试之后，得到的实验结果如下，如表1展示，可以看出加权后的KNN算法预测效果好。

表1对比实验结果

离线+实时实验结果分析

实验过程中采用的数据集是第二章所提到的针对离线和实时情况下的对计算引擎测试的测试项。其中，离线选择了CPU使用率、内存占用率、吞吐量、数值转换；实时情况下选择了异常处理和实时性延迟时间，针对获取的测试项，按照第二章行业内的分类规则标注。分别决策树、RelieF_decisionTree算法，进行模型的训练，并得出以下结果。

表2对比实验结果

通过对以上实验结果进行分析，我们可以很清楚的看出RelieF_decisionTree更适合对测试领域测试项的分类算法。

离线计算引擎之建立连接

1)执行任务

在使用本工具之前需要建立连接，我们需要目标地址、端口号、用户名和密码这四个参数，从而进行与目标地址建立远程连接。我们也可以删除对应连接以及添加新连接。

实时计算引擎之性能测试

在建立连接之后，程序会自动把测试所设计包和测试集传送到待测机器上，点击“性能测试”下的“执行任务”按钮，会显示当前数据库中所添加的所有测试用例。

系统具体实现

面向测试领域测试项分析结果

针对CPU使用率、内存使用率、吞吐量、是否发生数值转换，这四个指标，利用改进的KNN算法进行分析预测。针对CPU使用率、内存使用率、吞吐量、是否发生数值转换、是否存在异常处理以及实时延迟时间等指标，利用改进的RF_DecisionTree算法进行分析预测。此研究不仅仅适用于计算引擎测试领域的预测分析，同样适用于其他测试领域测试项分析。对测试领域，做出了很大的贡献。

离线计算引擎测试项分析

1、离线计算引擎测试项分析结果

1.1)添加任务模板。通过离线计算引擎测试工具，对离线数据下，得出计算引擎测试的测试项，然后输入指定测试项，即可得出计算引擎测试项分析结果。比如，我们输入，“cpu使用率”为20，“内存使用率”为30，“吞吐量”为40，“是否存在数值转换”为“是”。

1.2)正在执行的任务

当我们点击“执行任务”之后就会跳转到正在执行的任务列表，显示任务名称、场景、执行日期。若，等待片刻之后，该页面为空白，则代表任务执行完毕。否则，则任务执行失败.

1.3)已完成执行任务

已完成任务列表，包括显示任务名称、场景、执行日期。除此之外，我们可以点击“运行结果”按钮从而显示运行结果。

1.3.1)任务运行结果

2、离线计算引擎测试项组分析结果

2.1)假设输入的是一组离线引擎测试项组。

2.2)正在执行的任务

当我们点击“执行任务”之后就会跳转到正在执行的任务列表，显示任务名称、场景、执行日期。若，等待片刻之后，该页面为空白，则代表任务执行完毕。否则，则任务执行失败。

2.3)已完成执行任务

已完成任务列表，包括显示任务名称、场景、执行日期。除此之外，我们可以点击“运行结果”按钮从而显示运行结果。

2.3.1)任务运行结果

在扇形图图3中，“no_stress_count”代表的是无性能压力的个数，“touch_stress_count”代表的是触碰到性能阀值的个数，“sesirs_stress_Count”代表的是严重性能压力的个数。从图表中，可以清晰可见该计算引擎的分析结果，针对给定的tests_data_list_offline.xls，无性能压力占据总测试用例的百分之36.26，达到性能阀值的占据总测试用例的百分之27.46，严重性能阀值的则是剩下的百分比。

3.3.1.2离线、实时计算引擎测试项分析

1、离线、实时计算引擎测试项分析预测结果

1.1)通过利用离线和实时测试工具，得出计算引擎测试的测试项，然后输入指定测试项，即可得出计算引擎测试项分析结果。比如：假设我们输入CPU使用率为20、内存占用率为30、吞吐量为10、确实存在数值转换、并且存在异常处理、实时性延迟时间为1000ms。

1.2)正在执行的任务

当我们点击“执行任务”之后就会跳转到正在执行的任务列表，显示任务名称、场景、执行日期。若，等待片刻之后，该页面为空白，则代表任务执行完毕。否则，则任务执行失败.

1.3)已完成执行任务

已完成任务列表，包括显示任务名称、场景、执行日期。除此之外，我们可以点击“运行结果”按钮从而显示运行结果。

1.3.1)任务运行结果

2、离线、实时计算引擎测试项组分析预测结果

2.1)假设输入的是一组离线、实时引擎测试项组，添加任务模板界面。

2.2)正在执行的任务

当我们点击“执行任务”之后就会跳转到正在执行的任务列表，显示任务名称、场景、执行日期。若，等待片刻之后，该页面为空白，则代表任务执行完毕。否则，则任务执行失败。

2.3)已完成执行任务

该页面内是已完成任务列表，包括显示任务名称、场景、执行日期。除此之外，我们可以点击“运行结果”按钮从而显示运行结果。

2.3.1)任务运行结果

在扇形图图4表中，“no_stress_count”代表的是无性能压力的个数，“touch_stress_count”代表的是达到性能阀值的个,“sesirs_stress_Count”代表的是严重性能压力的个数。从图表中，可以看出了，针对给定的tests_data_list.xls，无性能压力占据总测试用例的百分之40.09，达到性能阀值的占据总测试用例的百分之29.26，严重性能阀值的则是剩下的百分比。

虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。