一种基于大数据的射频组件自动化测试与诊断平台

摘要

本发明公开了一种基于大数据的射频组件自动化测试与诊断平台，包括数据采集层、数据处理层和诊断分析层，所述数据采集层用于采集区域范围内自动化测试系统的测试数据，所述数据处理层用于接收并管理测试数据采集层采集到的数据，将其存入数据存储器中，采用不同的存储方式存储海量的多结构化数据，所述诊断分析层作为用户的直接接口，主要包括知识库、推理机、解释器、智能库和人机交互层，为用户提供数据管理、数据分析和故障诊断，本发明通过消除数据孤岛，整合数据资源，减轻后台压力，提供大数据存储方案，提供多维度的数据分析，结合机器学习与人工的方式增加故障诊断能力，对于海量结构化、非结构化和半机构化存储提高检索速度。

说明书

技术领域

本发明属于自动化测试技术领域，具体是一种基于大数据的射频组件自动化测试与诊断平台。

背景技术

随着ATE自动化测试系统的发展，仪表互换性、TPS可开发性、可移植性，互操作性等日益受到关注。同时，伴随着被测件数量的攀升以及测试指标要求的增多，测试数据量也急剧上升，传统的自动测试系统，存在信息孤岛，处理数据量有限、诊断分析能力有限等问题，无法最大化的利用数据资源，为工程师提供参考和帮助，同时，数据报表、测试截图属于非结构化数据，传统的存储方式无法进行有效的检索和利用。

针对海量多结构化的测试数据来说，目前存在以下问题：

将海量的数据存储在磁盘阵列中，成为访问瓶颈，无法有效的整合多个测试系统的数据加以分析研判，采用人工方式整合费时费力；

传统的关系型数据库提供数据库服务，对于非结构化数据检索和存储都比较困难，此架构造成数据插入和查询性能无法扩展；

传统的ATS在故障诊断方面手段单一，知识完全依赖用户输入，无法让系统自行更新迭代总结知识，同时由于存在数据孤岛也不便于整体数据的综合分析。

发明内容

本发明的目的在于提供一种基于大数据的射频组件自动化测试与诊断平台，通过消除数据孤岛，整合数据资源，减轻后台压力，提供大数据存储方案，提供多维度的数据分析，结合机器学习与人工的方式增加故障诊断能力，对于海量结构化、非结构化和半机构化存储提高检索速度，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于大数据的射频组件自动化测试与诊断平台，包括数据采集层、数据处理层和诊断分析层；

所述数据采集层用于采集区域范围内自动化测试系统的测试数据；

所述数据处理层用于接收并管理测试数据采集层采集到的数据，将其存入数据存储器中，采用不同的存储方式存储海量的多结构化数据；

所述诊断分析层作为用户的直接接口，主要包括知识库、推理机、解释器、智能库和人机交互层，为用户提供数据管理、数据分析和故障诊断。

作为本发明再进一步的方案：所述数据采集层包括测试数据接入器、测试数据适配器和测试数据过滤器；

所述测试数据接入器用于接收各个测试系统的数据并将数据传给测试数据适配器；

所述测试数据适配用于将采集的原始数据进行格式调整等变换，使其符合系统定义，实现接入端异构异种数据库的适配，将元数据推送到中间表，并将数据推送给测试数据过滤器；

所述测试数据过滤器用于筛选，管理数据的接收情况，检验数据来源、校验数据重复性等，对经过适配器之后的标准化数据进行聚合，最终将数据传入数据存储器。

作为本发明再进一步的方案：所述数据采集层将采集的测试数据通过数据适配器转换为需要的标准化数据，再通过数据过滤器根据需要过滤掉上层不需要的杂项数据。

作为本发明再进一步的方案：所述数据采集层采集的数据包括但不限于被测件信息、测试系统基本信息、测试系统仪表信息、相关驱动信息、测试数据报表、测试程序集脚本和非结构化文档信息。

作为本发明再进一步的方案：所述数据处理层对于存储海量的多结构化数据采用大数据存储技术，包括数据存储器和数据访问器；

所述数据存储器包括分布式数据库和分布式文件系统，分布式数据库用于存储注册服务，测试数据存储服务和测试系统信息存储服务；分布式文件系统用于存储测试报表、测试截图非结构化数据；

所述数据访问器定义访问各存储系统以及数据库的接口，并设置相应的权限检查和流量控制功能，用于对存储系统的访问。

作为本发明再进一步的方案：知识库存储专业知识，推理机在一定的控制策略下，利用知识库中的知识对用户需要诊断的内容进行求解，解释器用于对推理机的推理过程以用户可理解的方式进行解释整理，让用户了解该系统的思考过程，通过人机交互层用户与用户的交互；

知识库：主要用于存储相关专业知识；

推理机：主要用于针对当前问题的条件信息，不断匹配知识库中的规则获得新的结论，并对推理过程进行记录，将相关过程推送至解释器；

智能库：主要用于针对故障诊断手段单一问题，建立机器学习算法库，供用户观察分析找到共通性；

解释器：主要用于接收推理机的过程，将其转化为用户可理解的语言。

作为本发明再进一步的方案：所述知识库的知识来源有两个方面，一是通过人机交互界面，用户手动修改调整系统知识，改进系统性能；二是通过机器学习等方式，利用海量的存储数据以及事实知识，自我学习并总结知识。

与现有技术相比，本发明的有益效果是：本发明包括测试数据采集层，测试数据处理层和诊断分析层，其中数据采集层用于采用多种渠道与各个ATS(自动化测试系统)对接，提取数据，将数据经过预处理后提交给测试数据处理层，由该层次完成存储操作，并向诊断分析层提供数据访问器，使得诊断分析层能够通过数据访问器访问到存储的原始数据，同时也能够通过数据访问器设置权限，口令等提高访问安全性；

本发明采用大数据技术与专家系统技术相结合的方式，目的在于打破测试系统之间的信息孤岛，有效的整合测试系统数据，为被测件的生命周期管理的效率提升增添动力，同时可以利用诊断分析层提供的专家系统，更加有效地利用测试数据为用户提供故障诊断、数据管理等服务，最大化的提高生产、维修效率，为我国的雷达、航天等国防事业助力。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明的系统结构示意图。

图2为本发明中流程框图的结构示意图。

图3为本发明中数据采集层的结构示意图。

图4为本发明中数据处理层的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～4，本发明实施例中，一种基于大数据的射频组件自动化测试与诊断平台，包括数据采集层、数据处理层和诊断分析层；

所述数据采集层用于采集区域范围内自动化测试系统的测试数据；

数据采集层部署在平台前端，主要负责不改变自动化测试系统原有系统的情况下，定时从各个自动化测试系统中采集所需要的数据来实现区域自动化测试系统信息平台数据的集成和共享，主要包括数据接入器、数据适配器、数据过滤器；

数据接入器：用于接收各个测试系统的数据或提取各个测试系统的数据，并将数据传给测试数据适配器，其中采集的数据包括但不限于被测件信息、测试系统基本信息、测试系统仪表信息、测试仪表驱动信息、测试数据报表、测试程序集脚本，主控计算机信息，IPMAC信息，故障诊断信息，算法程序信息，数据分析结果信息和非结构化文档信息等等。属于独立运行的进程，以固定间隔时间轮询获取自动测试系统的相关结构化数据，或提供RPC接口，使自动化测试系统能够调用该接口上传数据，然后将该数据流传输到数据适配器中；

数据适配器，对各测试系统的数据流进行数据汇总、比对、关联等处理逻辑；对采集到的数据进行必要的结构化或标准化操作；

数据过滤器，针对不同类型的数据采用不同的存储方式，将数据导入到数处理层的数据存储器中；由于从测试系统传入的数据可能携带权限或口令等信息，可以利用数据过滤器完成数据的筛选过滤等操作，可以作为采集层到存储层的安全性层。

所述数据处理层用于接收并管理测试数据采集层采集到的数据，将其存入数据存储器中，采用不同的存储方式存储海量的多结构化数据；

数据处理层为方便上层访问同时也提高安全性，设置数据访问层作为上层的访问接口，用于过滤不明访问请求、不同权限用户等；

数据存储器包括分布式数据库和分布式文件系统，其中分布式数据库，用于存储结构化关系型数据，如被测件测试数据，测试系统信息，计算机信息等。分布式文件系统，用于存储半结构化和非结构化数据如测试截图、测试视频、测试报表等；

对于分布式数据库采用非关系型数据库设计，用键/值、列数据库对海量的关系型数据进行存储，布式文件系统采用主从结构，由一个管理节点和多个数据节点组成，其中管理节点主要负责各数据节点的负载均衡调度和资源分布式调度，多个数据节点主要用于存储数据，这种设计的好处在于不仅利用起了多个测试系统的计算资源，也打破了信息孤岛；

为了提高访问效率，对于部分高并发的服务查询等，采用键值存储系统，键值存储是基于Hash查找算法的，具有查询效率高的特点，仅需查询键即可快速得到值，键值模型功能简单易于实现，具有优秀的可扩展性，因此作为支持高并发的高性能缓存；

在存储系统体系结构方面,以大量测试系统的主控计算机组成集群方式成为主流这种体系结构易于实现高可用、高性能、渐进可扩展的存储系统,并且由于存储资源与计算资源紧密祸合,不仅打破了数据孤岛，同时在扩充存储容量的同时,计算能力也能够得到提高,充分利用起各个测试系统的计算资源。文件存储是最基本的数据存储方式，文件存储的优点是访问接口简单，文件格式较为灵活，因此文件存储通常会作为高级的数据管理系统的底层存储服务；

数据访问器：主要有两个目的，其一是用于为上层提供统一的数据访问服务，方便诊断分析层对原始数据的访问；其二是用于过滤上层不安全请求，可用于识别用户信息，口令，权限等，避免越权操作。

所述诊断分析层作为用户的直接接口，主要包括知识库、推理机、解释器、智能库和人机交互层，为用户提供数据管理、数据分析和故障诊断；

其中知识库用于存储用户自行定义或系统经过算法学习得到的专业知识，推理机用于在一定的控制策略下，利用知识库中的知识对用户需要诊断的内容进行求解，解释器用于对推理机的推理过程以用户可理解的方式进行解释整理，让用户了解该系统的思考过程，人机交互层用户与用户的交互；智能库用于存放算法程序以及算法资源，可供开发人员使用，如可使用监督学习的决策树、朴素贝叶斯分类算法等辅助判断批量组件之间出现的问题或找到被测件的共通性；

知识库：主要用于存储相关专业知识，知识库的知识来源有两个方面，一是通过人机交互界面，用户手动修改调整系统知识，改进系统性能；二是通过机器学习等方式，利用海量的存储数据以及事实知识，自我学习并总结知识。

推理机：主要用于针对当前问题的条件信息，不断匹配知识库中的规则获得新的结论，并对推理过程进行记录，将相关过程推送至解释器。

智能库：主要用于针对故障诊断手段单一问题，建立机器学习算法库，供用户观察分析找到共通性。

所述数据采集层采集的数据包括但不限于被测件信息、测试系统基本信息、测试系统仪表信息、相关驱动信息、测试数据报表、测试程序集脚本和非结构化文档信息。

所述知识库的知识来源有两个方面，一是通过人机交互界面，用户手动修改调整系统知识，改进系统性能；二是通过机器学习等方式，利用海量的存储数据以及事实知识，自我学习并总结知识。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。