基于存储测试的大容量数据处理技术研究

摘要

在存储测试领域中，为了获得更高的数据测量精度，数据采集与存储系统的数据采集时间越来越长、数据采样率越来越大，因而采集存储的数据容量也越来越大，有的数据容量甚至达到几百个G，采集存储的数据文件里的通道数目也越来越多，有的通道数目甚至达到几千个，采集存储的数据文件的数目也越来越多，有的数据文件的数目甚至达到几千个。传统的数据处理技术已经不能满足对大容量数据的处理要求，所以对大容量数据处理技术的研究变的至关重要，它是研发能针对大容量数据进行处理的数据处理软件的前提条件。
　　本文首先对多个存储测试系统进行分析，得出存储测试领域中数据处理软件的常规功能，然后对这些常规功能涉及到的大容量数据处理难题进行技术方法研究，也是本文的研究重点:用内存映射文件技术代替分块读取数据技术读取大容量数据，以提高大容量数据的读取效率;对数据可视化的等距抽点算法进行改进，提出了块内数据分析算法，以精确捕获瞬态数据和优化数据显示;用文件索引定位方法代替遍历文件名称方法查找目标数据文件，以提高目标数据文件的查找效率;用基于Windows API函数的多线程技术代替基于MSComm控件的中断服务方式进行大容量数据的采样读数，既解决了大容量数据采样读数过程中数据丢失的问题，又提高了系统效率;用粗糙惩罚算法代替五点三次平滑算法对大容量数据进行平滑，改善了大容量数据的平滑效果。
　　最后，采用LabVIEW编程语言作为软件的开发平台，从软件工程的角度出发，将大容量数据处理技术应用到车辆测试软件的研发中。采用“白盒测试”和“黑盒测试”软件测试方法设计相关的软件测试用例，对软件的内部逻辑结构和实现功能进行测试。测试结果表明车辆测试软件内部逻辑结构合理并且实现功能可靠，能同时满足对大容量数据和小容量数据的处理要求，解决了传统数据处理软件对大容量数据处理效果不理想甚至不能处理的难题，证明了本文所研究的大容量数据处理技术在存储测试领域中具有很高的实用价值。

目录

声明

摘要

1．1 课题研究的背景及意义

1．2 国内外研究现状

1．3 论文主要研究内容及章节安排

2 存储测试系统分析和大容量数据处理技术

2．1 存储测试系统分析

2．2 大容量数据处理技术

2．2．1 采样读数功能的技术分析

2．2．2 文件读取功能的技术分析

2．2．3 目标数据文件查找功能的技术分析

2．2．4 数据可视化功能的技术分析

2．2．5 数据平滑功能的技术分析

2．3 本章小结

3 大容量数据处理技术在车辆测试软件研发中的应用

3．1 车辆测试系统分析

3．2 车辆测试软件设计方案

3．2．1 车辆测试软件需求分析

3．2．2 车辆测试软件概要设计

3．3 软件开发相关技术简介

3．3．1 虚拟仪器技术简介

3．3．2 软件开发过程思路简介

3．3．3 面向对象技术简介

3．3．4 结构化技术简介

3．4 车辆测试软件实现

3．4．1 采样读数模块的实现

3．4．2 文件读取与拆分模块的实现

3．4．3 数据可视化模块的实现

3．4．4 数据预处理模块的实现

3．4．5 数据基本分析模块的实现

3．4．6 功能扩展模块的实现

3．5 本章小结

4．1 软件测试概述

4．2 白盒测试

4．3 黑盒测试

4．4 本章小结

5．1 全文总结

5．2 本文的创新点

5．3 本文的不足之处

5．4 前景展望

参考文献

攻读硕士学位期间获得的软件著作权和参与的科研工作

致谢