一种面向海量数据综合评价的树状数据结构的设计与研究

摘要

随着当前计算机技术、网络、多媒体技术、通讯等技术的飞速发展，各类日常生活中充斥的大量数字资源遍布的专门业务系统，那么在如今数字化日益普及的今天，数据挖掘显得尤为重要，要利用计算机在这些大量的数据中进行有针对性的挖掘。譬如政府管理部门、大型企事业单位很多时候不需要也不可能去查阅全部的数据，而是需要从宏观的层面掌握这些数据所反映的事实，就要使用相应的数据挖掘方法，在现今众多的挖掘法中，其中有一类宏观的数据挖掘采用统计学中的综合评价方法。称面向海量数据，使用综合评价方法，利用计算机进行数据挖掘的系统为海量数据的综合评价计算系统。
　　 数据挖掘，指的是从大量原始数据中，这些数据可能不完整的、模糊的、随机的，提取其中有潜在价值的、能被人们利用和理解的信息和知识的过程。
　　 综合评价是指针对多属性体系结构描述的对象系统做出全局性、整体性的评价。综合评价又可分为综合评价方法及评价指标体系两类问题。其中前者在管理科学中已经有了大量的研究及成果；后者则与具体应用关联比较大。目前，针对海量数据，特别是实时到达的流数据系统的指标体系计算系统尚没有成熟的模型。指标体系计算系统应该包括建模、挖掘及指标综合三部分。
　　 在海量数据的综合评价中，用直观量化的数值指标来反映事物的属性。当分析某一事物时，实际上是从某一视角的不同方面分开来认识事物的，所以一个属性的指标值，可以用若干个子指标值来更详细地描述。对指标值多次细分后，指标体系就形成了一个树状的体系结构，本文提出的树状概要数据结构就是针对这种树状指标体系而设计的。
　　 在数据实时到达、规模无法预知的背景下，流数据库技术于20世纪末应运而生，在金融应用、网络监视、通信数据管理、Web应用、传感器网络数据处理等领域被广泛应用。但是，现有的流数据技术还无法方便地应用在指标体系计算这一特定领域。虽然“基于数据仓库的指标体系研究”提出了一种统一的方式来描述指标结构，将指标存放在数据仓库中再进一步挖掘，但没有考虑相关数据库表、计算环境的自动构建及可配置性，没有考虑直接从流数据中统计最底层指标，没有考虑指标综合的计算模型。
　　 本文借鉴流数据技术和OLAP多维数据分析的思想，基于提出的树状概要数据结构，实现了一个包括建模工具、指标综合计算的软件系统，能广泛应用于各种海量数据的复杂指标体系计算，大大简化指标体系计算平台的构建。