一种保证质量单调性的大规模数据挖掘方法

摘要

本发明给出一种保证质量单调性的数据挖掘方法，该方法将原始大数据集用PCA技术压缩处理后映射到R‑tree数据结构上；然后改进改进的K近邻分类算法对数据集进行挖掘处理。本发明给出的方法主要包含两部分：编码部分及挖掘部分，其中编码部分利用R‑tree来表示数据，它将数据中有高相似性的数据组合在一起，作为R‑tree的一个结点，以达到对海量数据压缩的目的并提高挖掘部分的效率；挖掘部分利用改进的K近邻分类算法的思想，对数据结点进行处理，预测输入的测试点分类。本发明能解决传统的算法在进行有限的时间及资源限制下对大数据挖掘时，很难做到挖掘结果的质量与资源限制的平衡以及保证近似结果质量单调性的问题。