从数据集中挖掘频繁函数集的研究和应用

摘要

数据挖掘是当前数据库研究开发和应用的热点。函数挖掘是从科学数据中发现有效的函数关系，它是数据挖掘技术的重要研究方向。　　传统的函数挖掘本身具有很多局限性，在实际问题中难于应用：(1)挖掘目标是单个函数，但单个函数对现实世界中规律的描述能力很弱；(2)它难以被应用在复杂的数据集上。为了弥补这些缺陷，本文做了如下探索： (1)对函数挖掘的概念进行了扩展，提出了新的、描述能力更强的函数挖掘对象——频繁函数集(FFS)，这一新概念旨在描述在指定数据集上具有一定支持度的函数关系簇。　　(2)分析了频繁函数集的性质。 (3)提出了可配置的FFS挖掘算法——ConfigurableFrequentFunctionSetDiscoveringAlgorithm(CFFSDA)，它灵活，可以配置使用多种搜索算法。 (4)分析CFFSDA的不足，进一步提出了可以满足用户不同兴趣需求的基于约束的频繁函数集(ConstrainedFFS)和相应的挖掘框架。 (5)基因表达式编程(GEP)是函数关系挖掘的新方法，本文利用GEP配置实化了CFFSDA，并且在GEP研究中首次采用了精度阈值队列策略(PTQ)，该策略有效地提高了算法的成功概率。 (6)探索了FFS在数据库查询优化和分类中的应用。举例说明了利用FFS进行查询优化，在其WHERE子句有等值条件和某些比较条件的SQL选择语句中，比传统查询优化策略有更好的效率。 (7)通过实验证实了FFS的强大描述能力和FFS在分类中的应用。同时也证实了PTQ的有效性，它使算法在挖掘高精度复杂函数时的成功概率提高了55倍。

目录

文摘

英文文摘

0.引言

1.数据挖掘综述

1.1数据挖掘的重要意义

1.2数据挖掘的内涵

1.3数据挖掘功能

1.3.1概念/类描述：特征和区分

1.3.2关联分析

1.3.3分类和预测

1.3.4聚类分析

1.4函数挖掘

1.4.1一元线性回归模型

1.4.2非线性回归

1.4.3其它回归模型

2.频繁函数集

2.1传统函数挖掘的局限性

2.2频繁函数集

2.2.1基本概念

2.2.2频繁k元函数集FFSk性质

2.2.3频繁函数子集

2.2.4频繁函数集挖掘——在何种数据上进行？

2.2.5可配置的FFS挖掘算法——CFFSDA

2.3基于约束的频繁函数集

2.3.1 FFS上的约束

2.3.2基于约束的频繁函数集

2.3.3基于约束的频繁函数集挖掘框架

3.基于基因表达式编程的频繁函数集挖掘算法

3.1 GEP算法简介

3.2精度阈值队列

3.3配置GEP的KCFFSD

4.频繁函数集的应用

4.1频繁函数集在查询优化中的应用

4.1.1查询处理简介

4.1.2代价模型

4.1.3查询代价的度量

4.1.4使用例表的说明

4.1.5等值查询优化比较

4.1.6其它类型的等值查询语句

4.1.7涉及比较的选择

4.2 FFS在分类中的应用

5.实验与性能分析

5.1频繁函数集挖掘

5.2利用FFS进行分类

5.3时序数据上的FFS挖掘

5.4采用精度阈值队列和采用单一精度阈值的比较

5.4.1实验数据集说明和参数设置

5.4.2实验评估指标

5.4.3实验结果分析

6.结束语

参考文献

本文作者在攻读硕士学位期间发表的文章

声明

致谢