基于模糊聚类的数据库空值估计研究

摘要

随着数字时代的来临，数据的存储和处理工作越来越得到重视。数据挖掘技术作为一种数据处理方法需要对数据进行有效的预处理，而预处理过程中对存储在数据库中的缺失数据进行推导并填补已经成为一个亟待解决的热点研究问题。
　　普通FCM算法仍然存在初始聚类中心的选择具有随机性以及收敛较慢等问题。针对初始聚类中心的选择，结合k维树和空间划分树，分别提出了改进的FCM算法。该算法能够有目的地找到一组优化的初始聚类中心从而减少迭代次数和运行时间。
　　针对数据库中的空值问题，给出一种基于FCM关系数据库单空值估计方法。算法通过相关降维技术获得一组较为客观的空值属性的依赖属性。在此基础上利用改进的FCM算法对数据集进行聚类。针对每一个聚类中情况的不同，分别使用多元线性回归的方法得到一个近似的拟合函数。实验表明该方法能够提高空值估计的准确性，得出的估计值具有较高的准确率。
　　大多数空值估计方法仅仅基于空值所在数据表的信息，而忽视了关系数据库中数据表之间的关联关系。针对这一问题，利用数据表间的外键传递关系，引入多表间的关联关系以扩充空值所在数据表的信息。根据数据库中空值所在表和其他表的关联关系的不同模式，提出三种不同模式下扩充空值所在数据表信息的方法。对数据表中多个属性上同时存在的空值，以往常用的方法忽视了空值之间的依赖关系，更没有注意到空值估计的顺序问题。对此研究了表内空值间的相关关系，给出了空值的选取与转化方法以及空值的估计优先级。在两者基础上提出一种基于多表关联信息的数据库多空值估计方法。实验表明该方法与本文提出的基于FCM的数据库单空值估计方法以及其他常用的空值估计方法相比，具有更高的准确率。