基于析因设计的大数据相关关系挖掘算法

摘要

针对高维大数据的降维问题,提出了一种基于统计学析因设计的特征选择算法-FFD.首先,使用析因设计的因子效应作为过滤式特征选择算法中特征与目标变量之间相关关系的度量标准;其次,提出一个分治算法用于搜索适合于输入数据集的最优析因设计;再次,为了解决传统实验设计需要人工执行实验的问题,提出一种数据驱动的方法从输入数据集中自动搜索析因设计的响应值;最后,根据设计矩阵和平均响应值计算因子效应,并使用因子效应对特征和交互作用进行排序,得到显著的特征和交互作用.实验结果表明,FFD的平均分类错误率比互信息最大化算法(MIM)降低了2.95个百分点,比联合互信息最大化算法(JMIM)降低了3.33个百分点,比ReliefF算法降低了6.62个百分点.因此,FFD在实际数据集中能有效挖掘与目标变量相关的特征和交互作用.