一种基于聚类和实例硬度的过采样算法

摘要

本发明公开了一种基于聚类和实例硬度的过采样算法。属于数据挖掘技术领域，本发明首先识别小类数据，即数据集中样本较少的数据类别，计算小类数据的实例硬度，即计算小类样本的近邻样本中不同类别的样本数与总近邻个数之比，然后对所有的小类数据进行聚类，并得到不同聚类中小类样本对应的实例硬度；再计算不同聚类的标准差，得到平均实例硬度和标准差后，由统计学最优分配原理计算各聚类中应生成的数据量；对各个聚类，选择聚类中低硬度样本由插值法生成指定数量的数据。本发明的目的在于解决数据挖掘中数据不平衡而导致分类器性能较差的问题。在数据挖掘中，不平衡数据制约模型性能，过采样通过生成新数据，缩小不同类型数据的差距。