一种适用于大规模数据的降维、关联分析方法

摘要

本发明公开了一种适用于大规模数据的降维、关联分析方法，通过将高维数据投影到傅里叶域，将线性关联分析的求解特征向量问题转化为寻找有意义的傅里叶域基。由于傅里叶域基是预先定义的，且数据的特征值分布是有序的，因此通过将训练样本分批次输入来加速训练，直到所需的傅立叶基稳定有序。确定傅里叶基个数与投影矩阵，将所述投影矩阵与所述高维数据集相乘从而得到低维数据集，以方便数据的快速处理。本发明的数据降维方法，基于快速傅里叶变换和关联分析，可以去除高维度数据集中的噪声和冗余信息，减少数据处理中不必要的运算过程，提高数据降维计算中的运行速度和内存使用效率。