高维数据

摘要： 传统的数据挖掘算法在面向大规模高维数据的挖掘过程中,存在数据特征捕捉准确率低、节点负载不均衡、数据交互频繁、频繁项集紧凑化程度低等问题。提出基于MapReduce的并行挖掘算法PARDG-MR,结合高维数据特征,设计基于维度粒化算法和负载均衡算法的DGPL策略,并对数据进行预处理,以解决高维复杂数据特征属性捕捉困难及数据划分中节点负载不均衡的问题。通过构建基于PJPFP-Tree树的频繁项集并行挖掘策略PARM,实现频繁项集的并行化分组过程,从而提高数据处理的运行效率。在此基础上,提出基于剪枝前缀推论的整合节点剪枝算法PJPFP,提高频繁项集挖掘过程中的剪枝效率,增强频繁项集的紧凑化程度。在Webdocs、NDC、Gisette 3个数据集上的实验结果表明,相比PFP-growth、PWARM、MRPrePost算法,该算法的运行时间平均缩短了约20%,能够有效提高数据挖掘效率且降低内存空间。

摘要： 针对启发式特征选择和特征聚类驱动特征选择方法的不足,研究了决策依赖的特征冗余性问题,提出了一种基于邻域粗糙集的决策依赖特征聚类的高维数据特征选择方法(RDCFS).首先,依据邻域粗糙集模型,设计了一种特征联合依赖度增益度量,刻画数据特征在分类和辨识层面上的冗余性和关联性.其次,构建了一种最优特征簇结构的评估准则和特征冗余图的最优图割划分.再次,给出了一种基于簇信息的特征中心度和特征依存度度量,指导实现高维数据的特征选择.在UCI数据库中选取8组真实数据集作对比实验,实验结果表明本文所提特征选择方法能够获得更紧凑的特征子集,且在分类性能上优于多种现有最新方法.

摘要： 汽油辛烷值不仅影响汽油的经济效益,也关乎汽车尾气排放量,因此精确预测成品汽油的辛烷值对国民经济发展和环境保护都有着重要意义。为从高维的工业汽油数据集中准确预测出辛烷值含量,首先提出了一种互信息法回归(Mutual information regression,MIR)-递归嵌入式特征选择(Embedded feature selection,EFS)融合降维算法对数据特征进行评分,筛选出30个特征作为建模的主要变量;然后基于优化后的自适应集成学习随机森林算法建立了辛烷值预测模型;最后基于多种互补判别准则,与现有方法进行了充分仿真计算对比。结果显示,改进的MIR-EFS融合降维算法将数据维度减少了89.65%,训练时间减少了81.43%,预测数据的均方误差(MSE)、均方根误差(RMSE)、最小误差(Min Error)和回归平方和(ESS)分别为0.017、0.13、0.023和0.28。与现有方法相比,MIR-EFS融合降维算法的复杂度性能与计算结果更优,这表明改进的MIR-EFS融合降维算法能够准确地获取成品汽油中辛烷值的含量,为汽油辛烷值预测提供可参考的算法支持。

摘要： 利用信息熵或模糊熵确定子空间聚类中每个簇的不同特征,较好地解决了高维数据的子空间聚类.为了进一步提高聚类算法的性能,将权向量的负结构α-熵引入到高斯混合模型中,获得了结构α-熵的加权高斯混合的子空间聚类模型,提出了结构α-熵的加权高斯混合模型的子空间聚类算法SEWMM(Structuralα-Entropy Weighting Mixture Model),该算法不仅可以发现高维数据空间中位于不同子空间的簇,而且能够获得子空间中具有不同形状体积的簇.同时,进一步分析了算法的收敛性与时间复杂性.通过选取UCI(University of California,Irvine)标准数据集及图像数据集,对提出的算法SEWMM进行了实验,并与一些典型的聚类算法进行了比较,表明了提出的算法在总体性能上具有一定的提升.

摘要： 为了解决维度灾难所引起的隐私保护数据发布计算复杂度高、可用性低的问题,提出基于差分隐私采样机制和贝叶斯网络的DPSM-Bayes算法。利用贝叶斯网络模型,将高维联合概率分布转化为多个低维边缘概率分布,结合差分隐私采样机制和更适合高维概率分布加噪的IMLaplace机制,生成可用性更高的高维合成数据集。实验结果证明,在提供相同差分隐私保护的前提下,DPSM-Bayes算法能够有效地处理高维数据集的发布问题,与现有的方法相比发布的数据集具有更高的质量和可用性。

摘要： 为降低串口通信中故障数据对传输效率的影响,提出基于SOM聚类的故障数据挖掘算法。利用故障数据多为高维模式的特点,将高维原始数据根据距离与颜色属性映射在低维空间内。在低维空间中根据变量关系将数据分为高端越限数据点、低端越限数据点以及双边越限数据点,建立SOM聚类特征分布图,在同等范围内对不同类型数据点划分等级并实施特征离散化。凭借二分图故障挖掘模型模拟多个定向数据源,在每个数据源附近内设定关联规则,通过关联规则查找与数据源存在关联因子的数据点,根据对比阈值判定是否为故障数据。仿真结果证明,所提方法故障挖掘准确率高、耗费时间短,算法具有很好的适用性及使用价值。

摘要： 利用对数似然函数和自适应桥惩罚估计方法研究了高维数据下广义线性模型的参数估计和变量选择问题,利用对数似然函数和自适应桥方法构造惩罚估计目标函数,在适当的正则条件下,证明了自适应桥估计量的相合性和Oracle性质,通过数值模拟和实例分析验证了所提方法的有限样本性质及其优良性。

摘要： 大数据背景下,基于罚函数的正则化方法是高维数据变量选择的重要方法.Lasso估计是常用的变量选择方法,而Lasso正则化参数的取值直接影响选择模型的性能,是正则化方法成败的关键.针对Lasso估计,提出一种新的L曲线(LC)准则选择正则化参数.数值模拟和实际应用表明:相比CV,GCV,BIC等准则,LC准则能够以较高的概率选择真实的模型,并且具有较小的模型误差.

摘要： 伴随着网络技术的持续发展,新时代的数据多数是非结构化类型的数据信息,其特征向量的维数较高,过多的维数会引发维度灾难,通过引入特征选择的模式对于冗余特征进行检测,数据信息的特征子集能够准确获得,实现降维目标。随后由聚类成员质量以及数据差异入手,总结出适于高维数据信息分层抽样的算法。结果表明,此算法具备良好的聚类优势。此研究对后期数据挖掘领域具有非常重大的实用价值。

摘要： 含异常值的数据和高维数据越来越频繁地出现,对现有的稳健估计和多元线性回归估计方法提出了挑战。传统的多元线性回归模型估计对异常值非常敏感,基于MCD估计方法的多元线性回归估计对异常值有一定的抵御作用。但随着数据维数的增加,MCD估计的精度不断降低,稳健性也随之降低,且当数据维数大于样本量时MCD估计方法失效。因此,本文利用MRCD的均值向量和协方差矩阵估计,提出了基于MRCD估计方法的高维稳健多元线性回归模型估计。数值模拟的结果表明,基于MRCD估计方法的多元线性回归模型估计能很好地抵御异常值,且在数据维数大于样本量的情况下,基于MRCD估计方法的多元线性回归估计更为有效。实证分析的结果表明,基于MRCD方法的多元线性回归估计能更好地抵御异常值并得到更好的预测效果。

摘要： 特征选择是机器学习和模式识别领域的关键问题之一.随着模式识别与数据挖掘的深入,研究对象越来越复杂,对象的特征维数也越来越高,此时特征选择的稳定性也显得尤为重要.分析了1-范数支持向量机,用该方法对高维数据进行特征选择,并对特征选择的结果进行集成；提出了一种针对高维数据的稳定性度量方法；在基因表达数据上的实验结果表明,集成特征选择可以有效提高算法的稳定性.

摘要： 将低维空间中的相似性度量方法应用于高维空间时,由于高维数据存在着稀疏性和空空间现象的特点，高维数据对象之间距离的对比性不复存在。研究适合于高维空间的相似性度量方法已成为高维数据挖掘的主要方向之一。通过对传统相似性度量方法在高维空间中的不适应性进行了分析和总结，在基于维度的思想之上，结合特征选择算法，提出一种新的高维数据的相似性度量方法，并且对其有效性进行分析。通过数值仿真实验, 论证了该相似性度量方法在高维数据聚类中的合理性和有效性。

摘要： 异常发现是数据挖掘领域的一类重要任务，一直以来受到研究人员的广泛关注。针对高维对象的异常度量问题和异常点集合的冗余问题，本文提出了一种新的面向高维数据的异常点发现方法。该方法通过采用高维数据的二部图表示，以高维对象的压缩能力作为其异常程度的度量，能够有效支持包含多种不同属性的高维数据。为了解决top-k异常点集合中的冗余问题，我们提出了低冗余top-k异常点的概念。由于精确计算低冗余的top-k异常点是NP-hard问题，我们设计了计算近似低冗余的top-k异常点的启发式方法j-AnomaliesHD算法。从在真实和人工数据集上的实验结果可以看出，该方法不仅具有较好的扩展性，而且与不考虑冗余的异常点发现方法相比较，能够更有效地概括数据中的异常模式。

摘要： 随着信息技术在科学实验中的广泛应用,高维数据成为研究热点,惩罚类变量选择方法解决了高维统计模型的变量选择和稀疏估计问题,而基于有限样本建立的模型的可靠性和稳定性仍需通过统计推断来检验.针对高维数据统计推断的研究近来受到广泛的关注,一些研究从分割样本(sample spliting)、重复抽样(resampling)、转化KKT(Karush-Kuhn-Tucker)条件出发提出了假设检验和求可信区间的方法,一些研究基于解路径上固定的调整参数,构建假设检验并推导出统计量的精确分布,还有研究讨论了基于解路径得到一系列假设检验中多重性调整的问题.将以经典的高维数据变量选择方法Lasso(Least Absolute Shrinkage and Selection Operator)为例,阐述现有针对线性模型的统计推断方法的原理和思想。

摘要： 在高维数据分类中，针对多重共线性、冗余特征及噪声易导致分类器识别精度低和时空开销大的问题，提出融合偏最小二乘(Partial Least Squares, PLS)有监督特征提取和虚假最近邻点(False Nearest Neighbors, FNN)的特征选择方法：首先利用偏最小二乘对高维数据提取主元，消除特征之间的多重共线性，得到携带监督信息的独立主元空间；然后通过计算各特征选择前后在此空间的相关性，建立基于虚假最近邻点的特征相似性测度，得到原始特征对类别变量解释能力强弱排序；最后，依次剔除解释能力弱的特征，构造出各种分类模型，并以支持向量机(Support Vector Machine, SVM)分类识别率为模型评估准则，搜索出识别率最高但含特征数最少的分类模型，此模型所含的特征即为最佳特征子集。3个数据集模型仿真结果均表明，由此法选择出的最佳特征子集与各数据集的本质分类特征吻合，说明该方法有良好的特征选择能力，为数据分类特征选择提供了一条新途径。

摘要： 高维数据集合的最近邻查询性能会受到“维数灾难”现象的影响.提出了一种基于联合聚类的HC2高维索引结构.首先通过联合聚类算法同时降低数据尺寸和维数,将高维数据集合聚成若干较低维数的类,然后采用超立方体结构对每个类进行空间区域描述.在基于“过滤-精炼”的查询过程中,计算查询点与各个类之间的距离下界,实现对聚类的有效过滤.为了提高距离下界对真实距离的逼近能力,采用了一种基于统计优化的超立方体区域描述方法SOHC2,能够更加有效地缩小搜索空间,提高查询性能.理论分析和实验结果都表明,SOHC2的查询性能明显优于其他索引方法,适合大规模高维数据的查询；与同类索引结构相比,查询速度能够提高3倍以上.

摘要： 协同过滤技术已经成功应用于个性化推荐系统。随着电子商务的发展，以及用户与项目数量的增加，带来用户评分数据稀疏性和维度灾难等问题，使其推荐质量严重下降。针对高维数据的稀疏性和维度效应的特点，在用户模式相似的基础上，提出一种模式相似度的计算方法。采用基于用户模式相似的子空间聚类算法产生聚类，并且利用模式相似度的计算改进了协同过滤算法。对用户产生推荐。实验结果表明算法提高了系统的响应速度，同时也较大地提高了推荐质量。

摘要： 数据子集局部存在的维度相关性往往被数据集全体所掩盖.为了发现有意义的数据子集,并揭示其表达的维度局部相关性,提出一种局部相关性可视分析方法.首先采用基于测地距离和局部子空间距离的二维散点图揭示子空间聚类模式;然后基于近似覆盖面积和平均距离进行相关显著性估计,给出可能具有局部相关性的二维子空间推荐;最后实现了可视分析系统,并通过案例分析验证了可视分析系统的有效性.

摘要： 数据子集局部存在的维度相关性往往被数据集全体所掩盖.为了发现有意义的数据子集,并揭示其表达的维度局部相关性,提出一种局部相关性可视分析方法.首先采用基于测地距离和局部子空间距离的二维散点图揭示子空间聚类模式;然后基于近似覆盖面积和平均距离进行相关显著性估计,给出可能具有局部相关性的二维子空间推荐;最后实现了可视分析系统,并通过案例分析验证了可视分析系统的有效性.

摘要： 数据子集局部存在的维度相关性往往被数据集全体所掩盖.为了发现有意义的数据子集,并揭示其表达的维度局部相关性,提出一种局部相关性可视分析方法.首先采用基于测地距离和局部子空间距离的二维散点图揭示子空间聚类模式;然后基于近似覆盖面积和平均距离进行相关显著性估计,给出可能具有局部相关性的二维子空间推荐;最后实现了可视分析系统,并通过案例分析验证了可视分析系统的有效性.

摘要： 一种基于大数据平台的高维天气预报数据降维方法，构建大数据平台，获取多源气象数据；通过所述大数据平台进行所述多源气象数据的融合，形成数值天气预报数据；对所述数值天气预报数据进行数据预处理；进行所述数值天气预报数据的维度筛选；对所述高维天气预报数据进行降维。本发明可以提高天气预报数据的有效利用率，实现电力行业数值天气预报的建立与应用。

摘要： 一种采集的高维数据转换为低维数据的系统及方法，包括高维数据采集系统，所述的高维数据采集系统同数据处理系统相连接，所述的数据处理系统中包括有用于采集的高维数据转换为低维数据的模块，所述的数据处理系统中包含有用于存放高维数据的队列。这样的结构结合其方法避免了现有技术中导致数据处理系统的硬件的处理效率效果不高、耗时耗力并且在并发执行处理方面严重的会导致死机怠慢处理进程以及如果在实时处理高维数据的环境下这将会导致数据的丢失乃至无法正常反映实时状态信息的缺陷。

摘要： 一种基于数据挖掘的高维剧场数据降维可视化处理方法，属于剧场设备信息管理技术领域。它包括以下步骤：1、对高维剧场设备运行大数据进行降维处理；2、对异构数据的信息进行融合，并对融合的高维数据信息提取频繁序列模式；3、对剧场设备运行数据进行聚类处理；4、训练剧场设备运行数据向量，并根据词向量构成句子向量进行文本分类，将优化后的向量在二维语义空间进行语义可视化表示。本发明通过对海量剧场设备高维数据进行降维处理，将相似的文本收敛到可处理的量级，同时结合相关的半监督学习以及隔离森林算法对降维数据文件进行分类，设计数据分类模型算法并进行可视化展示，优化剧场设备运维数据的管理，实现高效准确的运维。

摘要： 本发明公开了一种高维数据集的数据降维、去噪方法，包括以下步骤，将高维数据集通过数据输入模块输入至云端平台的内部，云端平台将数据传输至中央处理器，中央处理器对数据集进行线性与非线性的分类。本发明通过叠加去噪自编码器、一维卷积神经网络、中央处理器和结果检测报告模块组成高维数据降噪降维系统，能够使得高维数据的降维精确度大大提高，为数据带来更客观更全面的降维方式，使得降维数据更加精细，更加灵活，解决了随着输入维数的增加，潜在特征子空间的数量呈指数级增长，导致搜索空间也呈指数级剧增，同时数据中大量不相关的特征将产生不必要的数据噪声，影响最能代表相关属性的数据子空间选择的问题。

摘要： 本发明属于应用NIR数据处理技术领域，具体涉及一种基于NIR数据中应用的高维数据降维交叉验证分析方法，包括如下步骤：检测数据异常值、预处理数据、拟合训练数据模型、交叉验证、计算预测误差、输出模型，所述检测数据异常值采用非监督学习的异常值检测方法对局部异常值检测去除可能的异常值，在进行数据修正；所述预处理数据使用乘性散射修正法修正数据之间的相互关联及不断上升的趋势，再使用SG‑filter平滑数据；所述拟合训练数据模型运行偏最小二乘法，输出不同因子对应的贡献率等相关指标；所述交叉验证运行交叉验证，为4个因变量分别选择合适的因子数量；所述计算预测误差用训练出的模型对2018数据进行预测并计算误差RMSEP，给出分析结果；所述输出模型输出误差最低的模型。

摘要： 一种增量式的高维数据转换为低维数据的系统及方法，包括高维数据采集系统，所述的高维数据采集系统同数据处理系统相连接，所述的数据处理系统中包括有用于增量式的高维数据转换为低维数据的模块，所述的数据处理系统中包含有用于存放高维数据的队列。这样的结构结合其方法避免了现有技术中导致数据处理系统的硬件的处理效率效果不高、耗时耗力并且在并发执行处理方面严重的会导致死机怠慢处理进程以及如果在实时处理高维数据的环境下这将会导致数据的丢失乃至无法正常反映实时状态信息的缺陷。

摘要： 一种采集的高维数据转换为低维数据的系统及方法，包括高维数据采集系统，所述的高维数据采集系统同数据处理系统相连接，所述的数据处理系统中包括有用于采集的高维数据转换为低维数据的模块，所述的数据处理系统中包含有用于存放高维数据的队列。这样的结构结合其方法避免了现有技术中导致数据处理系统的硬件的处理效率效果不高、耗时耗力并且在并发执行处理方面严重的会导致死机怠慢处理进程以及如果在实时处理高维数据的环境下这将会导致数据的丢失乃至无法正常反映实时状态信息的缺陷。

摘要： 本发明公开了涉及数据降维技术领域，公开了一种可调权重的高维数据降维方法及系统，该降维方法，包括以下步骤：Step1，提取数据；Step2，获取属性权重矩阵；Step3，计算加权欧式点对距离；Step4，计算高维空间联合概率；Step5，获取低维空间点分布。本发明解决了现有技术存在的降维准确度较低、误差较大等问题。

摘要： 本发明公开了一种基于邻域关系的高维数据快速降维方法以及系统，本发明首先通过探索数据点与其邻居的邻居之间的相似性以构建高维空间中数据点的近似邻域结构，避免了成对数据点之间的相似度计算，在提高计算效率的同时获得尽可能高的准确性；然后对由邻居探索而获得的数据点的邻域进行随机采样，快速生成数据点的上下文序列，进一步加快计算效率；最后利用只含一层隐含层的词向量模型Skip‑gram的高效性，学习高维数值矩阵在低维空间的嵌入表示，从而实现降维处理。本发明可处理通用的数值型矩阵，不局限于原始数据类型，并且计算速度高于同类型的Vec2vec方法，计算准确率优于当前最先进的UMAP方法。

摘要： 本发明公开了一种高维数据库多层次降维方法，包括如下步骤：步骤1：获取包含多维指标的样本数据集，对样本数据集进行预处理；步骤2：进行标准化处理，使得各指标的数据无量纲；步骤3：第一次降维，删除包含信息量不足的数据集，减少后续操作的计算量，提高计算速度；步骤4：使用关键影响力指数排序法对样本数据集进行第二次降维，降低后续步骤中的共线性问题；步骤5：基于改进的主成分分析法在不改变指标属性的基础上对样本数据集进行第三次降维，获取最终样本数据集。本发明克服机器学习算法比较复杂且运行成本较高的问题的同时，最大化保留原有指标属性，运行效率高，可操作性强。