降维算法

摘要： 铁矿资源是我国国民经济基础产业中的重要组成要素,在我国经济发展中有举足轻重的地位。铁矿品位的检定效率对铁矿石开采效率有重大影响。目前,铁矿石品位的化学分析检定法,不仅存在成本较高,化验周期长的问题,更主要的是其无法实现铁矿品位原位测定,相对配矿流程存在滞后效应,无法有效降低矿石开采的损失贫化率;基于可见光-近红外光谱分析的铁矿品位原位测定技术是解决这一问题的有效途径。以225个红岭矽卡岩型铁矿测试样本的可见光-近红外光谱数据及化学分析数据为数据源,首先对原始数据进行了平滑处理,并分析了矽卡岩型铁矿可见光-近红外光谱特征,然后利用倒数对数、多元散射校正(MSC)两种预处理方法对平滑后的光谱数据进行处理,再分别以主成分分析法(PCA)、遗传算法(GA)两种降维算法对预处理前后的光谱数据进行了处理,获取了六种不同预处理组合算法处理后的数据源。其中以PCA降维算法所降维数分别为3维、3维、7维;以GA降维算法所降维数分别为477维、489维、509维。最后基于随机森林(RF)和极限学习机(ELM)建立了矽卡岩型矿石金属铁品位的定量反演模型,以决定系数(R^(2))、均方根误差(RMSE)和平均相对误差(MRE)三个指标分别对模型的稳定性、精确度、可信度进行评价。结果表明,经MSC处理及PCA降维后的数据基于ELM算法建立的定量反演模型效果最优,其R^(2)可达0.99、RMSE为0.0057、MRE为2.0%,该方法所建模型对红岭矽卡岩型铁矿品位反演精度有明显的提升。对矽卡岩铁矿品位的实时、快速分析提供了一种有效的方法,对实现矽卡岩型铁矿的高效开采具有重要的现实意义。

摘要： 近年来,高维数据算法在诸如机器学习领域以及模式识别当中有着十分广泛的应用。降维算法的目的是为了揭示出在高维数据空间中样本数据的固有的组成特性,关注于寻找原始数据集特征表示中有价值的信息。相邻区域选择问题对流形学习降维算法的性能改进至关重要。因此,该文提出一种流形学习降维算法中的新动态邻域选择方法Mod-HLLE(modified Hessian locally linear embedding)。该方法针对Hessian布局线嵌入方法HLLE进行了考察,Mod-HLLE算法是针对高维数据的局部线性嵌入降维算法的改进。Mod-HLLE主要通过计算每个数据点的局部相邻区域参数的方式来完成测量距离和欧几里德距离的评测,再通过动态的相邻区域的尺寸大小来选择新的局部相邻区域。Mod-HLLE在非噪声干扰和噪声干扰情况下,对两类典型3D高维数据集进行降维测试。实验结果表明,Mod-HLLE可以获得很好的几何直观效果,在性能和稳定性方面都优于常见的降维算法,对其他高维数据降维算法的改进也具有很好的参考价值。

摘要： 流行学习一直是深度学习、机器学习、人工智能的研究热点,其是非线性降维算法中非常重要算法思想。流行学习利用局部与欧式空间是同胚空间的概念,将高维数据空间嵌入低维流行结构,用低维局部欧氏特征表示高维数据结构。文章介绍了流行学习的基本概念、经典算法思想,对经典算法思想进行分析比较,并提出有待进一步分析和研究的问题。

摘要： 基于三种机器学习算法,对2018年南宁国家气象观测站雨量筒观测数据和降水现象仪的雨滴观测数据进行一致性检验试验。通过降维算法,对降水现象仪数据去除数据冗余,进一步分别采用多元线性回归、决策树回归、最近邻回归等3种机器学习算法验证与雨量筒数据的一致性情况。结果表明,综合性能中多元线性回归算法效果最好,在误差范围内的准确率达到85%以上;最近邻回归算法在小雨量中可以有较好的预测值,综合准确率达到75%,两种算法均优于决策树算法70%的准确率。

摘要： 子集和问题是计算机科学中的重要问题,也是构建多种公钥密码体制的基础.提出了采样归约算法,使用随机采样方法降低问题维度,将原问题分解并归约为多个更小规模的格上最短向量,降低了构造格的半径,从而提高求解的效率,得到原问题的精确解或提高近似解的逼近程度.给出了理论上采样归约算法最差情况的成功率.更进一步地,在目标解重量较低的情况下,可以进行分段采样,对问题增加限定条件,提高解题效率.实验结果表明,对于高维度的子集和问题,与CJLOSS等已有的格归约子集和问题方法相比,该算法可以更高效地求解出问题的精确解,而且可以提高近似解的逼近程度,输出近似解的平均长度达到了CJLOSS算法的0.55倍、DR算法的0.64倍.

摘要： 本文研究各因素对钢管混凝土轴压短柱承载力可靠性指标的影响大小并分析原因,通过降维算法和立方正态分布的简化四阶矩方法对圆形钢管混凝土轴压短柱的可靠性指标进行分析,探讨了混凝土强度等级、钢材强度等级、荷载效应比、含钢率、荷载效应组合、截面形式对可靠性指标的影响。研究表明混凝土强度等级对可靠性指标的影响最大,但高强混凝土对其可靠性指标影响较小;随含钢率的增大而减小,且荷载效应组合和荷载效应比对可靠性的影响比含钢率稍大;钢材强度等级对可靠性指标的影响微乎其微。

摘要： 随着电力网络的高速发展,电力负荷数据的规模与维数急速增长。为了分析数据背后的有效信息,可以采用聚类分析的手段对电力负荷数据进行挖掘分析,为异常用户检测、能效管理提供有效的应用价值。根据美国能源信息网获得的实验数据集,利用降维算法对预处理后的数据进行降维分析,分析出不同维度下5种降维算法的降维效果,然后选择KPCA和ISOMAP降维技术与K-means聚类分析算法进行结合,比较组合算法与单独K-means算法的聚类精度与聚类效率,得出结合降维技术,可以有效提高聚类分析算法的聚类能力。

摘要： 随着电力网络的高速发展,电力负荷数据的规模与维数急速增长.为了分析数据背后的有效信息,可以采用聚类分析的手段对电力负荷数据进行挖掘分析,为异常用户检测、能效管理提供有效的应用价值.根据美国能源信息网获得的实验数据集,利用降维算法对预处理后的数据进行降维分析,分析出不同维度下5种降维算法的降维效果,然后选择KPCA和ISOMAP降维技术与K-means聚类分析算法进行结合,比较组合算法与单独K-means算法的聚类精度与聚类效率,得出结合降维技术,可以有效提高聚类分析算法的聚类能力.

摘要： 简要分析了基金风格划分常用的基于收益时间序列的回归法(RBSA法)和基于持仓数据的分析法(PBSA法),重点讨论了RBSA方法,根据Sharpe的回归分析模型,解释RBSA方法不仅能合理构造基金业绩评价基准,还能客观展现基金经理的主动选择能力。作相关假设把回归模型转化为一个凸二次规划问题,利用最优化理论转化为求解局部极小值问题,并且介绍了一种降维算法,能有效快速地求解此类问题。

摘要： 能量数据作为模板攻击过程中的关键对象,具有维度高、有效维度少、不对齐的特点,在进行有效的预处理之前,模板攻击难以奏效.针对能量数据的特性,该文提出一种基于流形学习思想进行整体对齐的方法,以保留能量数据的变化特征,随后通过线性投影的方法降低数据的维度.使用该方法在Panda 2018 challenge1标准数据集进行了验证,实验结果表明,该方法的特征提取效果优于传统的PCA和LDA方法,能大幅度提高模板攻击的成功率.最后采用模板攻击恢复密钥,仅使用两条能量迹密钥恢复成功率即可达到80％以上.

摘要： 在阵列天线系统中，最重要的就是在某种准则之下如何确定天线阵的最优权重。本文研究阵列天线系统最大输出信干噪比准则下最优权重的降维算法。

摘要： 针对长期电压稳定具有慢动态的特点，在准稳态假设的基础上，建立了长期电压稳定仿真的系统模型，给出了求取暂态平衡点的修正方程及其雅可比矩阵，并利用雅可比矩阵的高度稀疏性，对修正方程采用降维算法，减少了计算量和对计算机内存的占用量，提高了仿真速度。以新英格兰10机39节点系统为例，通过仿真计算，分析了发电机过励限制器对长期电压稳定性的影响。

摘要： 高光谱遥感影像数据因其波段连续、光谱分辨率高的特性具有广阔的应用前景,但降维等数据处理过程耗时长、效率低,为实现高光谱影像数据快速降维,需引入并行处理.本基于nVidia的图像处理单元(graphic processing unit,GPU)研究最大噪声分数变换(Maximum Noise Fraction Rotation,MNF Rotation)降维算法的移植与优化,通过对加速热点并行优化,最终择优整合,设计并实现基于CPU/GPU异构系统的G-MNF算法.实验结果显示G-MNF算法加速46.5～92.9倍不等.

摘要： 正交张量近邻保持嵌入是一种有效的张量图像的降维工具,但仍存在监督判别信息不足的问题.为此本文提出正交张量监督近邻保持嵌入(Orthogonal Tensor Supervised Neighborhood Preserving Embedding,简称OTSNPE) 降维算法.该算法首先将二维图像看成二阶张量空间的点;然后在同类样本中选择近邻并进行线性重构;最后通过特征保持提取投影方向.投影后的特征既能有效地保持张量图像像点之间的空间关系,又能较好地保持蕴含在张量图像之间的类内局部重构关系和近邻关系.在AR和YaleB人脸数据集上的实验验证了该算法的有效性.

摘要： 随着多媒体以及P2P网络的发展，针对高维数据基于属性的窗口查询已经成为一个重要研究课题．提出了一种在超级节点P2P网络中有效解决高维数据的窗口查询算法，在每个单独的网络节点上，数据通过一种降维算法映射到一维空间，在超级节点上，构造数据的统计信息表以及构造网络查询树，算法在每次查询时，按照查询树的规则来访问整个网络，并利用统计信息剪枝网络中的节点查询，避免网络的泛洪．实验中使用了不同的数据集来评测算法的查询效率，结果表明该算法具有很高的查询效率．

摘要： 因为运动特征数据的高维复杂性,采用扩展的非线性的ISOMAP流形学习的降维算法来对运动特征数据进行降维.在运动数据降维之后,为大规模运动捕获数据库建立一种新的参考索引体系(RI),在检索过程中可以排除绝大部分与查询例子无关的运动数据,这样运动检索中的相似度的计算被缩小到一个小范围候选数据集合中,避免了大量不必要的开销,从而提高了检索的效率。

摘要： 列举几种降维算法,包括经典主成分分析、非线性主成分分析、独立成分分析以及非线性独立成分分析,并对这几种方法进行比较,给出实验数据.结果显示非线性方法要好于线性方法,独立成分分析要好于主成分分析.

摘要： 推力分配，即如何将期望控制指令在冗余配置的推力器间进行合理分配，是航天器喷气姿态控制系统设计的一个重要组成部分。本文以伪逆法为基础，针对目标函数为控制量的二范数最优问题，提出了在求取伪逆解之前，对系统做预处理进行降维这一解决推力分配问题的新方法。并以大型空间站组合体为背景进行了数学仿真，验证了算法的可行性及有效性。

摘要： 推力分配，即如何将期望控制指令在冗余配置的推力器间进行合理分配，是航天器喷气姿态控制系统设计的一个重要组成部分。本文以伪逆法为基础，针对目标函数为控制量的二范数最优问题，提出了在求取伪逆解之前，对系统做预处理进行降维这一解决推力分配问题的新方法。并以大型空间站组合体为背景进行了数学仿真，验证了算法的可行性及有效性。

摘要： 推力分配，即如何将期望控制指令在冗余配置的推力器间进行合理分配，是航天器喷气姿态控制系统设计的一个重要组成部分。本文以伪逆法为基础，针对目标函数为控制量的二范数最优问题，提出了在求取伪逆解之前，对系统做预处理进行降维这一解决推力分配问题的新方法。并以大型空间站组合体为背景进行了数学仿真，验证了算法的可行性及有效性。

摘要： 本发明公开一种基于高相关滤波算法和PCA算法的钻井数据降维方法，通过对获取的钻井工程数据进行常量列的判断；将常量列的维度进行去除，非常量列的维度进行归一化处理，归一化后的数据各个维度样本之间进行相关系数求解，将相关系数组成第一相关系数矩阵；将第一相关系数矩阵通过高相关滤波法进行降维，得到降维后的第二相关系数矩阵；将降维后的第二相关系数矩阵进行PCA法降维，得到降维后的钻井工程数据矩阵。本发明具有保留原始钻井数据的特点，降低数据之间的信息冗余的优点。

摘要： 本发明公开一种基于高相关滤波算法和PCA算法的钻井数据降维方法，通过对获取的钻井工程数据进行常量列的判断；将常量列的维度进行去除，非常量列的维度进行归一化处理，归一化后的数据各个维度样本之间进行相关系数求解，将相关系数组成第一相关系数矩阵；将第一相关系数矩阵通过高相关滤波法进行降维，得到降维后的第二相关系数矩阵；将降维后的第二相关系数矩阵进行PCA法降维，得到降维后的钻井工程数据矩阵。本发明具有保留原始钻井数据的特点，降低数据之间的信息冗余的优点。

摘要： 本发明涉及近红外建模数据处理技术领域，更具体的说，涉及一种基于随机投影算法的近红外光谱定量分析降维方法及系统。本发明包括：步骤S1、获取近红外光谱xval样本及对应的理化性质值yval作为样本集；步骤S2、将样本集划分为校正集和验证集，计算平均光谱xavg；步骤S3、分别对近红外光谱xval和平均光谱xavg进行预处理得到光谱矩阵Xval和平均光谱矩阵Xavg；步骤S4、基于高斯随机投影算法对光谱矩阵Xval进行随机降维投影，得到降维后的光谱矩阵XvalRed；步骤S5、建立人工神经网络预测模型；步骤S6、采用验证集对模型进行检验；步骤S7、对输入的近红外光谱进行定量分析，输出对应的理化性质预测值。本发明不需要进行光谱的波长选择，降低建模难度，缩短建模的时间。

摘要： 本发明涉及机器学习领域中流形学习的数据降维问题，提出了一种基于准直测地线分解与低维嵌入的数据降维算法。首先提出准直测线的概念以及分解原则，对高维数据集进行准直测地线分解，之后根据每个样本点所在准直测地线的情况利用起点、方向与测地距离进行低维预测，位于多条准直测地线的样本点会有多个预测值，通过最小化预测误差建立方程，得到低维空间中起点矩阵与方向矩阵的优化解，最后根据求出的优化解对各样本点进行迭代得到高维数据集的低维表示。本算法保证了分解后准直测地线总数远小于样本点总数，且准直测地线网络具有稳定的结构，利用较小的计算量得到稳定、准确的结果。

摘要： 本发明提出了一种基于信息熵的高维数据降维算法。属于高维数据预处理领域。本发明旨在解决传统PCA算法在实际的应用中存在的问：当数据维数(特征)足够高的时候，无法将所有数据特征读一次性入内存以进行分析计算，实验在不借助云平台、分布式计算平台的情况下，使用了分块处理的方法，但是此方法处理耗时太长，不能满足实际应用需求。在此基础上，引入信息熵的思想，对PCA算法进行了改进，使得改进后的算法能够用于处理超高维数据降维，实验结果表明在保证保留相同比例原始数据信息的情况下，后者运行耗时相较于分块处理算法缩减了60倍。

摘要： 有鉴于此，本发明提出了一种基于手机WiFi RSS数据和降维算法的指纹定位方法，能够准确估计出手机WiFi RSS数据在室内的位置坐标，完成WiFi指纹库构建，进而实现用户的准确定位。本发明对各个手机WiFi RSS数据的RSS指纹值进行降维处理，得到每个数据点的二维相对位置坐标，把各个数据点的二维相对位置关系映射到二维平面空间上，得到各个手机WiFi RSS数据在室内楼层内的真实二维位置坐标。

摘要： 本发明属于高分辨多光谱数据PCA降维算法技术领域，公开一种基于异构计算的高分辨多光谱数据PCA降维算法的加速计算方法：步骤一、实现高分辨多光谱遥感数据的多维数据体的读取和加载；步骤二、通过基于循环分裂窗算法的异构计算方法来求解单维度数据的非背景像元的自比例加权平均值；步骤三、实现单维度数据的非背景像元数据的中心标准化；步骤四、通过异构计算方法求解数据体的各维度间的协方差矩阵；步骤五、利用基文斯旋转矩阵迭代法来求解协方差矩阵的特征值和对应的特征向量；步骤六、求解多维像元向量在各个主成分上的投影；步骤七、获取和存储经投影计算后的若干个主成分波段的结果数据，本发明能实现大数据体量下的PCA降维算法的加速优化。

摘要： 本发明提供了一种UMAP降维算法，将其运用于高速电主轴故障的识别的方法，首先获取高速电主轴振动信号，同时遍历数据库中的高速电主轴振动数据，利用时域分析和频域分析来构造高速电主轴振动信号的初始特征集，利用均匀流形逼近与投影(uniform manifold approximation and projection，UMAP)算法进行降维，得到具有鉴别性和简捷性的故障特征，实现诊断模型数据质量的提升，最后将数据利用遗传算法(genetic algorithm,GA)优化支持向量机(support vector machine,SVM)的参数来进行智能故障识别，从而实现高速电主轴故障识别。

摘要： 本发明提供了一种UMAP降维算法，将其运用于高速电主轴故障的识别的方法，首先获取高速电主轴振动信号，同时遍历数据库中的高速电主轴振动数据，利用时域分析和频域分析来构造高速电主轴振动信号的初始特征集，利用均匀流形逼近与投影(uniformmanifoldappr oximationandprojection，UMAP)算法进行降维，得到具有鉴别性和简捷性的故障特征，实现诊断模型数据质量的提升，最后将数据利用遗传算法(geneticalgorithm,GA)优化支持向量机(supportvectormachine,SVM)的参数来进行智能故障识别，从而实现高速电主轴故障识别。

摘要： 本发明属于环保节能领域，公开了一种基于LLE降维算法的锅炉燃烧效率预测方法和系统，构建包含锅炉效率影响因素数据和燃烧效率数据的数据集，将数据集进行归一化处理，并通过LLE降维算法对锅炉效率影响因素进行降维处理；将降维处理后的数据集分为测试集和训练集，将训练集送入机器学习算法中进行训练，直到达到设定的迭代次数或者精度要求；输出锅炉燃烧效率预测模型，解决了原先降维效果较差和锅炉效率预测不准的问题，具有较好的降维效果，预测精度和预测速度。