统计学习理论

摘要： 针对分类问题,基于可拓学的思想,提出了可拓支持向量分类机算法.与标准的支持向量分类机不同,可拓支持向量机在进行分类预测的同时,更注重于找到那些通过变化特征值而转换类别的样本.文中给出了可拓变量和可拓分类问题的定义,并构建了求解可拓分类问题的两种可拓支持向量机算法.把可拓学与SVM结合是一种新的方向,文中所提出的算法还有待进一步的理论分析,将在未来的工作里,继续探索如何在可拓学的基础上,构建更加完善的可拓SVM方法.%We propose an extension support vector machine (ESVM) to address the classification problem. Unlike the standard support vector machine, ESVM considers samples that can be converted into different labels by changing some feature values. We define the extension variables and extension classification problems and construct the corresponding optimization problem using a heuristic algorithm. In the future, we will improve the proposed method to incorporate the extension theory.

摘要： 引进了一种新的支持向量机的机器学习算法,解决了传统的机器学习算法在商业银行信贷企业选择方法上存在的局限性.以中小信贷企业为研究对象,运用支持向量机算法来解决分类问题和回归问题.通过某商业银行在中小信贷企业选择中的实际应用,并同神经网络训练得出的结果进行对比,证明这种支持向量机的机器学习算法,不仅具有较高的训练效率,而且有更高的精确度.

摘要： 支持向量机(support vector machine,SVM)是基于统计学理论的一种典型的机器学习方法,具有坚实的理论基础,较强的推广能力,在解决小样本、非线性、高维度的问题上SVM表现出较好的学习性能.随着研究的深入,SVM被广泛应用于各个领域,本文介绍了统计学和支持向量机的基本理论,支持向量机的相关应用研究及未来研究方向和发展前景.

摘要： 假设空间复杂性是统计学习理论中用于分析学习模型泛化能力的关键因素。与数据无关的复杂度不同， Rademacher复杂度是与数据分布相关的，因而通常能得到比传统复杂度更紧致的泛化界表达。近年来， Rademacher 复杂度在统计学习理论泛化能力分析的应用发展中起到了重要的作用。鉴于其重要性，本文梳理了各种形式的Rademacher 复杂度及其与传统复杂度之间的关联性，并探讨了基于Rademacher 复杂度进行学习模型泛化能力分析的基本技巧。考虑样本数据的独立同分布和非独立同分布两种产生环境，总结并分析了Rademacher复杂度在泛化能力分析方面的研究现状。展望了当前Rademacher复杂度在非监督框架与非序列环境等方面研究的不足，及其进一步应用与发展。%Measuring the complexity of a hypothesis space plays a crucial role in statistical learning theory. Unlike those data-independent complexities, Rademacher complexity, which is data-dependent, can attain a much more compact generalization representation. In recent years, Rademacher complexity has attracted more attention and found broad applications in the development of statistical learning theory. Because of its importance, in this paper we review several complexity measures of function classes and their relations with Rademacher complexities. Next, we describe the techniques of Rademacher complexities in generalization analysis. Then, we present the recent researches of Rademacher complexity learning bounds for independent and identical distribution (i.i.d.) and non-independent and identical distribution (non-i.i.d.). Finally, we discuss the potential issues and possible directions of Rademacher complexities in statistical learning theory.

摘要： 多源数据学习在大数据时代具有极其重要的意义.目前,多源数据学习算法研究远远超前于多源数据学习理论研究,经典的机器学习理论难以应用于多源数据学习,更难以提供多源数据学习算法在实际应用中的理论保障.从学习的最终目的是知识这一认知切入点出发,对人类学习的认知机理、机器学习的三大经典理论(计算学习理论、统计学习理论和概率图理论)以及多源数据学习算法设计这3个方面的研究进展进行总结,最后给出未来研究方向的思考.%In the age of big data,learning from multi-source data plays an important role in many real applications.To date,plenty of multi-source data learning algorithms have been proposed,however,they pay little attention to the fundamental theoretic laws.Meanwhile,it is hard for the classical machine learning theories to govern all learning systems,and to further provide a theoretical support for multi-source learning algorithms.From the perspective of knowledge acquisition through learning,a survey is given on the research progress of three key problems:the human cognitive mechanism,three classical machine learning theories (such as computational learning theory,statistical learning theory,and probabilistic graphical model),and the design of multi-source learning algorithms.Future theoretical research issues of multi-source data learning also presented and investigated.

摘要： 支持向量机(support vector machine,SVM)是一种基于统计学习理论的新型的机器学习方法,由于出色的学习性能,已经成为当前机器学习界的研究热点.本文系统地介绍了支持向量机分类和回归的理论基础,运用统计软件对分类和回归进行数值模拟实验并分析结果.

摘要： 支持向量机(SVM)是在统计学习的VC维理论和结构风险最小化原理基础上建立起来的机器学习方法，其训练算法本质上是一个二次规划的求解问题。首先简述了SVM的基本原理，然后对SVM改进算法进行了概括，如最小二乘支持向量机、模糊支持向量机和粒度支持向量机等。接着介绍了改进支持向量机的应用，最后对该领域存在的问题和发展趋势进行了展望。

摘要： 支持向量机(SVM)是在统计学习的VC维理论和结构风险最小化原理基础上建立起来的机器学习方法,其训练算法本质上是一个二次规划的求解问题.首先简述了SVM的基本原理,然后对SVM算法进行了概括,如块算法、分解算法,序列最小优化算法及最小二乘支持向量机、模糊支持向量机和粒度支持向量机等.接着介绍了支持向量机的应用,最后对该领域存在的问题和发展趋势进行了展望.

摘要： 统计学习理论是研究小样本情况下机器学习的理论.在该理论基础上发展起来的支持向量机在许多方面都有应用.系统地整理分析了统计学习理论基础研究的文献,将其主要划分为概率空间的扩展,随机样本的变化,以及两者相结合三个方面介绍了统计学习理论基础研究的新进展,并对未来的发展进行了展望.

摘要： 传统的电网薄弱环节识别方法必须对预想故障进行仿真,以判断稳定性,无法直接识别当前运行方式下电网的薄弱环节.统计学习方法依靠对大量训练样本的类比和学习,寻求状态参数与稳定性之间的映射关系,形成电网薄弱环节识别知识.这种方法无需在线仿真,可以通过离线样本的采集与学习,从而加快在线评估速度,并且能挖掘出深层次的有用信息.本文探讨了基于统计学习理论的电网薄弱环节识别技术框架,提出以故障地点电气特征、拓扑特征和故障区域特征为影响稳定性关键特征的技术构想.并研究通过分析输入输出相关性,最终实现识别电网薄弱环节及其关键特征的方法.

摘要： 支持向量机(SVM)在学习模型中运用了统计学习中的VC维理论和结构风险化原则,具有很好的泛化性能,在小样本学习问题上表现突出.本文主要介绍了统计学习理论和支持向量机的基本思想,通过目前SVM训练算法的研究成果分析了它在数据挖掘中(尤其是分类算法上)的应用,并阐述了支持向量机在数据挖掘领域中实现的方法.

摘要： 核函数在支持向量机中起到关键作用,然而金融高频数据挖掘的经验分析表明,尽管各种核函数秉性各异,但是选择不同的核函数对结果的影响并不显著.研究发现,主要是因为共同支持向量的比例很高,存在很大程度的一致性.这种情况下,采用混合核函数是得不偿失的.另一方面,从支持向量机提出的逻辑背景——统计学习理论——来看,混合核函数也不是被鼓励的做法.退一步,模型并不是现实的复制,而只是现实的抽象和简化,所以,应该学会在既不偏离现实太远又能把握重要的本质特征之间折衷,而不是在模型的复杂程度上做徒劳的努力.

摘要： 支持向量机是新一代的机器学习算法,采用结构风险最小化原则,以统计学习理论作为基础,其训练等价于解决二次规划问题,具有收敛速度快、预测能力强、全局最优等显著特点.本文支持向量机算法本身入手,通过介绍支持向量机故障检测及故障诊断方面的应用,验证支持向量机算法在电力设备故障诊断领域的有效性和优越性,并提出支持向量机算法电气设备应用的可行性.

摘要： 详细介绍了一种新的机器学习方法-----相关向量机(Relevance Vector Machine).相关向量机是一种新的基于贝叶斯统计学习理论的学习方法，与支持向量机(Support Vector Machine)的相比，可以有概率型输出、更稀疏和核函数选择更自由等优点.详细讲述了相关向量机的研究现况、理论基础及算法思想，并通过仿真实验说明了该方法的有效性，最后展望了相关向量机的研究发展趋势，且提出了相关向量机中仍需解决的关键问题。

摘要： 支持向量机是基于统计学习理论,最终归结为最优化方法问题的一种新型机器学习方法,支持向量机是基于两类分类问题而提出的,对多类分类问题的研究目前还仔在许多问题,有很多工作要做,并且支持向量机对噪声和异常点是敏感的,提高支持向量机的抗噪能力有待进一步研究。rn 针对支持向量机对噪声和异常点是敏感的,为了减少噪声和异常点对支持向量机的影响,提出了一种减少噪声影响的支持向量机。考虑了每一个样本点的重要程度,设计了一种新的目标函数,对样本点的被错划的程度进行了重新的描述,控制了误差函数的范围,这样通过求解多偶问题获得了简化分隔超平面,增大了超平面的分类间隔,并且减少了支持向量的个数,减少了运行时间。实验结果显示本文提出的方法比标准的支持向量机有更好的分类效率和泛化能力。

摘要： 中长期电力负荷是一个受到社会、经济等多方面因素综合影响的复杂过程,传统预测算法难以准确预测.针对这一问题,利用支持向量机回归理论和混沌序列预测理论,提出基于混沌支持向量机CSVM的预测算法:通过混沌理论找出嵌入维,通过信息几何选择核函数,然后通过SVM进行预测.最后,把CSVM算法应用到某省中长期电力负荷预测中并同BP、RBF、SVM等传统预测方法进行对比,实验证明该算法比其他算法准确有效.

摘要： 中长期电力负荷是一个受到社会、经济等多方面因素综合影响的复杂过程,传统预测算法难以准确预测.针对这一问题,利用支持向量机回归理论和混沌序列预测理论,提出基于混沌支持向量机CSVM的预测算法:通过混沌理论找出嵌入维,通过信息几何选择核函数,然后通过SVM进行预测.最后,把CSVM算法应用到某省中长期电力负荷预测中并同BP、RBF、SVM等传统预测方法进行对比,实验证明该算法比其他算法准确有效.

摘要： 中长期电力负荷是一个受到社会、经济等多方面因素综合影响的复杂过程,传统预测算法难以准确预测.针对这一问题,利用支持向量机回归理论和混沌序列预测理论,提出基于混沌支持向量机CSVM的预测算法:通过混沌理论找出嵌入维,通过信息几何选择核函数,然后通过SVM进行预测.最后,把CSVM算法应用到某省中长期电力负荷预测中并同BP、RBF、SVM等传统预测方法进行对比,实验证明该算法比其他算法准确有效.

摘要： 中长期电力负荷是一个受到社会、经济等多方面因素综合影响的复杂过程,传统预测算法难以准确预测.针对这一问题,利用支持向量机回归理论和混沌序列预测理论,提出基于混沌支持向量机CSVM的预测算法:通过混沌理论找出嵌入维,通过信息几何选择核函数,然后通过SVM进行预测.最后,把CSVM算法应用到某省中长期电力负荷预测中并同BP、RBF、SVM等传统预测方法进行对比,实验证明该算法比其他算法准确有效.

摘要： 本发明公开了一种基于统计学习和深度学习的工业控制系统(ICS)通信网络异常分类方法。该方法基于大数据量的工业控制系统通信网络正常运行时的流量，设计LSTM深度学习结构参数并进行建模分析。通过分析结合前期基于SARIMA在线统计学习模型所生成的实时通信流量数据阈值，设计关联算法分析背景流量与实时流量之间的数值关系。根据ICS网络异常事件分类算法对ICS通信网络异常进行具体分类。本发明以浙江省某工控安全虚实结合的靶场测试台进行实验分析，同时在实验室环境搭建实物仿真平台进行验证实验，并给出了详细的实例验证其算法的可靠性和准确性。

摘要： 本发明公开了一种基于统计学习和深度学习的工业控制系统(ICS)通信网络异常分类方法。该方法基于大数据量的工业控制系统通信网络正常运行时的流量，设计LSTM深度学习结构参数并进行建模分析。通过分析结合前期基于SARIMA在线统计学习模型所生成的实时通信流量数据阈值，设计关联算法分析背景流量与实时流量之间的数值关系。根据ICS网络异常事件分类算法对ICS通信网络异常进行具体分类。本发明以浙江省某工控安全虚实结合的靶场测试台进行实验分析，同时在实验室环境搭建实物仿真平台进行验证实验，并给出了详细的实例验证其算法的可靠性和准确性。

摘要： 本发明公开了一种基于语音统计学习的意识评估方法及系统，该方法包含：配置语音刺激材料；向受试者多次播放语音刺激材料；采集每个受试者的脑电信号数据；对脑电信号数据进行预处理；对预处理后的脑电信号数据进行计算得到每个受试者的脑电信号数据的特征数据；从特征数据中识别出具有区分度的区别特征数据；通过多个受试者的区别特征数据及其对应的用户类别对SVM分类器进行训练；获取到未知类别的用户的区别特征数据并输入到训练好的SVM分类器中得到该用户对应的用户类别。本发明的基于语音统计学习的意识评估方法及系统，在语音刺激的同时同步记录高精度脑电数据，通过对脑电数据进行解码分析，实现意识障碍患者统计学习能力的量化。

摘要： 本发明提供用于选择用于检验样品的模式的方法及系统。一种方法包含统计预测集合中的数据点是否对应于样品上的缺陷或扰乱点。所述数据点包含针对所述样品上的离散位置从通过检验系统的两个或更多个模式产生的输出确定的属性。已在所述离散位置处使用所述模式中的至少一者检测事件。所述方法还包含确定所述模式的两个或更多个不同组合中的每一者的定量测量，借此确定不同定量测量。所述不同组合中的每一者的所述定量测量是响应于所述组合中的一者检测所述缺陷且最小化所述扰乱点的检测的良好程度。所述方法进一步包含基于经确定定量测量选择用于检验与所述样品的类型相同的样品的所述模式中的一或多者。

摘要： 本发明提出一种结合统计学习和时频分析的动静脉瘘异常震颤信号识别系统及方法，采用改进频率小波切片变换（MFSWT）生成信号的时频能量谱，利用归一化能量统计生成能量特征，通过分类器进行动静脉瘘异常震颤信号分类。具有精确的信号成份时频定位、独立重构、自适应、易用以及好的可理解性等优点，能够通过信号处理从震颤信号中获取有效信息。

摘要： 本发明公开了一种认知卫星通信中多参数统计学习决策方法，其步骤包括：确定需要学习的认知卫星通信的系统参数；次级用户需根据自身的QoE需求与各个系统参数之间的关系，建立QoE度量函数，次级用户在利用其选择的信道进行信息传输时，利用该QoE度量函数得到次级用户的QoE回报值；次级用户根据传输情况信息和感知情况信息，对未知的系统参数进行统计学习，并做出频谱决策；当次级用户感知到某信道为空闲时，次级用户以最大发射功率利用此信道传输信息；次级用户更新学习到的系统参数，再更新信道统计信息。本发明基于学习的多个参数，根据次级用户的QoE函数目标，其可进行智能决策，即对最大化QoE函数(最优化QoE性能)进行自适应决策。

摘要： 本发明公开了一种用于数理统计学习的展示平台，包括底板和操作区，所述底板下端左部和下端右部均设置有升降机构，两个所述升降机构下部均设置有两个万向轮，所述底板上端中部固定安装有智能体感捕捉摄像头，所述底板上端右部开有第一安装槽，所述第一安装槽下槽壁从左到右依次固定安装有控制器和信号接收器，且信号接收器与控制器电性连接，所述底板前端右部固定安装有显示屏，所述底板前端左部开有收纳槽，所述收纳槽后槽壁设置有推送机构，所述推送机构前部设置有展示板，所述收纳槽左槽壁和右槽壁均设置有两个锁停机构，所述底板前端设置有移动机构。本发明所述的一种用于数理统计学习的展示平台，使用方便，实用性强，科技感强。

摘要： 本发明属于压缩机技术领域，具体涉及一种基于统计学习理论的往复压缩机用气阀的故障诊断方法。本发明包括：确定每个数据点属于某个聚类的程度；通过迭代使目标函数达到最优，得到各聚类中心及各数据点对各类的隶属度，随后将样本归类；通过寻找最优分类超平面来实现数据分类；得到对偶问题和分类决策函数；利用径向基核函数构建核函数分类器，并采用序列最小优化算法求解对偶问题；求出每个子集的聚类中心；得到M‑1个支持向量机SVM1,…,SVMM‑1，形成二叉树的根节点和中间节点；逐个训练支持向量机，优化径向基核函数参数γ和惩罚参数C，实现往复压缩机用气阀的故障诊断。由上述，本发明能高效实现气阀故障的准确诊断。

摘要： 本发明公开了一种基于统计学习理论的XLPE电缆局部放电信号估计方法，包括：输入采集的XLPE电缆的局部放电信号；将XLPE电缆局部放电信号通过基函数的线性组合来表示；对XLPE电缆局部放电信号进行小波分解，得到按照分解系数能量由大到小顺序的新的小波系数序列；根据上述分解系数序列，依次令VC维h＝1,2,...,L，从新的小波系数序列中保留前h-1个小波分解系数，并将剩余的分解系数置零，计算相应的结构风险；找出使得{R

摘要： 本发明提出了一种基于最小生成树与统计学习理论的图像分割方法，在构建影像图模型的基础上，采用自底向上（合并）策略，用最小生成树算法按照本发明设计的基于统计学习理论的合并准则来构造生成多个最小生成树的过程。该分割方法在满足全局最优的同时，能有效利用区域统计特性，适合于各类高分辨率影像分割；具有较好的抗噪声性能，对纹理区域也能得到较好的分割效果，同时能获得良好的区域边界。