非平衡数据

摘要： 针对传统支持向量机(support vector machine,SVM)处理非平衡的数据分类泛化性能差的问题,提出了一种基于主动学习的非平衡SVM分类方法(the imbalanced SVM classification method based on active learning,ISVM;L)。该方法先对多数的负类样本进行划分采样,再与少数的正类样本合并训练得到初始分类器,并根据负类剩余样本集中样本与分类器间的距离,选择主动学习中的关键信息样本逐次加入到负类训练样本集中,同时删除负类训练样本集中相对次要的非关键信息样本,始终保持负类训练样本集与正类训练集样本规模的平衡性,以稳步提高SVM对于非平衡数据分类的泛化性能。实验结果表明,该方法能够有效改善SVM对于非平衡数据的分类能力,获得令人满意的泛化性能。

摘要： 随着移动互联网技术的发展,图像数据的规模越来越大,大规模图像检索任务已经成为了一个紧要的问题。由于检索速度快和存储消耗低,哈希算法受到了研究者的广泛关注。基于深度学习的哈希算法要达到较好的检索性能,需要一定数量的高质量训练数据来训练模型。然而现存的哈希方法通常忽视了数据集存在数据类别非平衡的问题,而这可能会降低检索性能。针对上述问题,提出了一种基于元学习网络的深度哈希检索算法。所提算法可以直接从数据中自动学习加权函数。该加权函数是只有一个隐含层的多层感知机(MLP),在少量无偏差元数据的指导下,加权函数的参数可以和模型训练过程中的参数同时进行优化更新。元学习网络参数的更新方程可以解释为:较符合元学习数据的样本权重将被提高,而不符合元学习数据的样本权重将被减小。基于元学习网络的深度哈希检索算法可以有效减少非平衡数据对图像检索的影响,并可以提高模型的鲁棒性。在CIFAR-10等广泛使用的基准数据集上进行的大量实验表明,在非平衡比率较大时,所提算法的平均准确率均值(mAP)最佳;在非平均比率为200的条件下,所提算法的mAP比中心相似度量化算法、非对称深度监督哈希(ADSH)算法和快速可扩展监督哈希(FSSH)算法分别提高0.54个百分点,30.93个百分点和48.43个百分点。

摘要： 为了评价林木非平衡试验资料小区平均值法的分析效果,运用蒙特卡罗(Monte Carlo)模拟数据,以转化分析法为参照对象,比较评价了小区平均值法的优缺点,为筛选的统计方法提供科学依据。基于工作量和普遍性考虑,采用了5个试验,单因素随机区组设计,先以单株观察值参与统计分析,获得转化分析法的结果;然后以小区平均值参与计算,获得小区平均值法的分析结果。在此基础上,评价非平衡试验资料小区平均值法的统计效果。比较分析发现:(1)对于非平衡试验数据,转化分析法具有严密的科学性和优越性,小区平均值法仅适合于无性系试验;(2)小区平均值法无法获得单株遗传变异性信息,故统计效率较低;(3)5个试验的蒙特卡罗模拟数据,小区平均值法,其区组重复因子出现负的方差分量概率,随着区组重复数的减少而增加,试验Ⅳ中区组因子有3%的试验出现负方差分量,试验Ⅴ中区组因子有6%的试验出现负方差分量,而转化分析法则消灭了负的方差分量;(4)小区平均值法偏性和误差均大于转化分析法;(5)小区平均值法的家系遗传力比转化分析法的小,且试验分析的精确性比转化分析法低,这不利于逆向选择和前向选择;(6)在固定模型条件下,小区平均值法关于家系效应的平均值有一定的误差,许多家系的秩与转化分析法的结果不一致,选择的失误概率为1/8~2/8。综合以上结果得出:尽管小区平均值法具有计算量小的优势,但因其缺点太多,建议在林木遗传育种领域中,优先采用转化分析法。

摘要： 完备混合型信息系统下的粗糙集模型是传统粗糙集模型的重要扩展,目前关于非平衡数据属性约简的研究仅限于完备混合型的粗糙集模型.针对这一问题,提出一种基于不完备混合型信息系统的非平衡数据属性约简.本文首先将传统的粗糙集模型进行推广,提出不完备混合型信息系统下的粗糙集模型;然后针对数据的非平衡性,根据上下边界区域和类分布的不均匀性定义了一种新的属性重要度;在基于区别矩阵的基础上设计出一种非平衡数据的属性约简算法.实验分析表明该算法针对不完备非平衡数据的属性约简具有一定的有效性和优越性.

摘要： 提出基于改进MOEA/D的特征选择算法识别复杂制造过程中显著影响产品质量的关键因素(特征).首先,构建最大化G-mean指标和最小化特征数的关键质量因素识别模型,G-mean能够针对非平衡制造过程数据准确衡量质量因素重要性;其次,提出多目标进化算法——改进MOEA/D求解识别模型,改进MOEA/D采用了基于信息增益指标的初始化方法和一种新的平衡变异算子以提高算法优化性能.实验结果表明,所提识别方法能够得到少量质量因素并获得对产品质量的高水平预测效果,同时改进MOEA/D具有比传统MOEA/D更佳的优化性能,表明了本文方法的有效性.

摘要： 动态非平衡数据分类是在线学习和类不平衡学习领域重要的研究问题,用于处理类分布非常倾斜的数据流.这类问题在实际场景中普遍存在,如实时控制监控系统的故障诊断和计算机网络中的入侵检测等.由于动态数据流中存在概念漂移现象和不平衡问题,因此数据流分类算法既要处理概念漂移,又要解决类不平衡问题.针对以上问题,提出了在检测概念漂移的同时对非平衡数据进行处理的一种方法.该方法采用Kappa系数检测概念漂移,进而检测平衡率,利用非平衡数据分类方法更新分类器.实验结果表明,在不同的评价指标上,该算法对非平衡数据流具有较好的分类性能.

摘要： 运用秩次分析法,对4个年度四川省特殊类型小麦区试参试品种表现的秩次值H2、环境区分指数YM、秩次均方值S2等统计分析,从而对品种间产量的丰产性、稳定性进行比较,对22个可评价参试品种给予客观公正的评价.结果 表明,中科糯麦258、绵糯麦3号、绵糯麦829、蜀紫麦1801等4个品种为高产、稳产品种,具备高产稳产性.

摘要： 传统分类算法在处理非平衡数据时不能有效提高用户的分类效果.本文基于中国移动通信集团公司某分公司的用户数据,从数据平衡性视角出发,对判别用户是否换手机的分类器最优阈值、预期风险和分类代价之间的关系进行了实证分析.研究发现:以平衡数据集为样本对用户换手机进行分类得到的换机准确率高于原始数据集对应的换机准确率;预期风险(同一分类代价比)随着分类器阈值的增大表现出先增大后减小的趋势;对用户是否换手机的分类结果受数据平衡性和分类代价比的双重影响.研究结论能够为手机销售商和制造商完善管理方法提供决策依据.

摘要： 针对癌症数据集中存在非平衡数据及噪声样本的问题,提出一种基于RENN和SMOTE算法的癌症患者生存预测算法RENN-SMOTE-SVM.基于最近邻规则,利用RENN算法减少多数类样本中噪声样本数量,并通过SMOTE算法在少数类样本间进行线性插值增加样本数量,从而获得平衡数据集.基于美国癌症数据库非平衡乳腺癌患者数据集对癌症患者的生存情况进行预测分析,实验结果表明,与SVM算法、Tomeklinks-SVM算法等5种常用算法相比,该算法的分类及预测效果更好,其正确率、F1-score、G-means值分别为0.883,0.904,0.779.

摘要： 为了解决非平衡数据分类问题,提出了一种基于最优间隔的AdaBoostv算法.该算法采用改进的SVM作为基分类器,在SVM的优化模型中引入间隔均值项,并根据数据非平衡比对间隔均值项和损失函数项进行加权;采用带有方差减小的随机梯度方法(Stochastic Variance Reduced Gradient,SVRG)对优化模型进行求解,以加快收敛速度.所提基于最优间隔的AdaBoostv算法在样本权重更新公式中引入了一种新的自适应代价敏感函数,赋予少数类样本、误分类的少数类样本以及靠近决策边界的少数类样本更高的代价值;另外,通过结合新的权重公式以及引入给定精度参数v下的最优间隔的估计值,推导出新的基分类器权重策略,进一步提高了算法的分类精度.对比实验表明,在线性和非线性情况下,所提基于最优间隔的Ada-Boostv算法在非平衡数据集上的分类精度优于其他算法,且能获得更大的最小间隔.

摘要： 针对客户预测模型中流失客户与保持客户数据的非平衡性问题和错分代价的差异性问题，应用代价敏感学习理论应用于不同惩罚系数的SVM，通过这种改进的SVM建立客户流失预测模型。通过电信数据的实证研究发现，与传统SVM、C4．5和ANN对比，这种改进SVM算法在模型预测的精确度、命中率、覆盖率和提升度均有所改善，有效地解决了数据集的非平衡性和错分代价问题。

摘要： 针对客户预测模型中流失客户与保持客户数据的非平衡性问题和错分代价的差异性问题，应用代价敏感学习理论应用于不同惩罚系数的SVM，通过这种改进的SVM建立客户流失预测模型。通过电信数据的实证研究发现，与传统SVM、C4．5和ANN对比，这种改进SVM算法在模型预测的精确度、命中率、覆盖率和提升度均有所改善，有效地解决了数据集的非平衡性和错分代价问题。

摘要： 针对客户预测模型中流失客户与保持客户数据的非平衡性问题和错分代价的差异性问题，应用代价敏感学习理论应用于不同惩罚系数的SVM，通过这种改进的SVM建立客户流失预测模型。通过电信数据的实证研究发现，与传统SVM、C4．5和ANN对比，这种改进SVM算法在模型预测的精确度、命中率、覆盖率和提升度均有所改善，有效地解决了数据集的非平衡性和错分代价问题。

摘要： 针对客户预测模型中流失客户与保持客户数据的非平衡性问题和错分代价的差异性问题，应用代价敏感学习理论应用于不同惩罚系数的SVM，通过这种改进的SVM建立客户流失预测模型。通过电信数据的实证研究发现，与传统SVM、C4．5和ANN对比，这种改进SVM算法在模型预测的精确度、命中率、覆盖率和提升度均有所改善，有效地解决了数据集的非平衡性和错分代价问题。

摘要： 针对客户预测模型中流失客户与保持客户数据的非平衡性问题和错分代价的差异性问题，应用代价敏感学习理论应用于不同惩罚系数的SVM，通过这种改进的SVM建立客户流失预测模型。通过电信数据的实证研究发现，与传统SVM、C4．5和ANN对比，这种改进SVM算法在模型预测的精确度、命中率、覆盖率和提升度均有所改善，有效地解决了数据集的非平衡性和错分代价问题。

摘要： 针对客户预测模型中流失客户与保持客户数据的非平衡性问题和错分代价的差异性问题，应用代价敏感学习理论应用于不同惩罚系数的SVM，通过这种改进的SVM建立客户流失预测模型。通过电信数据的实证研究发现，与传统SVM、C4．5和ANN对比，这种改进SVM算法在模型预测的精确度、命中率、覆盖率和提升度均有所改善，有效地解决了数据集的非平衡性和错分代价问题。

摘要： 本发明公开一种基于SVM‑forest的从非平衡类数据中提取敏感数据的方法，该方法先从有标签样本取出一部分作为测试样本，剩余作为训练样本，采用k‑means将正常工况类别分割为子类，并与故障工况类别数据混合，形成N个训练子集，并使用SVM‑tree的方法训练出SVM‑forest，并利用测试样本对对SVM‑forest进行测试，选择对故障工况错分率最高的L棵树，保留一部分对分类效果影响较大的数据，然后根据选择分类算法对测试集中的少数类和剩下的多数类训练出一个分类器T，并使用临时测试样本测试T的分类效果，直到效果达到要求。本发明的敏感数据提取方法通过多次迭代选取多数样本集中对分类效果影响较大的样本，以此降低不平衡度，使分类效果接近或者达到同等情况下的均衡分类效果。

摘要： 本发明公开了一种工业故障诊断非平衡时序数据扩充方法，步骤一：准备训练数据集；步骤二：构建GRU‑BEGAN的网络结构；步骤三：训练构建的GRU‑BEGAN网络模型；步骤四：根据训练好的GRU‑BEGAN生成对抗网络模型去生成小样本类型的人工数据，训练完成后的模型输入简单随机变量z|t，生成符合时间t的时序数据，将生成的数据集扩充至原始数据的小样本类型中，根据扩充后的数据集建立1D/2D‑CNN故障诊断模型。本发明在模型结构和损失函数上的改进使得模型收敛更快、数据质量更高，利用端到端的GRU‑BEGAN模型去训练故障数据中小样本时序数据集，得到生成的人工数据去增强原始数据集，提高故障诊断模型精确度。

摘要： 本申请涉及一种利用GPU加速的热化学非平衡流场数据计算方法和装置。所述方法包括：通过CPU读取预先设置的网格数据、化学反应模型以及初始来流条件，并存储在全局内存中，通过GPU从全局内存中读取网格数据和初始来流条件，进行预先设置流场区域内的网格点计算，根据网格点计算结果和初始来流条件，更新边界条件，通过GPU从全局内存中读取化学反应模型，根据化学反应模型和所述初始来流条件，计算化学反应源项，GPU根据化学反应源项、边界条件以及预先设置的通量计算格式，迭代计算得到流场数据，GPU将所述流场数据存入全局内存；CPU从全局内存读取流场数据并输出。采用本方法能够提高流场数据计算效率。

摘要： 本发明公开了一种基于非平衡工控数据集的入侵检测方法，以待检测的工控网络流量为输入进行数据格式的结构性转化，将网络上数据格式转化为灰度图像格式，制作出流量灰度图像；以转化的流量灰度图像作为输入，判断待分类的数据中是否存在少数类样本的；以分类特征向量集作为输入，利用数据填充补齐方法进行分类特征向量的填充和流量灰度图像的格式补齐，得到经过制作和填充后的扩充流量灰度图像；以扩充流量灰度图像作为输入，采用深度学习入侵检测方法进行入侵检测的训练和分类检测。本发明能够有效的提升入侵检测精度和提升模型检测的鲁棒性，从而解决由于工控数据的负面特点而带来的不利于入侵检测工作进行的影响。

摘要： 本发明公开一种基于SVM‑forest的从非平衡类数据中提取敏感数据的方法，该方法先从有标签样本取出一部分作为测试样本，剩余作为训练样本，采用k‑means将正常工况类别分割为子类，并与故障工况类别数据混合，形成N个训练子集，并使用SVM‑tree的方法训练出SVM‑forest，并利用测试样本对对SVM‑forest进行测试，选择对故障工况错分率最高的L棵树，保留一部分对分类效果影响较大的数据，然后根据选择分类算法对测试集中的少数类和剩下的多数类训练出一个分类器T，并使用临时测试样本测试T的分类效果，直到效果达到要求。本发明的敏感数据提取方法通过多次迭代选取多数样本集中对分类效果影响较大的样本，以此降低不平衡度，使分类效果接近或者达到同等情况下的均衡分类效果。

摘要： 本发明公开了一种非平衡高维数据分类方法、装置、终端设备及存储介质，所述方法包括：获取数据样本，并对所述数据样本进行检测，得到检测结果；根据所述检测结果对所述数据样本进行处理；根据处理后的所述数据样本训练得到分类模型，并根据所述分类模型对预设的非平衡高维数据进行分类。本申请可以实现对非平衡高维数据进行分类。

摘要： 本发明公开了一种高温非平衡模型的双原子气体热物性计算方法及数据库生成方法。首先根据振动‑转动耦合能量在转动和振动间分配假设，电子、振动、转动模态上能级分布概率分别符合玻尔兹曼分布假设，建立高温非平衡气体模型；然后根据振动、转动能之和小于分子最小离解能准则，确定分子振动和转动能级范围；最后根据高温非平衡气体模型及分子振动能级和转动能级范围，导出包含单一温度变量的非平衡双原子气体比热计算式。基于非平衡双原子气体比热计算式，结合分段线性插值和分段二次插值方法，构建高温非平衡双原子气体热物性数据库。本发明能够支撑三、四温模型的工程应用探索，对计算空气动力学技术领域的研究具有重要指导意义。

摘要： 本发明公开了复杂工况下非平衡数据集的悬浮系统故障检测方法，所述方法包括，步骤S100：获取磁悬浮列车的悬浮系统若干个工况；步骤S200：采用移动时间窗口获取磁悬浮列车的悬浮系统的不同工况下的健康样本，在同一工况下的健康样本，先后通过沃尔什变换、中值滤波器和支持向量数据描述处理后建立不同工况下磁悬浮列车的悬浮系统的健康模型；步骤S300：获取磁悬浮列车的悬浮系统的运行监测值作为测试样本，判断当前工况并切换到当前工况健康模型，测试样本通过沃尔什变换和中值滤波器处理后通过当前工况健康模型判断其健康状态。能够准确的对复杂工况下非平衡数据集的磁悬浮列车悬浮系统进行故障检测，以提高对磁悬浮列车的安全性能。

摘要： 本发明的对非平衡数据集的分类方法及系统，计算获得正类和负类训练集的类中心c1和c2，确定两类类中心的距离T、正类超平面、负类超平面、第一距离、第二距离、第三距离和第四距离，进而确定模糊隶属度函数，根据模糊隶属度函数及模糊双支持向量机确定分类模型。采用网格搜索算法和交叉验证法得到优化后的分类模型。将待分类的非平衡数据输入优化后的分类模型，得到对待分类的非平衡数据的分类结果。本发明的方法或系统通过使用基于模糊隶属度函数的确定分类模型，根据样本点对分类超平面贡献的不同和两类样本非平衡率的不同赋予样本点不同的隶属度值，减轻了样本间的不平衡性，从而提高了使用本发明的方法或系统时的分类结果的准确性。

摘要： 一种面向非平衡数据基于半监督分布式训练的任务识别方法，首先，边缘设备收集大量的数据，通过自适应数据采样的方式统计数据的类别，按照类别数量从大到小生成一个降序数据集。然后，通过一个多层结构的分布式训练框架得到一个优化模型。其中，边缘节点既可以作为聚合参数的服务器，也可以作为模型训练的训练节点。最后，通过类再平衡自训练对数据集进行调整，生成一个伪标签集并统计标签集的类分布情况，遵守类再平衡规则生成一个伪标签子集，补充到标签集中生成新的数据集，完成一次自训练迭代。本发明充分利用了分布式训练与半监督学习优势，降低了非平衡数据带来的影响，提高了神经网络训练效果。