SMOTE

摘要： 为了进一步加强道路交通安全管理,提升道路交通安全预警系统的准确度,提出一种基于XGBoost算法的道路交通事故严重程度预测模型。首先利用SMOTE对不平衡数据集进行处理,使正负样本数量达到1∶1;然后利用随机森林算法将影响城市道路交通事故严重程度的特征进行重要性排序,找出对预测模型影响较大的因素;最后基于XGBoost算法构建预测模型,使用网格搜索法进行模型参数寻优,提高预测准确度。通过与KNN、Logistic及随机森林3种模型进行结果对比分析发现,XGBoost模型的分类准确率平均提升0.097。基于XGBoost算法的道路交通事故严重程度预测模型拥有更加优越的预测性能,可为预防和降低交通事故严重程度提供可靠参考。

摘要： 该文针对信用卡欺诈客户数据集极不平衡的特点,设计了SMOTE、Borderline SMOTE、ADASYN、SMOTENC四种采样算法,对数据集进行均衡处理,并结合逻辑回归、支持向量机、随机森林、多层神经网络构建欺诈风险识别模型,最后通过准确率、AUC、精确率、召回率和F1等指标对识别模型效果进行评判。实验结果表明,SMOTENC采样方法与随机森林模型相结合构建的识别模型效果最好,准确率达到99%,可为银行进行客户欺诈风险判别提供支撑。

摘要： 目的评价Boosting算法结合SMOTE技术预测青年男男性行为者(YMSM)HIV感染状况的性能。方法通过网络和现场抽取2018-2019年天津市YMSM 1179名,分别用XGBoost、LightGBM、CatBoost和logistic结合SMOTE技术建立预测模型,通过AUC、F1、Accuracy、Brier score等指标评价其分类性能。结果应用SMOTE合成数据后,logistic、CatBoost、LightGBM和XGBoost的AUC分别提升了23.4%、24.0%、25.4%和26.8%,Boosting算法的分类性能优于logistic模型。结论Boosting算法结合SMOTE技术为类不平衡数据的分类预测提供了新思路。

摘要： 准确的泥石流易发性评价结果对山区泥石流灾害防治具有重要意义。该研究将合成少数类过采样技术(Synthetic Minority Oversampling Technique,SMOTE)和多粒度级联森林(multi-Grained Cascade Forest,gcForest)运用于泥石流易发性评价,以提高泥石流易发性评价精度。以泥石流多发地东川区为例,在解译泥石流点的基础上,以流域单元为评价单元,基于地质、地形和降水等多源数据,初步选取了15个泥石流孕灾因子,并对初选因子进行贡献率分析和多重共线性检验,筛选出共13个因子构建孕灾因子体系;然后采用SMOTE技术对泥石流与非泥石流样本比例不平衡问题进行处理,构建训练数据集;最后构建gcForest模型对研究区泥石流易发性进行定量分析,计算出各个流域单元的泥石流易发性指数,使用自然断点法将其划分为极低易发区、低易发区、中易发区、高易发区和极高易发区5个等级,并与BP神经网络(Back Propagation neural network,BPNN)和随机森林(Random Forest,RF)模型的预测性能进行对比。结果表明,泥石流极低和低易发区主要集中于研究区东部和西部,极高和高易发区主要集中分布于研究区小江河谷两岸和金沙江南岸,该地区地质环境脆弱,危险性较高;结合流域单元建立的山区泥石流易发性评价模型具有很好的准确性和稳定性,其中多粒度级联森林(gcForest)的受试者工作特征曲线(Receiver-Operating Characteristic,ROC)下面积AUC(Area Under Curve)值和准确度(Accuracy,ACC)分别达到91.76%和81.25%,均高于BP神经网络和RF模型的AUC值和ACC值,表明该模型是一种高性能的泥石流易发性评价方法。利用该方法能更精准地对泥石流进行易发性评价,可为山区泥石流防灾减灾提供科学依据。

摘要： 集成学习是非线性系统的主流建模方法之一。但当常规的集成TSK模糊模型直接用于不平衡数据集时,其学习性能容易受到数据不平衡性的影响,因而常常会导致泛化能力差。为解决这一问题,基于TSK模糊模型提出了一种对不平衡数据处理的分类集成模型。基本思想是:首先利用SMOTE过采样方法对不平衡样本集做预处理,使得类别分布相对平衡,再引入AdaBoost方法对集成TSK模糊模型进行学习,集成时根据权值大小对样本进行随机采样,并通过多次训练对权值进行迭代更新,最后将生成的各个模型结果根据特定的加权方法结合,产生最终输出,使各模型得到充分的训练,进而提升整个集成TSK模糊模型的泛化能力。由此,提出了对应的不平衡数据的集成TSK模糊模型,并使用模型在多个数据集上进行实验,采用均方误差和精度对模型进行评估均有较好的效果,然后改变模型数量和规则数量等参数探究它们对模型性能的影响,并使用图像表示它们的变化情况,实验结果证明了所提出的集成学习算法的有效性。

摘要： 随着车联网中车载装备智能化程度的飞速发展,其与互联网对接的程度日益加深,而车载CAN总线受到的网络攻击数量更多、攻击方式更复杂、攻击特征更隐蔽。目前车联网入侵检测才刚起步,基于防火墙或规则库等传统检测模型无法获取隐藏的深层攻击特征,基于深度学习的智能检测模型又因训练参数多、攻击数据不均衡等呈现过/欠拟合以及训练复杂等问题。针对以上问题,文中以车载CAN总线为对象,提出了一种基于SMOTE-SDSAE-SVM的CAN总线入侵检测方法(简称3S),尝试结合深度学习和机器学习理论,从而同时提取网络攻击的深度特征和保证模型训练的高效性,并解决网络攻击类别不平衡、CAN报文含噪声等问题。首先,为了解决网络攻击类别不平衡问题,利用SMOTE技术对不平衡类别的攻击数据进行近邻采样,从而生成更多同类别近似样本;其次,结合稀疏自编码和去噪自编码,以消除噪声数据的影响同时增加特征提取的时效性,并通过堆叠多层稀疏去噪自编码最终实现CAN报文的深度特征提取;最后,利用SVM对提取的深度特征进行精确分类,实现对CAN报文的异常检测,从而发现网络攻击。通过在沃尔沃CAN数据集和CAR-HACKING数据集上的大量实验,有效证明了本文3S算法较其他算法而言拥有更好的入侵检测准确率和更低的漏报率/误报率。

摘要： 深度学习是感知智能电网暂态安全状态的有效方法,针对多层重构学习过程低维特征及结构参数难以全局寻优的问题,提出了一种改进深度置信网络(Deep Belief Network,DBN)方法。首先,该方法利用SMOTE过采样算法,增加样本多样性,促使DBN深层架构的挖掘。其次,直接面向噪声样本,DBN通过网络中各神经元吉布斯抽样的二值状态,增强重构特征的抗噪能力。最后,建立了基于遗传算法(Genetic Algorithm,GA)的GA-DBN模型,有效解决DBN结构参数调试繁琐的问题,确保DBN高精度地从底层量测数据提取低维特征,提高安全分类精度。新英格兰10机39节点系统的仿真实验表明,在样本不平衡、含噪声情况下,所提算法比其他算法的失稳漏判率降低,辩识准确率和F;分数提升。

摘要： 针对传统过采样算法中常常出现的生成噪声点、数据分布边缘化、未增强足够特征的问题,提出了一种新算法:试探性少数类过采样技术(tentative synthetic minority over-sampling technique,TSMOTE)。该算法先将少数类样本进行K-means聚类,然后创建正类安全水平等指标,运用试探性的思想,放出试探点求出每个少数类样本对应的警戒点,获取最适合新样本生成的空间区域,最后在簇心和警戒点之间进行合成少数类过采样技术(synthetic minority over-sampling technique,SMOTE),确保新样本的生成质量。在12个公开数据集上的大量实验表明:TSMOTE算法可以有效提高分类器对少数类样本和整体数据集的分类性能。

摘要： 为了缓解软件缺陷预测的类不平衡问题,避免过拟合影响缺陷预测模型的准确率,本文提出一种面向软件缺陷预测的基于异类距离排名的过采样方法 (HDR).首先,对少数类实例进行3类实例区分,去除噪声实例,减少噪声数据导致的过拟合的情况,然后基于异类距离将实例进行排名,选取相似度高的实例两两组合产生新实例,以此来提升新实例的多样性,之后将有价值的被删除的少数类实例恢复.实验将HDR算法与SMOTE算法和BorderlineSMOTE算法进行比较,采用RF分类器在NASA的8个实际项目数据集上进行,结果显示在F1-measure和G-Mean两项指标上分别有7.7%和10.6%的性能提升,实验表明HDR算法在处理数据量大并且不平衡率高的软件缺陷预测数据集上明显优于其他两种算法.

摘要： 针对目前已有的基于深度学习的恶意代码检测方法提取特征不足和准确率低的问题,提出一种基于注意力机制和残差网络(ResNet)的恶意代码检测方法ARMD。为了支持该方法的训练,从Kaggle网站获取了47580个恶意和良性代码的Hash值,并利用VirusTotal分析工具提取每个代码数据调用的API,在此之后将所调用的API整合为1000个不重复的API作为检测的特征来构造训练样本数据;然后根据VirusTotal的分析结果进行良恶性判定进而标记样本数据,并采用SMOTE增强算法使数据样本均衡化;最后构建并训练注入注意力机制的ResNet,从而实现恶意代码检测。实验结果表明ARMD的恶意代码检测准确率为97.76%,且与目前已有的基于卷积神经网络(CNN)和ResNet模型的检测方法相比,平均精确率至少提高了2个百分点,验证了ARMD的有效性。

摘要： 本发明公开了一种基于D‑SMOTE的离散数据过采样方法，具体按照以下步骤实施：步骤1、通过人为或记录仪记录交通事故样本；步骤2、确定所述步骤1得到的事故样本中的最多类样本与多个少类样本，并通过随机选取方式确定三角闭环空间；步骤3、计算所述步骤2中最多类样本与多个少类样本之间的比值λ，将该比值作为少类样本的采样倍率；步骤4、通过改进插值公式，产生带有离散特征的少类样本数据。本发明有助于提高交通事故严重程度数据集质量，为道路安全决策提供依据。

摘要： 本发明涉及网络入侵检测技术，特别涉及基于BIRCH和SMOTE的网络入侵检测方法及系统，方法包括将网络入侵历史数据集中的符号属性转换为数字属性；将网络入侵历史数据集归一化至区间[0,1]；利用平衡采样算法对网络入侵历史数据集进行采样，得到每个类别平衡的训练集；利用获得的训练集训练机器学习分类器；将实时的网络入侵数据输入训练好的分类器，分类器输出该实时的网络入侵数据的类别；本发明比单纯使用欠采样的网络入侵检测方法减少了有潜在价值的多数类样本的丢弃，比单纯使用SMOTE过采样的网络入侵检测方法减少了生成少数类新样本时引入的噪音，因此本发明具有更高的少数类召回率和更高的整体分类性能G‑means值。

摘要： 本发明公开了一种基于构造等边平衡三角形SMOTE算法的少数类样本生成方法，其包括：从数据集中获取少数类样本集S，确定参与生成少数类样本的最近邻样本的个数k，并确定距离阈值ε；计算少数类样本集S的均值向量μ0；计算各少数类样本与均值向量μ0的巴氏距离，获取巴氏距离最小的少数类样本Xj；搜寻少数类样本集S中其他少数类样本，将与少数类样本Xj的巴氏距离Bki小于距离阈值ε的少数类样本添加至待定参与少数类样本生成的样本集G；将样本集G中的各样本之间两两连线，以各连接线为边分别构造等边三角形，并以各等边三角形的中点为新生成的少数类样本。该方法能够更全面地利用多数类和少数类的样本空间，使生成的新样本所携带的信息更加丰富多元。

摘要： 本发明公开了一种融合空间知识的微震信号SMOTE识别方法及监测系统，实现对微震信号的分类，从而完成对冲击地压灾害更加准确及时的预警。首先，对源于SOS微震监测系统的微震数据进行数据格式转换和划分；其次，确定微震信号的空间相关性，构建融合空间知识的非平衡训练样本集；再次，根据训练样本集的非平衡率，确定采样倍率，实现基于SMOTE的小类样本生成；最后，采用模型融合结构，实现融合空间知识的微震信号分类器学习。本发明充分利用微震信号的空间布局信息，挖掘具有强相关性的同类数据，减少不相关同类数据对过采样数据生成的影响，提高微震信号学习器的分类正确率和时效性，为冲击地压灾害及时有效预警提供更有力的支持。

摘要： 本发明公开了一种基于C‑K‑SMOTE算法的不平衡数据集处理方法，先利用Canopy算法对少数类样本进行快速近似聚类，得到一系列canopy簇；然后再利用K‑means聚类算法对canopy簇再聚类，得到精准聚类簇，最后再利用SMOTE算法基于精准聚类簇进行插值处理，从而增加少数类样本数量使数据样本趋向平衡。本发明中基于C‑K‑SMOTE算法的不平衡数据集处理方法可有效平衡不平衡数据集，既保证了新生成的样本的有效性也保留了原数据分布模式且不存在边界模糊问题，利用修正的SMOTE算法插值公式还避免了近邻样本选择盲目性问题；本发明实现了Canopy算法和K‑means算法有机融合，利用K‑means再聚类解决了Canopy算法聚类精度低的问题，同时利用Canopy聚类克服了K‑means算法聚类簇数难以确定以及初始中心过于随机的问题。

摘要： 本发明请求保护一种基于改进SMOTE算法的脑电信号样本扩充方法、介质及系统，使用脑电信号采集仪器采集脑电信号数据；对脑电信号进行包括带通滤波、基线校验、归一化在内的方法进行预处理，划分为测试数据集与训练数据集；使用改进的SMOTE算法对脑电信号进行样本筛选并作为原始样本；将样本分成safe、danger以及noise三种类型；使用幅频加噪技术对在原始样本的基础上合成人工样本，从而实现数据集的样本扩充，合并成为新的训练数据集；利用卷积神经网络进行性能测试。本发明相比其余传统脑电数据样本扩充方法能更有效地提升生成新样本的质量与数量，使得训练卷积神经网络时有效提取特征，提升分类准确度，一定程度上解决了脑电信号数据集样本量小的问题。

摘要： 本发明提出了一种基于随机欠采样的改进SMOTE方法。首先基于KNN算法计算不平衡样本中少数类的K近邻，将K近邻都是多数类的少数类样本，视为噪声样本，并将非噪声样本保留，形成新的少数类样本。而后利用随机欠采样算法处理的多数类样本，将多数类样本的数量控制在总体样本的二分之一，最后使用SMOTE方法获得平衡数据。本发明提出的基于随机欠采样的改进SMOTE方法相比传统的处理类失衡方法在从SEER数据库提取的6个公开数据集中表现最好。

摘要： 本发明公开了一种基于改进SMOTE的软件缺陷预测方法，包括：将原始数据集分为训练集和测试集，利用特征选择算法从训练集中选取关键特征集；采用K‑means算法将少数类样本聚类为N个簇，并对簇内每个样本的关键特征权重和距离权重进行计算，得到合成样本数量；基于SMOTE算法合成少数类样本，直至满足设定条件，将合成结果与多数类样本合并，得到平衡数据集；利用AdaBoost算法对平衡数据集进行训练，构建分类器，通过分类器对测试集进行预测；本发明充分考虑到不平衡数据集中少数类样本关键特征和与簇心距离的特性，对经典SMOTE算法进行了改进，能更加准确地合成少数类样本，提高软件缺陷预测的准确性，降低了软件测试的成本。

摘要： 本发明公开了一种集成式的SMOTE算法，该技术方法包括以下步骤，预训练分类器，对于攻击类型中的每个样本的x

摘要： 本发明公开了一种基于SMOTE改进的Bayes‑LightGBM软件缺陷预测方法，包括以下步骤：将原始数据集进行标准化操作；然后使用SMOTE算法来平衡标准化后的数据集；再使用Bayes‑LightGBM算法构建预测模型，根据数据集中的特征，来预测软件缺陷是否会发生。本发明的一种基于SMOTE改进的Bayes‑LightGBM软件缺陷预测方法，采用过采样中的SMOTE算法，发现该算法能有效提升软件缺陷预测模型的分类性能，而利用基于贝叶斯优化的LightGBM算法，发现该模型的性能表现优于其他基线模型。