半监督聚类

摘要： 低压用户供电相序信息的准确获取对台区线损精益化管理、三相不平衡精准治理等工作的开展具有重要支撑作用。尽管三相表在数据采集时已标定相序,但由于接线不规范等问题导致其与真实相序不一致。同时,忽略三相表将劣化相序识别准确率。为此,提出基于三相表特征约束聚类的低压台区用户相序识别方法。首先,采用Z-Score与t分布的随机近邻嵌入(t-SNE)算法对用户电压时序特征进行标准化与降维处理。在此基础上,提出嵌有快速收敛机制且考虑三相表特征约束的K-Medoids半监督聚类算法(CFK-Medoids)对用户进行聚类分析。最后,选取中国广东省台区实际数据开展算例分析。结果表明,所提方法识别准确率高,能够有效辨识三相表不规范接线问题。

摘要： 针对RoQ攻击隐藏在海量背景流量中难以识别,且现有样本稀少无法提供大规模学习数据的问题,提出了在极少先验知识条件下基于多层次特征的RoQ隐蔽攻击无监督检测方法。首先,考虑到大部分正常流量会对后续结果产生干扰,基于流特征,研究了半监督谱聚类的流量筛选方法,实现被筛除的流量中正常样本比例接近100%。其次,为了找到隐蔽攻击特征与正常流量之间的微小差异且不依赖于攻击样本,基于时序包特征,构造了基于n-Shapelet子序列的无监督检测模型,使用具有明显辨识度的局部特征来辨别微小差异,从而实现RoQ隐蔽攻击的检测。实验结果表明,在只有少量学习样本的情况下,所提方法与现有方法相比具有较高的精确率和召回率,对规避攻击具有稳健性。

摘要： 半监督聚类集成旨在利用成对约束提升聚类集成的精度,但在高维空间的聚类效果却显著降低,另外,当只有少量的成对约束可以利用时,聚类性能很难提升.针对这些问题,提出一种新颖的半监督聚类集成算法WSCEC(Weighted Semi-supervised Clustering Ensemble Algorithm Based on Extended Constraint Projection).首先,利用多种聚类算法对数据的特征空间进行聚类,再使用随机子空间进行降维,以减少冗余特征的影响;其次,根据每对约束的k个最近或最远的样本以及约束间的传递关系来扩展原有的约束集,通过约束投影技术将原始数据空间投影到低维空间以满足尽可能多的约束;最后,设计了一个聚类解的加权策略,为每一个聚类解分配一个适当的权重以降低低质量聚类解的影响.在多个数据集上的实验结果证明了提出算法的有效性.

摘要： 体育赛事的兴起使得大量的数据被纪录下来,体育统计随之发展起来。在众多体育赛事中,NBA是其中一个影响力较大的体育联盟,在NBA数据的分析中季后赛预测是一个重要的方面。NBA季后赛分为四个阶段,将预测分为多阶段分析建模并进行预测有着现实意义,本文旨在研究季后赛第一轮的预测问题。季后赛的预测实际是一个二分类问题,本文通过整理当前赛季常规赛的比赛统计数据、教练的历史执教数据和球员当前赛季的RPM值,进而从球队、教练、球员三个方面给出球队实力的评价值,并在此基础上建立有勿连约束和必连约束的半监督聚类模型,最后根据历史统计数据给出已分好类的标签,预测结果表明半监督聚类在NBA季后赛第一轮的预测中有着较好的预测效果和很强的适用性。

摘要： 不平衡分类的相关算法是机器学习领域的研究热点之一,其中的过采样通过重复抽取或者人工合成来增加少数类样本,以实现数据集的再平衡。然而当前的过采样方法大部分是基于原有的样本分布进行的,难以揭示更多的数据集分布特征。为了解决以上问题,首先,提出一种改进的半监督聚类算法来挖掘数据的分布特征;其次,基于半监督聚类的结果,在属于少数类的簇中选择置信度高的无标签数据(伪标签样本)加入原始训练集,这样做除了实现数据集的再平衡外,还可以利用半监督聚类获得的分布特征来辅助不平衡分类;最后,融合半监督聚类和分类的结果来预测最终的类别标签,从而进一步提高算法的不平衡分类性能。选择G-mean和曲线下面积(AUC)作为评价指标,将所提算法与TU、CDSMOTE等7个基于过采样或欠采样的不平衡分类算法在10个公开数据集上进行了对比分析。实验结果表明,与TU、CDSMOTE相比,所提算法在AUC指标上分别平均提高了6.7%和3.9%,在G-mean指标上分别平均提高了7.6%和2.1%,且在两个评价指标上相较于所有对比算法都取得了最高的平均结果。可见所提算法能够有效地提高不平衡分类性能。

摘要： 针对半监督聚类算法性能受到成对约束数量多寡的限制问题,现有的研究大都依赖于原始成对约束的数量。因此,首先提出了基于灰关联分析的成对约束初始化算法(initialization algorithm of pair constraints based on grey relational analysis,PCIG)。该算法通过均衡接近度计算数据对象间的相似度,并根据相似度的取值来确定可信区间,然后借鉴网络结构初始化方法来扩充数据对象间的成对关系。最后,将其应用于标签传播聚类算法。通过在五个基准数据集上进行实验,基于改进成对约束扩充的标签传播聚类算法与其他方法相比NMI值和ARI值有所提升。实验结果证明了改进成对约束扩充可以有效改善标签传播算法的聚类效果。

摘要： 在高频地波超视距雷达系统中,电离层杂波作为一种时变、非均匀、非高斯的复杂杂波,其复杂性导致了单一杂波抑制算法无法有效地抑制电离层杂波.针对不同特性,将复杂的电离层杂波进行分类,可以有效地提升电离层杂波抑制性能.常规的杂波聚类方法由于仅在特征空间进行聚类,分类结果存在空间分布离散化的问题.针对该问题,结合电离层杂波特性与其邻域空间信息,提出了一种基于改进的模糊C均值距离的电离层杂波分类方法,利用仿真数据与高频地波雷达实测数据进行分析.该方法在不降低聚类性能的情况下,具有更符合实际物理意义的聚类结果,并具有更高的分类精度.

摘要： 谱聚类在近年来得到了广泛的应用,而将谱聚类和半监督集群结合的方法通过使用约束改善结果来提高谱聚类的有效性.文章通过选择主动学习方法,提出了一种基于主动学习的半监督谱聚类算法.首先,利用邻域中包含的信息来确定要查询的数据,由于邻域信息只反映局部信息,因此,又引入与目标不太相似的数据点,这些数据点代表全局信息,得到Must-link(正关联)成对约束集和Cannot-link(负关联)成对约束集.然后,对得到的成对约束再通过k-means聚类得到聚类结果.最后,通过在合成数据集以及UCI数据集的对比实验表明文章算法的有效性,通过较小的主动选择成对约束来获得更好的性能.

摘要： 针对现有基于K-means的半监督聚类算法存在的共同问题,即对离群点敏感、在非凸数据集与不平衡数据集上表现差,提出了一种基于层次策略的散布种子半监督中心聚类算法.首先通过基于影响空间的样本边缘因子将数据集分为核心层与边缘层,然后应用一种改进的K-medoids算法完成核心层聚类,最后采用一种递进半监督分配策略对边缘层进行分配得到最终聚类结果.算法通过层次策略解决了离群点干扰问题、半监督子簇聚类及合并策略实现了在不同分布数据集上有效聚类.通过与几种半监督聚类方法在人工数据集以及真实数据集上进行的对比实验证明,该算法能够解决现存问题,提升了聚类性能与鲁棒性.

摘要： 聚类是将给定的样本分成几个不同的簇,它在机器学习、数据挖掘等领域得到了广泛应用,并受到研究人员的广泛关注.但是,传统的聚类方法仍然存在3个方面的不足.首先,由于一些数据中存在噪声和异常值,传统的聚类方法容易产生误差较大的目标函数.其次,传统的聚类方法没有使用监督信息来指导构建相似矩阵.最后,加入图正则的聚类方法在计算相似度矩阵时,邻居关系都是确定的,一旦计算错误就会导致构造图的质量低,进而影响聚类性能.因此,提出了一种基于高斯场和自适应图正则化的半监督聚类(SCGFAG)模型.该模型通过高斯场及谐波函数法引入监督信息,来指导构建相似度矩阵,实现半监督学习,还引入稀疏误差矩阵来表示稀疏噪声,如脉冲噪声、死线和条纹,并且使用l1范数来缓解稀疏噪声.此外,所提模型还引入l2,1范数来处理异常值的影响.因此,SCGFAG对数据噪声和异常值不敏感.更重要的是,SCGFAG通过引入自适应图的正则化提高了聚类性能.为了实现优化聚类的目标,提出了一种迭代更新算法—增广拉格朗日法(Augmented Lagrangian Method,ALM),分别对优化变量进行更新.在4个数据集上进行的实验表明,所提方法优于相比较的8种经典聚类方法获得了更好的聚类性能.

摘要： 入侵检测是网络安全防御体系的关键技术之一,针对目前网络入侵检测率低、误报率高的问题,本文提出了一种将云模型和半监督聚类相结合的入侵检测算法.由于属性对分类贡献程度不同,引入了云相对贴近度的概念,给出了计算属性权重的方法.以文本改进的聚类方法为基础建立云模型,对属性使用动态加权和更新云模型的方法逐渐强化分类器指导数据的分类.通过KDD CUP99实验数据的仿真,实验结果证明了该算法的有效性.

摘要： 本文提出了一种基于类标记和成对约束的半监督聚类算法(PLG-SSC),该算法结合了遗传算法的优势,充分利用了前面两方面的监督信息来帮助无监督的聚类。在uci数据集上面的实验结果表明，PLG-SSC算法能有效地提高聚类的准确率，是一种有前景的半监督聚类算法。

摘要： 针对聚类的入侵检测算法误报率高的问题，提出一种主动学习半监督聚类入侵检测算法。在半监督聚类过程中应用主动学习策略，主动查询网络中未标记数据与标记数据的约束关系，利用少量的标记数据生成正确的样本模型来指导大量的未标记数据聚类，对聚类后仍未能标记的数据采用改进的K-近邻法进一步确定未标记数据的类型，实现对新攻击类型的检测。实验结果表明了算法的可行性及有效性。

摘要： 半监督FCM算法应用标记数据来辅助聚类，其在标记点稀疏时会退化为FCM且收敛较慢，难以在实际中应用。本文在半监督FCM的基础上提出一种快速半监督FCM算法，在聚类精度、速度和鲁棒性上均比半监督FCM有较大改进，并成功解决了在标记点稀疏时的退化问题，在医学图像分割上取得了良好应用。

摘要： 半监督FCM算法应用标记数据来辅助聚类，其在标记点稀疏时会退化为FCM且收敛较慢，难以在实际中应用。本文在半监督FCM的基础上提出一种快速半监督FCM算法，在聚类精度、速度和鲁棒性上均比半监督FCM有较大改进，并成功解决了在标记点稀疏时的退化问题，在医学图像分割上取得了良好应用。

摘要： 半监督FCM算法应用标记数据来辅助聚类，其在标记点稀疏时会退化为FCM且收敛较慢，难以在实际中应用。本文在半监督FCM的基础上提出一种快速半监督FCM算法，在聚类精度、速度和鲁棒性上均比半监督FCM有较大改进，并成功解决了在标记点稀疏时的退化问题，在医学图像分割上取得了良好应用。

摘要： 本发明公开了一种基于2D嵌入的半监督单细胞聚类方法、装置、计算机设备。其中，所述方法包括：对每个细胞进行数据预处理，和将该经对数据预处理后的每个细胞的基因表达数据都使用2D嵌入的方式，生成一张张合成图像形成图像集，和将该图像集输入到自编码器模型中进行预训练和聚类，和基于该将该图像集输入到自编码器模型中进行预训练和聚类后的聚类结果，构建网络，并运用社区发现算法对该构建网络中的图像集数据进行分类，以及采用将基于卷积神经网络模型来配置的半监督神经网络，对该经分类后的图像集中的所有细胞图像数据进行特征提取，并对该提取的特征进行聚类。通过上述方式，能够实现提高在单细胞数据上进行聚类时的聚类效果。

摘要： 本发明公开了一种基于熵排序的半监督谱聚类确定聚类数的方法，主要解决谱聚类中拉普拉斯矩阵的特征向量的选择问题。其过程为：用熵排序的理论对特征向量进行“重排列”，得到特征向量重要度最高的列，对于一个k类问题，抽取特征向量的前k列，并将其投射到k维空间；根据各个点与k维空间中2k个半轴的距离进行聚类，除去2k类中没有点的类或者点数少于输入数据点数百分之一的聚类，将保留下来的聚类数记为c；再抽取特征向量前c列，循环该操作直到聚类数稳定为止，此时对应的类数是最佳聚类数；按输入点的坐标对输入数据点进行标记，得到聚类结果。本发明具有自适应和聚类正确率高的优点，可用于对图像类别数的自适应确定。

摘要： 本发明提出一种结合用户意图的深度半监督文本聚类方法、设备及介质，所述方法包括如下步骤：步骤一：构造意图信息矩阵；步骤二：对文本进行向量映射，通过神经网络对文本向量进行提取特征；步骤三：利用意图信息矩阵优化编码器，进一步得到更好的特征表示；步骤四：利用KL散度辅助优化得到初始聚类结果；步骤五：构建优化函数，利用意图信息引导类簇聚集方向。在给定了约束对监督信息的基础上，充分利用深度神经网络挖掘意图信息，将意图信息融合到特征表示中，同时利用意图信息监督聚类过程，有效解决了半监督文本聚类文本表示差异性、监督力度不够和忽略用户意图的问题，从而提高聚类结果的准确性，得到更适合下游任务的聚类结果。

摘要： 本发明提供一种基于半监督聚类的煤泥浮选药剂添加量评价方法，属于煤泥浮选领域，以解决目前方法具有主观随意性和滞后性及易造成浮选工况波动大、资源回收率低下和药剂消耗量大的问题。包括：获取第一数值张已知样本图像，确定每张已知样本图像的泡沫类型；获取第二数值张未知样本图像；提取每张已知样本图像和每张未知样本图像的泡沫特征向量，得到第三数值个混合泡沫特征向量；根据每张已知样本图像的泡沫类型对每张已知样本图像的泡沫特征向量进行标记；使用GMM的EM算法对第三数值个混合泡沫特征向量进行聚类，得到聚类结果；根据聚类结果确定每张未知样本图像的泡沫类型；根据泡沫类型确定拍摄每张未知样本图像时的药剂添加量是否合适。

摘要： 一种基于标签自适应策略的深度半监督图像聚类方法，属于图像聚类与数据挖掘技术领域，1)预训练编解码网络，初始化特征嵌入空间；2)通过K‑means方法在潜在特征空间初始化聚类簇心；3)计算聚类结果的软分配和目标分布，基于KL散度生成聚类损失；4)利用标签自适应策略动态生成临时监督标签，基于交叉熵生成标签损失；5)计算和优化联合目标函数，迭代更新直至满足收敛条件，完成聚类学习。本发明针对图像数据设计了一种深度半监督聚类方法，考虑在聚类过程中的标签漂移问题，并设计了一种标签自适应策略，以动态适应标签的漂移，同时整合聚类损失和标签损失，联合优化潜在特征空间和调整聚类簇心，能有效提高聚类方法的性能。

摘要： 本发明涉及计算机网络技术领域，公开了一种基于半监督聚类学习的暗网站点会话识别方法及系统，该会话识别方法，利用深度学习CNN算法自动提取Obfs4网桥下暗网站点会话的特征，并利半监督聚类算法对暗网站点的onion地址进行识别。本发明解决了现有技术存在的泛化性不足、识别准确度较低、实用性不足等问题。

摘要： 本发明属于加油站能耗管控技术领域，具体涉及一种基于半监督聚类算法的多加油站用电量能耗管控方法，本发明基于初步计算得到的各簇加油站组多个维度工况各自对应的标准值，采用半监督聚类算法的学习思想：基于每日单位能耗数据对各簇内的加油站进一步进行了二次聚类，以在各簇内聚类得到若干簇加油站子组，此时加油站子组内的加油站用电情况高度相似，并在加油站子组内按优先级大小筛选出若干个代表加油站，基于初步计算得到的标准值判断各代表加油站在各维度的能耗使用是否合理的情况，进而判断加油站子组内所有加油站能耗使用是否合理。本发明可同时高效管控庞大数量的加油站整体用电量能耗。

摘要： 本公开实施例中提供了一种基于成对约束和集群引导的深度半监督文本聚类方法，属于数据处理技术领域，具体包括：对目标文本数据进行预处理和向量化，得到多维向量；根据多维向量学习目标文本数据的隐层特征，并将隐层特征输入预设算法进行聚类，得到初始聚类中心；计算聚类损失；利用交叉熵生成成对约束损失；并计算全部有标签集群和全部无标签集群的集群分配损失；根据重构误差、聚类损失、成对约束损失和集群分配损失计算联合损失函数，并根据联合损失函数迭代达到预设条件时，得到聚类结果。通过本公开的方案，充分挖掘标签中的监督信息，加强了其与无标签集群之间的引导学习，提高了深度半监督聚类模型的鲁棒性，同时提升了文本聚类的精度。

摘要： 本发明涉及计算机网络技术领域，公开了一种基于半监督聚类学习的暗网站点会话识别方法及系统，该会话识别方法，利用深度学习CNN算法自动提取Obfs4网桥下暗网站点会话的特征，并利半监督聚类算法对暗网站点的onion地址进行识别。本发明解决了现有技术存在的泛化性不足、识别准确度较低、实用性不足等问题。

摘要： 本发明属于加油站能耗管控技术领域，具体涉及一种基于半监督聚类算法的多加油站用电量能耗管控方法，本发明基于初步计算得到的各簇加油站组多个维度工况各自对应的标准值，采用半监督聚类算法的学习思想：基于每日单位能耗数据对各簇内的加油站进一步进行了二次聚类，以在各簇内聚类得到若干簇加油站子组，此时加油站子组内的加油站用电情况高度相似，并在加油站子组内按优先级大小筛选出若干个代表加油站，基于初步计算得到的标准值判断各代表加油站在各维度的能耗使用是否合理的情况，进而判断加油站子组内所有加油站能耗使用是否合理。本发明可同时高效管控庞大数量的加油站整体用电量能耗。