文本聚类

摘要： 为了提高文本聚类的性能,采用k-modes算法进行文本聚类,并采用知识图谱进行样本预分析,以提高k-modes的文本聚类适用度。采用知识图谱进行样本预处理,对待聚类的文本进行知识图谱三元分析,并生成对应概念、实体和关系的样本集合;接着建立k-modes文本聚类模型,设定簇内节点至簇中心的距离值之和为目标函数,通过轮流固定隶属矩阵和聚类簇矩阵,不断求解目标函数的最小值直至目标函数值稳定,获得簇中心,最后根据簇中心及各节点到簇中心距离来确定聚类结果。实验表明,经过知识图谱分析之后,k-modes算法能够获得更优的纯度、标准互信息和F值性能,且聚类纯度的均方根误差(Root mean squared error,RMSE)值更低;和常用文本聚类算法相比,对于UCI集和新闻集,该文算法均表现出了更高的聚类准确率。

摘要： 随着信息化时代的到来,新浪微博变为超大型的社交平台,引导着网络舆论的发展方向。如何从评论中获取有效信息和情感取向,以及掌握舆论的变化规律成为一个急需解决的问题。利用Python爬虫技术对乐山师范学院新浪官方微博评论进行爬取,并对文本数据进行处理,利用文本分析法和情感分析法,对语料进行分词,借助词频统计、稀疏矩阵、聚类分析、情感评分等手段获取能表达情绪的关键词,挖掘高价值的舆情主题,用可视化的方法展现人物的情感倾向,分析舆情中的情感变化规律。研究结果可展现微博用户对乐山师院的情感态度和舆情特征,并提供有效的解决策略。

摘要： 以百年未有之大变局下的大国博弈为切入点,立足未来航空科技发展的军事应用需要界定国防领域航空颠覆性技术的概念内涵,遴选适合国防领域航空颠覆性技术的识别方法,并以航空领域特定时段公开发表且被工程索引收录的高质量期刊/会议论文、高水平科学引文索引期刊论文及已获授权的三方发明专利为源数据构建颠覆性技术识别的数据集,通过文本聚类、复杂网络方法和军事应用潜力评估完成一批国防领域航空颠覆性技术识别,为开展军事航空颠覆性技术研发部署提供参考。

摘要： 提出融合K均值与改进磷虾群算法的多目标文本聚类算法。利用K均值的局部快速寻优和改进磷虾群的全局搜索能力,以K均值聚类解作为改进磷虾群的初始种群,引入遗传交叉和变异改善个体多样性,提升全局搜索能力;通过磷虾种群的诱导运动、觅食运动和随机扩散进行位置更新,引入余弦相似度和欧氏距离的多目标适应度函数评估磷虾位置优劣,搜索全局最优解。通过基准数据集实验确定磷虾群算法的关键参数,进行系统聚类测试,实验结果表明,该算法在聚类指标上表现更佳,聚类准确性更高,收敛速度更快。

摘要： 快速准确的在海量网络数据中发现热点主题对于网络舆情监控具有重要作用.针对K-means算法对初始中心点选择敏感和全局搜索能力不足的问题,提出一种基于Hadoop的改进灰狼优化K-means的IGWO-KM算法.首先,该算法将灰狼优化算法和K-means算法相结合,利用灰狼优化算法收敛速度快和可全局寻优的优势为K-means搜索最佳聚类中心,减小随机选取初始中心点而导致的聚类结果不稳定性,以获取更好的聚类结果.其次,使用非线性收敛因子改进灰狼优化算法,协调算法的全局和局部的搜索能力.然后,引入正弦余弦算法并进行改进,增强灰狼优化算法的全局搜索能力,优化寻优精度和收敛速度,避免陷入局部最优.之后,使用近邻空间球减少K-means聚类过程中冗余的距离计算加快算法收敛.最后,利用Hadoop集群可批量处理数据的特性,实现算法的并行化.实验结果表明,IGWO-KM算法具有更好的寻优精度和稳定性,相比于GWO-KM算法和K-means,该算法在查准率、召回率和F值均有明显提高,且具有良好的收敛速度和拓展性.

摘要： 针对文本信息特征冗余多、噪声大问题,提出基于和声搜索机制的文本特征选择算法。以词频逆文本频率指数为目标函数评估特征词条;在初始文档集中通过和声搜索的记忆考虑、纵向倾角调整和随机选择3种特征选择新解更新规则,迭代搜索最优特征子集;以最优特征子集为基础,以K均值进行文本聚类。利用4种典型文档数据集进行仿真实验,实验结果表明,该算法可以有效降低文本特征维度,聚类准确率更高。

摘要： 在大数据环境下,从海量的互联网数据中获取热点话题是研究当前互联网中民意民情的基础,其中文本聚类是得到热点话题最常用的方法之一,可以分为文本向量化表示和聚类2个步骤。然而在文本向量化表示任务中,传统的文本表示模型无法准确表示新闻、帖文等文本的上下文语境信息。在聚类任务中,最常使用的是K-Means算法和DBSCAN算法,但是它们对数据的聚类方式与实际中话题数据的分布不符,这使得现有的文本聚类算法在实际的互联网环境中应用效果很差。本文根据互联网中话题的数据分布情况,提出一种基于RoBERTa-WWM和HDBSCAN的文本聚类算法。首先利用预训练语言模型RoBERTa-WWM得到每一篇文本的文本向量,其次利用t-SNE算法对高维文本向量进行降维,最后利用基于层次的密度聚类算法的HDBSCAN算法对低维的文本向量进行聚类。实验结果表明提出的算法相较于现有的文本聚类算法,在含有噪声数据且分布不均衡的数据集上,聚类效果有很大的提升。

摘要： 文本比较在自然语言处理中应用广泛。本文提出了一种新的文本相似性度量方法,该方法利用从文本和n-gram图中提取的命名实体信息来表示文档,使用OpenCalais作为命名实体识别服务,使用JInsect工具箱来构造和管理n-gram,使用文本聚类算法k-Means进行文本相似性度量,使用各种聚类有效性指标对生成的聚类进行评估。

摘要： 为了提高文本聚类的性能,采用近邻传播(Affinity propagation,AP)算法进行文本聚类,并采用知识图谱进行样本预分析,以提高AP的文本聚类适用度。采用知识图谱进行样本预处理,对待聚类的文本进行知识图谱三元分析,并生成对应概念、实体和关系的样本集合;建立AP文本聚类模型,并通过差分进化(Differential evolution,DE)算法优化偏向参数;利用DE算法求解的最优个体的偏向参数进行AP聚类运算,不断更新AP算法的决策和潜力阵,从而获得稳定的聚类结果。试验结果表明,经过知识图谱分析之后,通过合理设置DE算法的差分缩放因子和交叉速率,DE-AP算法能够获得更优的聚类准确度,且聚类准确度的均方根误差(Root mean squared error,RMSE)值更低;和常用文本聚类算法相比,该文算法获得了更高的聚类准确度。

摘要： K-means算法是进行文本聚类时使用最为广泛的一种推荐算法之一。该算法在进行文本聚类时每个属性的作用是同等的,而实际中每个属性对文本的影响是不同的,导致聚类效果受到影响。针对该缺点,通过引入属性权重提出了一种改进的K-means聚类算法,并在Hadoop平台加以实现,以更好体现改进算法的效率。通过实验进行了测试,表明所提出的改进算法在效率和精度方面均有所提高。

摘要： 面对网络上更新快速的海量新闻,如何快速、有效地从中自动发现敏感话题并进行持续跟踪是当下研究的热点.文章以网络舆情分析系统为应用背景,针对其敏感话题发现过程,通过对TDT领域应用较多的Single-pass算法进行改进,提出了一种基于相似哈希的增量型文本聚类算法.基于实际应用中抓取到的新闻文本数据,实验结果表明,文章提出的算法相比于原Single-pass算法在聚类效率方面具有明显提升.从实际应用的效果来看,该算法达到了实时话题发现的预期需求,具有较高的实用价值.

摘要： 针对传统文本聚类中存在着聚类准确率和召回率难以平衡等问题,提出了一种基于R-Grams文本相似度计算方法的文本聚类方法.该方法首先通过将待聚类文档降序排列,其次采用R-Grams文本相似度算法计算文本之间的相似度并根据相似度实现各聚类标志文档的确定并完成初始聚类,最后通过对初始聚类结果进行聚类合并完成最终聚类.实验结果表明:聚类结果可以通过聚类阈值灵活调整以适应不同的需求,最佳聚类阈值为15左右.随着聚类阈值的增大,各聚类准确率增大,召回率呈现先增后降的趋势.此外,该聚类方法避免了大量的分词、特征提取等繁琐处理,实现简单.

摘要： 随着网络技术的发展,海量的文本信息随之产生.文本聚类技术所具有的对文档自动组织和导航的特性,可以方便人们从巨量的文本中快速找到自己需要的信息,因此文本聚类已经广泛应用在信息检索领域.本文针对传统的文本聚类技术在计算文本相似度时经常使用的向量空间模型所存在的缺陷,例如在同义词和多义词方面的缺陷以及对文章语义关系的割裂,提出了基于概念的文本聚类模型,通过概念关系首先提取文档的主题,再在对主题进行文档聚类.

摘要： 针对传统的k-means算法存在容易陷入局部最优以及对初始聚类中心的高度依赖性等缺陷,提出了一种改进初始中心选取的新的k-means算法.由于词空间的文本聚类方法很难处理文本的高维特性和复杂语义性,因此通过采用语义特征选取的方法从高维特征空间中提取文本向量的主要成分,从而实现文本输入空间的降维和语义特征空间的抽取.实验结果表明:语义特征选取处理不仅可实现降维,大幅减少文本聚类的时间,而且能有效提高聚类系统的准确性.另外,改进的k-means算法对整个聚类的效果也有明显的改善.将两者结合之后,聚类效果更加显著.

摘要： 探索一种采集多种来源信息、采用多种计量分析手段,进行技术研发热点挖掘的方法.同时采集两种不同信息源的学术论文和专利数据,针对不同信息源数据分别采用引文分析、共词分析、文本聚类等计量分析方法及可视化手段,进行技术的基础研究和应用开发热点分析,并将分析结果进行比较和综合后作为最终的技术研发热点挖掘结果.最后,以车联网技术为例进行了实证分析.

摘要： 科技跨越发展需要进行知识产权规划布局和分析，技术的进步使得专利大数据开发和运用变得可行，利用文本聚类、语义检索等手段，结合分析科技文献和专利文献中记载的技术信息，在海量数据中发现创新趋势，力争取得原创性突破，专利大数据分析可以简单高效的开展专利法律分析，了解法律状态，开展知识产权预警分析，有效保护科技成果，最大化科研创新的应用价值，实现了技术、法律和市场的关联分析，关注专利诉讼、专利转让、商标申请等信息，挖掘专利大数据中的竞争情报，了解优劣势，形成战略布局，占领战略高地，在竞争中全面胜出。

摘要： 本文提出基于高斯加权距离以及聚类重构机制的K-NN文本聚类算法.文章提出K-NN邻近域的概念,通过高斯加权的邻近域算法实施K-NN聚类.利用高斯函数根据样本与聚类中心的距离为样本赋权,计算聚类距离.基于邻近域权重和聚类密度对形成的聚类实施重构,实现聚类数目的自适应调整.使用拆分算子拆分稀疏聚类并调整异常样本;使用合并算子合并相似聚类.实验显示聚类重构机制能够有效地提高聚类的准确率及召回率,增加聚类密度,使得形成的聚类结果更加合理.

摘要： 本文以金庸与古龙的小说作为语料,从计算风格学的角度考察二人的风格差异.对比了两人小说的文本从众性、句子破碎度,同时,使用文本聚类的方法对词和词类的N元文法,标点符号的N元文法以及多种特征的总体情况进行了考察,还使用主成分分析和文本分类对八种特征从总体上进行了比较,结果证实金庸与古龙小说风格存在较大差异:金庸小说从众性大于古龙,较多使用俚语方言,口语性更强,同时在语法结构、短语结构、文本节奏以及文本可读性和语言变化程度也有较大的差异.

摘要： 针对科研入员不便在庞大数量级的科研项目中手动寻找合作者的现状,基于关键词提取、文本聚类、语义相似度度量等技术,提出了一种科研人员合作推荐方法,并加以实现.

摘要： 本文提出了一种基于中文网络百科的属性抽取方法.该方法以中文网络百科自由文本为数据源,将属性值看作命名实体,对已分类的百科文本进行频繁模式的挖掘.通过分析频繁模式中词语序列与命名实体的关联关系,得到属性模式与属性词语,借助外部语义资源以及词语相似度计算去除重复的属性词语,得到统一的属性名称.本文对多个类别的中文百科条目进行了属性抽取实验,实验结果表明了该方法的可行性和有效性.

摘要： 本发明目的在于解决当前基于语义的用户聚类和短文本聚类方法中未考虑社交因素，“词义漂移”和短文本稀疏性问题。提出一种基于社交网络短文本流主题建模的用户聚类和文本聚类方法，包括下述步骤：S1、语料获取；S2、语料预处理；S3、基于社交网络中的短文本数据流主题建模；S4、推导及采样；S5、对用户进行聚类；S6、对短文本进行聚类。本发明综合考虑“词义漂移”，“短文本稀疏性”和“社交网络”三个影响主题建模的因素，解决通过社交网络短文本流分析用户和文本聚类缺失社交语义信息的问题，大大提高现有聚类算法的精度。

摘要： 本发明公开了一种基于狄利克雷多项混合模型的长文本辅助短文本的文本聚类方法。针对短文本的特征稀疏问题，本发明提出了主题相关长文本辅助短文本的思想，辅助的基础是长文本与短文本共享相同的主题‑词语分配。为了更好地提升聚类效果，该发明能够自动判断长文本中的有用词和噪音词，利用长文本中高质量的有用词与短文本集合进行文本聚类。此外，本发明能够自动识别文本集类的数目，改进了传统文本集类数目需要人为提前给定的情况。

摘要： 本发明涉及一种基于改进谱聚类算法的文本聚类方法，包括：对待聚类文档集依次进行分词、去停用词以及提取关键词处理；创建文本相似度矩阵、邻接矩阵、度矩阵以及拉普拉斯矩阵；计算拉普拉斯矩阵的特征值和特征向量，得到特征矩阵；采用经典聚类方法对特征矩阵进行聚类，得到对应的聚类结果；若已知类别个数，则结合聚类结果以及提取的关键词，基于TF‑IDF算法提取出类别关键词；若未知类别个数，则依次调整聚类参数，以得到对应的多个调整聚类结果，对多个调整聚类结果进行评估，选取出最优的聚类结果；输出聚类结果及对应的类别关键词。与现有技术相比，本发明针对已知或未知类别数的情况，能够对文本进行聚类，同时能够输出对应于各类别的关键词。

摘要： 本发明提供了一种基于搜索引擎的短文本聚类系统及其短文本聚类方法，一种基于搜索引擎的短文本聚类系统，包括数据预处理模块，搜索引擎数据匹配模块，短文本相似度计算模块，数据处理模块；数据预处理模块是用于负责根据业务实际情况对文本数据进行预处理，所述样本数据即指上述短文本；本发明有效解决了目前聚类方式有计算速度较慢、短文本的聚类效果难以控制、不能实时对某条文本数据进行聚类等缺点问题，而且本发明能够实时将一条文本数据放入其相似的数据集中，而且能够利用搜索引擎数据库的高并发特性实现高效率聚类。

摘要： 本申请适用于深度学习技术领域，提供了一种文本聚类方法、文本聚类装置及终端设备，包括：获取至少两个待聚类文本，并分别对每个待聚类文本进行分词预处理得到多个文本特征词；利用Word2vec分别将每个文本特征词转换成词向量，并将所述待聚类文本中的所有词向量进行叠加得到所述待聚类文本的文本向量；利用预设的聚类模型对所述待聚类文本的文本向量进行聚类，得到聚类结果。通过上述方法，有效提高了文本聚类的准确率。

摘要： 本申请适用于深度学习技术领域，提供了一种文本聚类方法、文本聚类装置及终端设备，包括：获取训练文本，并对所述训练文本进行分词预处理得到多个待训练词语；利用所述待训练词语对预设的转换模型进行训练，得到训练后的转换模型；获取待聚类文本，对所述待聚类文本进行分词预处理得到多个文本特征词；利用所述训练后的转换模型分别将所述文本特征词转换为词向量，并将所述待聚类文本中的所有词向量进行叠加得到所述待聚类文本的文本向量；对所述文本向量进行聚类得到聚类结果。通过上述方法，能够有效提高文本聚类结果的准确性。

摘要： 本发明目的在于解决当前基于语义的用户聚类和短文本聚类方法中未考虑社交因素，“词义漂移”和短文本稀疏性问题。提出一种基于社交网络短文本流主题建模的用户聚类和文本聚类方法，包括下述步骤：S1、语料获取；S2、语料预处理；S3、基于社交网络中的短文本数据流主题建模；S4、推导及采样；S5、对用户进行聚类；S6、对短文本进行聚类。本发明综合考虑“词义漂移”，“短文本稀疏性”和“社交网络”三个影响主题建模的因素，解决通过社交网络短文本流分析用户和文本聚类缺失社交语义信息的问题，大大提高现有聚类算法的精度。

摘要： 本发明公开了一种基于狄利克雷多项混合模型的长文本辅助短文本的文本聚类方法。针对短文本的特征稀疏问题，本发明提出了主题相关长文本辅助短文本的思想，辅助的基础是长文本与短文本共享相同的主题‑词语分配。为了更好地提升聚类效果，该发明能够自动判断长文本中的有用词和噪音词，利用长文本中高质量的有用词与短文本集合进行文本聚类。此外，本发明能够自动识别文本集类的数目，改进了传统文本集类数目需要人为提前给定的情况。

摘要： 本发明涉及机器学习技术领域，提出一种基于birch聚类的海量文本聚类方法。针对海量文本的处理，使用改进的birch聚类算法建立哈希聚类特征树CF Tree，当初始CF Tree构建完成后，通过提升阈值T来重建CF树以吸收更多的异常样本值，直到异常值磁盘不再溢出；在对文本进行切词和去停用词的基础上，使用加权技术TF‑IDF计算关键词权重，并选取其中权重值较大的部分作为文本特征通过局部敏感哈希算法进行特征的降维，去除了文本中复杂的冗余信息，提取了能代表文本的关键信息，降低了文本特征的维度，提升了聚类的速度；采用了启发式的阈值提升模式，使得算法更好的适应不同文本的需求，降低人为设置超参数导致的聚类效果较差情况发生的概率。

摘要： 本发明涉及一种基于改进谱聚类算法的文本聚类方法，包括：对待聚类文档集依次进行分词、去停用词以及提取关键词处理；创建文本相似度矩阵、邻接矩阵、度矩阵以及拉普拉斯矩阵；计算拉普拉斯矩阵的特征值和特征向量，得到特征矩阵；采用经典聚类方法对特征矩阵进行聚类，得到对应的聚类结果；若已知类别个数，则结合聚类结果以及提取的关键词，基于TF‑IDF算法提取出类别关键词；若未知类别个数，则依次调整聚类参数，以得到对应的多个调整聚类结果，对多个调整聚类结果进行评估，选取出最优的聚类结果；输出聚类结果及对应的类别关键词。与现有技术相比，本发明针对已知或未知类别数的情况，能够对文本进行聚类，同时能够输出对应于各类别的关键词。