基于Hadoop的客服运维文本聚类算法研究

摘要

为快速准确地提取和挖掘信息系统运维服务过程中的关键咨询问题,本文利用分布式技术,基于Hadoop的客服运维文本聚类算法,对海量文本数据进行聚类研究。给出了基于Hadoop的运维数据分布式并行计算模型,并在Hadoop框架中对系统中所有运维数据进行分析处理。同时,给出了分布式文本聚类算法,并以10万余条电力信息系统运维数据为数据源,对设计的分布式聚类算法和传统聚类算法进行分析对比。实验结果表明,本文设计的分布式聚类算法所需时间低于传统聚类算法,不仅解决了传统聚类算法在处理海量数据方面由于数据规模过大引起的速度慢、效率低的问题,而且还借助大数据中蕴含的价值和动力,提升了企业运维服务水平。该研究具有较高的实用价值和理论意义。