一种基于消息中间件的网页实时处理技术

摘要

针对传统网页采集分析系统在实时性上的不足，提出了一种基于消息中间件的网页实时处理技术。该技术利用消息中间件在消息队列驱动流程中引入并行调度策略，既继承了传统网页处理系统的可靠性，又实现信息抽取、话题聚类和网页分类等模块的分布式并行处理，增强了系统的实时处理能力。实验证明该文提出的技术在舆情实时采集、处理中较传统方法实时性高。