对新闻客户端的数据采集及解析的方法及系统

摘要

本发明提供了一种对新闻客户端的数据采集及解析的方法及系统，方法包括：根据获取的新闻客户端的数量创建线程，获取CPU核心数量并将每个线程绑定于相应的CPU核心；获取每个新闻客户端的栏目信息并获取每个栏目的预置属性文件，下载每个栏目的数据并生成采集节点，在将每个采集节点的数据存储于对应的采集队列后再传到解析单元；解析每个栏目的属性信息并获取每条新闻对应的正文信息，形成每条新闻数据的解析节点并存于预置解析队列中；将同一CPU核心上预置解析队列中的数据存储于对应的预置输出队列，以便将预置输出队列中的数据传送至预置数据库，且基于预置数据库中的数据实现对新闻客户端数据的监管。该方法可提高数据处理效率。