一种动态计算新闻采集服务资源的方法

摘要

本发明公开一种动态计算新闻采集服务资源的方法。所述方法以过往所采集的新闻数据和为采集数据所投入的采集资源量为基础、对数据进行特征抽取，通过逻辑回归模型动态分析确定对特定网站的数据采集频率，进而动态确定对特定网站进行数据采集所需要投入的采集资源，再通过实际采集的数据量和资源投入量作为反馈信息，不断修正逻辑回归模型的参数，对采集频率进行动态修正和优化。通过所述方法，可以在采集过程中动态调整优化采集频率和资源投入，有效地克服漏采和采集成本过高等问题，在确保采集质量的前提下，大幅减低采集成本。