基于流水线负载平衡模型的并行爬虫研究

孟祥乾; 叶允明; 邓斌

首页> 中文期刊> 《计算机工程》 >基于流水线负载平衡模型的并行爬虫研究

基于流水线负载平衡模型的并行爬虫研究

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

针对并行爬虫系统在多任务并发执行时所遇到的模块间负载平衡问题,提出流水线负载平衡模型(PLB),将不同的任务抽象为独立模块而达到各模块的处理速度相等,采用多线程的方式实现基于PLB的并行爬虫,根据线程的休眠和缓冲区的变化对线程数量进行动态调整以实现PLB.实验结果表明该方法具有良好的运行效率和稳定性.

著录项

来源
《计算机工程》 |2009年第2期|34-36|共3页
作者
孟祥乾; 叶允明; 邓斌;
展开▼
作者单位

哈尔滨工业大学深圳研究生院;

深圳;

518055;

哈尔滨工业大学深圳研究生院;

深圳;

518055;

哈尔滨工业大学深圳研究生院;

深圳;

518055;

展开▼
原文格式 PDF
正文语种 chi
中图分类程序设计、软件工程;
关键词
爬虫; 并行; 流水线; 负载平衡;

相似文献

中文文献
外文文献
专利

1. 船舶管理中基于负载平衡的并行FP-growth算法研究 [J] . 尚弘 ,徐平平 ,姚湘 . 舰船科学技术 . 2019,第011期
2. 基于多块结构网格的并行计算及负载平衡研究 [J] . 李桂波 ,杨国伟 . 宇航学报 . 2011,第006期
3. 基于PC集群的sort-first并行渲染系统负载平衡研究 [J] . 季华 ,王永强 ,陈福民 . 网络新媒体技术 . 2008,第005期
4. 基于PC集群的sort-first并行渲染系统负载平衡研究 [J] . 季华 ,王永强 ,陈福民 . 网络新媒体技术 . 2007,第008期
5. 基于负载平衡的并行JOIN关系划分粒度研究 [J] . 葛芝宾 ,谢立 . 计算机科学 . 1995,第001期
6. 基于多核处理器的动态负载平衡并行遗传算法 [C] . 王力生 ,张欣 . 全国第20届计算机技术与应用（CACIS）学术会议 . 2009
7. 并行爬虫中的负载平衡模型研究 [A] . 孟祥乾 . 2007

基于流水线负载平衡模型的并行爬虫研究

摘要

著录项

相似文献

相关主题

期刊订阅