首页> 中文期刊> 《计算机工程》 >一种基于WatiJ的Deep Web蜘蛛研究

一种基于WatiJ的Deep Web蜘蛛研究

         

摘要

As to the problems that a significant part of information can not be crawled effectively because of the dynamic Webs, a Web spider for the deep Web based on automated test tools called WatiJ is designed. The principle of using WatiJ to imitate users to submit query forms, continued next page is described, key steps of the crawling for the dynamic Webs are introduced by examples. Proved by the experiments, this spider is an effective one for crawling dynamic Webs in authorized data source.%Deep Web中相当一部分内容因为动态网页存在而不能进行有效抓取.为此,设计并实现一种基于Web自动化测试工具--WatiJ的Deep Web 网络蜘蛛.阐述利用WatiJ实现用户提交查询表单、循环点击翻页按钮等拟人交互方式的原理,通过实例给出动态网页抓取的关键步骤.实验结果表明,该蜘蛛是针对授权数据源进行动态网页抓取的一种有效解决方案.

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号