分布式多媒体网络爬行系统的设计与实现

摘要

互联网和多媒体技术的飞速发展,推动了数字多媒体作品的在线销售与传播,也带来了版权侵犯问题。数字作品可以被轻易拷贝,任何人均可通过网络将版权保护作品进行再次分发。使用网络爬虫主动搜索互联网中的多媒体作品(图像、音频和视频),利用拷贝检测和数字指纹技术追踪泄露者,可以有效地保护版权。设计实现了一个分布式多媒体网络爬行系统,实现对互联网上多媒体作品的抓取,为下一步版权保护提供检测数据来源。
　　分布式网络爬虫的设计是一项极具挑战性的工作,在详细讨论一般爬虫设计架构的基础上,提出了一种实用的分布式架构设计,有效的结合了集中式和分布式设计的优点,较好地解决了任务调度与爬行结点动态加入和退出造成的重复爬行问题。网络爬虫的实现涉及到一系列关键技术,为加快爬行速度,尽早爬行到重要资源,采用基于URL过滤的宽度优先搜索策略,丢弃不重要的URL;在对基于Bloom Filter的URL判重方式进行详细分析讨论后,提出了一种基于Bloom Filter的分布式URL判重方法,每个爬行结点只维护自身任务范围内URL的判重结构,爬行结点越多,单个爬行结点需要进行判重的URL越少,减少了对内存的需求,加快了判重速度;爬行结点采用多线程实现可以有效加快爬行速度,但线程之间存在竞争,详细讨论了多线程设计中遇到的问题。
　　在多媒体资源爬行方面,详细讨论了多媒体资源爬行下载中存在的问题及解决思路,着重介绍了视频分享网站中存在的视频下载问题,并以视频网站优酷为例描述了问题的解决方案。最后通过系统的实际运行评测,验证分布式多媒体网络爬行系统的实用性,并对需要继续研究改进的问题提出了展望。

目录

封面

声明

中文摘要

英文摘要

目录

1 引言

1.1 研究背景及意义

1.2 国内外研究现状

1.3 主要研究内容

1.4 本文结构

2 分布式多媒体爬行系统设计

2.1 网络爬虫基本原理

2.2 网络爬虫设计目标

2.3 分布式网络爬虫架构设计

2.4 任务调度与负载均衡

2.5 本章小结

3 网络爬虫关键技术研究与实现

3.1 爬行策略

3.2 URL判重

3.3 多线程同步

3.4 更新策略

3.5 本章小结

4 多媒体抓取模块实现与系统评测

4.1 普通多媒体资源获取

4.2 视频分享网站地址解析

4.3 系统运行评测

4.4 本章小结

5 总结与展望

致谢

参考文献

附录 攻读学位期间的研究成果与参研项目