面向农业主题的爬虫系统设计与实现

摘要

我国是农业大国，在农业各个方面均拥有大量的数据，比如种植业、林业、畜牧业等。农业大数据作为一种重要的新型战略资源，在农业系统协同、农业生产等方面有着重要作用，推动农业现代化发展。
　　农业大数据包括结构化数据和半结构化数据，随着互联网的不断发展，我国农业网络数据也越来越多，Web随之成为获取农业数据的主要来源，网络爬虫技术是获取Web数据的主要方法。但是由于网站的日益复杂化，通用的网络爬虫爬取主题网页的准确率降低，同时爬取的网页失去了时效性，这样的网络爬虫越来越不能满足用户的需求。
　　为了提高网络爬虫的爬取效率，方便用户使用，本文在进行充分研究和分析后设计并实现了一款面向Web农业数据的爬虫系统，主要工作如下:
　　第一，在对农业主题Web数据进行分析的基础上，对各种农业大数据应用项目的数据需求进行高度抽象，设计了一款面向农业主题的分布式网络爬虫系统。该系统可根据用户给定的主题自主训练语料库，也可接受用户指定的语料库，然后基于语料库爬取相应主题的Web数据;基于Hadoop平台，实现了分布式的爬取、内容抽取、分词统计和存储。
　　第二，在对特征词提取的相关算法进行研究的基础上，对信息增益算法进行了改进，基于潜在语义分析和信息增益的两种方法对特征词进行二次评估，不仅减少了数据处理量而且提高了特征词的代表性同时小幅度提高了网站分类的准确率。
　　第三，对文本分类技术的相关算法进行了研究，构建了基于朴素贝叶斯算法的网页分类模型，结合农业数据周期性、地域性、多样性、季节性的特点，制定不同的主题语料库，并制定了Web数据爬取策略，降低了系统工作量，提高了系统的工作效率。
　　本文设计并实现的面向农业主题的分布式爬虫系统能够在海量的网络资源中有效地识别并下载符合目标主题的Web资源，同时进行了测试，测试结果显示本文提出的方法小幅度提高了分类的精确度。能够抽取网页内容并分类保存。针对网站数据更新周期性的特点爬取网页，最终提高了系统的工作效率和爬取效率。

目录

声明

摘要

1．1．1 研究背景

1．1．2 研究意义

1．2 国内外研究现状

1．2．2 网络爬虫国内现状

1．2．3 网络爬虫国外现状

1．3 本文的研究内容和主要组织结构

2．1．1 网络爬虫

2．1．2 网络爬虫隐私协议

2．1．3 网络爬虫爬取策略

2．2 网页处理

2．3 网页内容抽取

2．3．1 网页组成

2．3．2 网页解析

2．4 中文分词

2．5 特征词选择方法

2．6 文本分类方法

2．7 Hadoop技术

3 面向农业主题的爬虫系统的分析

3．1 农业数据特点分析

3．2 网页数据特点分析

3．3 系统分析

3．3．1 应用需求分析

3．3．2 可行性分析

3．3．3 可维护性分析

3．3．4 系统性能分析

3．3．5 爬虫系统功能分析

4 面向农业主题的爬虫系统的设计

4．1 系统总体流程设计

4．1．1 爬虫系统整体架构设计

4．1．2 爬虫系统工作流程设计

4．2 数据库设计

4．3 系统功能模块设计

4．3．1 用户配置主题流程设计

4．3．2 分布式爬虫的设计

4．3．3 网页数据爬取模块的设计

4．3．4 训练语料库功能模块的设计

4．3．5 文本分类模块的设计

4．3．6 网页爬取策略管理模块的设计

4．3．7 网页文件抽取模块的设计

4．4 算法设计

4．4．1 基于潜在语义的降维

4．4．2 基于信息增益的特征词提取

4．4．3 基于朴素贝叶斯的网页分类

5 面向农业主题的爬虫系统的实现和测试

5．1 系统环境配置

5．2 分布式网络爬虫系统实现

5．2．1 Hadoop环境搭建

5．2．2 系统界面的实现

5．2．3 分布式网络爬虫的流程

5．2．4 分布式网络爬虫的功能

5．2．5 分布式统计特征词的实现

5．2．6 HDFS存储

5．2．7 网页爬取策略管理模块的实现

5．3 系统部分代码

5．3．1 基于朴素贝叶斯网页分类算法

5．3．2 获取网页更新时间

5．3．3 抽取网页文件

5．4 系统测试

5．4．1 训练集获取

5．4．2 网页信息抽取并分词

5．4．3 潜在语义分析降维

5．4．4 信息增益评估特征词

5．4．5 农业中文网页分类的实现和测试

6 总结与展望

参考文献

作者简历

致谢