基于主题网络爬虫的汽车行业多元信息web系统设计与实现

摘要

伴随着汽车行业的高速发展，行业竞争愈发激烈，本土汽车企业兼并加剧、国外大型跨国企业纷纷入驻、原材料价格不断上涨、消费者的需求不断变化、整车行业整体利润下滑，迫使着汽车企业需要更加全面的了解与市场相关的信息:汽车行业动态、行业政策法规动态、零部件价格等信息。这些信息大量存在于互联网中，然而传统、主流地信息获取工具:通用搜索引擎目前在面向专业人士在专业领域上检索相关信息时，存在着返回信息不精准、不全、更新不及时等问题;同时，主流汽车行业相关网站又以汽车产品消费者提为主要服务对象。汽车企业用户想通过互联网获取相关行业信息，并不是特别方便。
　　针对通用搜索引擎存在的缺陷，主题网络爬虫技术应运而生，主题爬虫技术能自动的从互联网上采集与主题相关的网页，回避无关网页。因此，建立一个基于主题网络爬虫的汽车行业多元信息web系统解决汽车企业用户获取需求信息的不便，达到了解市场行情的目的，进而帮助汽车企业制定市场战略，提高企业市场竞争力是有必要的。
　　本文的目标是建立一个汽车企业用户的汽车行业多元信息web系统，为企业用户提供汽车行业新闻资讯、行业政策法规、汽车零部件价格等信息，研究的主要内容如下:
　　首先，在汽车行业竞争日益激烈和通用搜索引擎采集信息存在的不足的背景下，引出通过主题网络爬虫技术采集汽车行业相关信息的话题。在此基础之上讨论了汽车行业资讯、汽车产业政策法规、汽车零部件价格信息三者的现实需求。
　　其次，在需求分析的基础上结合主题网络爬虫技术设计了系统总体解决方案。
　　再次，对于主题网络爬虫，研究了其架构和工作原理，在架构的研究基础上，对各个模块的实现技术展开深入研究，包括在对网页的解析，对网页正文的分词技术的研究;对当前主流的主题基准模型展开研究，结合本文实际需求，选定向量空间模型为本文的主题基准模型;对当前主流关键字赋权的计算法TF和TF-IDF展开研究;对主题网络爬虫当前主流的搜索策略展开研究，在此基础上设计了本文基于网页文本和链接结构的综合搜索策略。
　　最后，在对前文所有研究的基础上，开发实现了基于主题网络爬虫的汽车行业多元信息web系统。

目录

声明

摘要

第1章 绪论

1．1 课题背景及研究意义

1．2 国内外研究现状

1．2．1 互联网主流汽车站点现状研究

1．2．2 主题网络爬虫研究现状

1．3 研究内容及组织结构

1．3．1 论文主要研究内容

1．3．2 论文组织结构

1．4 小结

第2章 汽车产业链协同服务平台用户对行业信息的需求分析

2．1 汽车产业链协同平台用户对信息种类的需求分析

2．1．1 汽车行业政策法规类信息需求分析

2．1．2 汽车行业新闻类信息需求分析

2．1．3 汽车零部件价格类数据需求分析

2．2 平台中小型汽车企业获取互联网行业信息存在的问题

2．3 系统功能需求分析

2．4 小结

第3章 基于主题网络爬虫的汽车行业多元信息Web系统总体设计

3．1 汽车行业多元信息web系统设计目标

3．2 汽车行业多元信息web系统总体架构

3．3 汽车行业多元信息web系统总体功能设计

3．3．1 用户功能模块设计

3．3．2 管理员功能模块设计

3．4 数据库设计方案

3．4．1 E-R图设计

3．4．2 主要数据表格的设计

3．5 主题网络爬虫设计方案

3．6 小结

第4章 基于主题爬虫的汽车行业多元信息Web系统的关键技术的研究

4．1 主题网络爬虫工作原理

4．2 主题网络爬虫结构

4．3 网页解析

4．3．1 HTMLParser解析器

4．3．2 解析标签确立

4．4 特征词提取

4．4．主题基准模型

4．4．1 主流主题基准模型

4．4．2 本文主题基准模型方案

4．4．3 本文主题词库的建立

4．4．4 主题特征赋值

4．5 搜索策略

4．5．1 主流搜索策略的研究

4．5．2 本文搜索策略方案

4．6 小结

第五章 基于主题网络爬虫的汽车行业多元信息web系统的实现

5．1 系统开发环境

5．2 系统功能实现

5．2．1 种子站点初始化

5．2．2 网页下载模块的实现

5．2．3 网页信息抽取模块的实现

5．2．4 主题相关性判别模块的实现

5．2．5 链接控制块的实现

5．2．6 用户界面的实现

5．2．7 留言评论功能的实现

5．2．8 信息查询功能的实现

5．2．9 系统管理功能的实现

5．3 小结

总结与展望

论文总结工作

后续工作展望

致谢

参考文献