基于Java技术的新闻采集器设计与实现

摘要

以网易新闻为研究对象,基于Java技术设计实现了一个简单的新闻数据采集器,从数据库设计、ORM技术、爬虫程序、页面解析等方面进行了实践.采集器充分利用面向对象原理,以集合框架List和Set对数据以对象形式进行存取,实现了对数据库的增删改查等操作.实验结果表明,本程序可以有效地实现网页数据的快速获取,并可以在此基础上进一步为数据挖掘、新闻展示等应用提供数据源.