基于Ajax的新闻网页动态数据的抓取方法及系统

摘要

本发明公开了基于Ajax的新闻网页动态数据的抓取方法及系统；建立新闻网页爬取内容数据库，设置新闻网页爬取内容数据库的编码方式；获得待抓取新闻网页的新闻列表页面的URL地址；访问URL地址，判断新闻列表页面是否是通过Ajax动态加载数据的；如果是，通过浏览器开发者工具找到请求的数据源；判断请求的数据源的编码方式是否一致，如果否，则对数据源进行编码转换，解析数据格式：将数据源的格式解析成为新闻列表页面的后台语言处理的对象格式或者数组格式；将解析后的数据封装成对象或数组类型；判断封装是否成功，成功就将数据对象或数组类型遍历输出列表；利用网络爬虫采集得到的输出列表；将采集到的数据存储到数据库中。