搜索引擎优化大数据管理平台

摘要

本发明提供的搜索引擎优化大数据管理平台是一款基于SEO(搜索引擎优化)追踪，整合网站所有流量，然后进行统计、分析和管理的大数据平台，通过每天抓取网站SEO(搜索引擎优化)主要指标，整合关键词排名、网站外链、网站收录和网站流量等多个维度的数据，及时通知站长影响网站表现的因素。因此，所述搜索引擎优化大数据管理平台能够同时监控网站在多个搜索引擎上的表现，与竞争对手的对比分析一目了然。

说明书

技术领域

本发明属于互联网搜索引擎优化(简称：SEO)领域，尤其是涉及一种搜 索引擎优化大数据管理平台。

背景技术

目前互联网的搜索引擎优化(简称：SEO)领域的工作人员，需要在网络 上收集信息，为客户决策提供数据参考，因为考虑的因素不同，面对的企业 不同，在收集信息时会发生片面、信息量不够等问题。

对于SEO人员的工作大致可以分为三步：

收集网站的基础SEO数据，这需要大量的人力工作，需要到不同的网 站进行多次查询才可以获取到最终数据；

优化网站的内容，让网站代码更符合搜索引擎蜘蛛的抓取习惯；

生成数据报告，SEO人员需要将工作的成果展示给公司领导或者客户， 同样需要大量的人力工作，获取不同时期的数据，并将这些数据绘制成图表。

发明内容

搜索引擎优化大数据管理平台要解决的问题是提供一种新型的数据采 集方法，从而保证数据的全面、数据反映的问题客观，为客户决策提供客观 的数据参考，其技术方案如下所述：

一种搜索引擎优化大数据管理平台，包括下列步骤：

(1)通过网络爬虫获取企业网站的关键词排名、流量、收录、外链四 个维度的数据；

(2)将获取的四个维度的数据通过数据统计模块形成报表；

(3)将报表通过前端页面程序进行展示。

步骤(1)中，所述关键词排名的数据抓取是用关键词在搜索引擎里进 行查询，找到网站和其竞争对手在查询结果页面中出现的位置并记录在数据 库中，遍历所有关键词，从而获得所有关键词的排名信息。

步骤(1)中，所述收录的数据抓取是通过在搜索引擎中查询，从而获 得收录数据。

步骤(1)中，所述外链的数据抓取是通过对接专业外链数据查询网站 的数据接口，从而获得网站和其竞争对手的外链数据。

步骤(1)中，所述流量的数据抓取是通过专业流量数据查询网站提供 的数据接口获得。

所述步骤(2)中，所述数据统计模块分为关键词排名整合、收录数据 整合、外链整合和流量整合四个模块。

所述关键词排名整合分为关键词历史排名、关键词市场份额和关键词分 类排名三个子模块。

所述收录数据整合是将网站的收录数据和其竞争对手的收录数据存储 在同一张数据表中。

所述外链整合的内容是当获取到网站所有的外链数据之后，统计外链中 出现频率最高的关键词，统计提供外链个数最多的域名，统计外链中锚文本 的类型。

所述流量整合是从关键词维度和搜索引擎维度统计哪些关键词或搜索 引擎为网站带来的流量最多，以及这些流量对应的每个访客在网站上停留的 时间、新访客比例以及跳出率。

本发明的有益效果有两个方面：

降低时间成本：在没有本发明之前，用户需要在多个工具之间来回切换 来获取数据。本发明可以做到整合市面上大部分工具。实现一次配置，重复 使用。

历史数据查询：本发明支持历史数据的查询，并且可以导出。可以通过 历史数据看到过去一段时间对网站操作带来的影响。这是其他同类软件不具 备的。

跨搜索引擎：搜索引擎优化大数据管理平台支持百度、搜狗、360和百 度移动四个搜索引擎的数据抓取，对于需要多搜索引擎数据的用户来说，这 无疑又可以大大节约成本。

具体实施方式

搜索引擎优化大数据管理平台可以监测网站在搜索引擎上的表现，在 SEO(搜索引擎优化)优化过程中需要获取四个维度的数据，这四个维度的 数据分别是：关键词排名、流量、收录、外链。

搜索引擎优化大数据管理平台获取这四个维度的数据并且最终形成报 表是通过以下方式来实现的：

1、爬虫部分：爬虫是负责获取这四个维度的基础数据。而且针对每个 维度的数据都有不同的爬虫负责。

关键词爬虫：关键词爬虫是负责查询关键词对应网站在搜索引擎中的排 名的爬虫，一个爬虫负责模拟用户在搜索引擎输入关键词进行查询，把查询 结果存储在服务器硬盘中。另一个程序负责解析这些查询结果，把最终解析 到的关键词排名存储在数据库中。

收录爬虫：采用site命令在搜索引擎中查询，获得收录数据存储在数据 库。

外链爬虫：对接MOZ API获取外联数据。

流量爬虫：对接Google Analytics(谷歌网站数据统计服务)获得流量 数据。

2.数据统计程序：数据统计程序是负责将爬虫抓取到的原始数据通过归 纳、统计和计算，生成各种报表所需要的数据，最终为用户提供指导意义的 数据。例如：关键词排名前三页占比报表，此报表需要获取企业网站和其竞 争对手前两名网站这三个网站，针对特定的100个关键词在百度上的前三页 的排名占比，数据统计程序会把与这100个关键词排名在前三页的三个网站 全部统计出来，再按照这三个网站分别占总量的比例来生成图表。

3.前端页面程序：前端页面程序主要负责和客户交互的部分。将数据统 计程序计算结果以报表的形式展示给客户。

当用户注册登录系统后需要将自身网站、竞争对手和需要监控的关键词 信息输入到搜索引擎优化大数据管理平台里，搜索引擎优化大数据管理平台 会自动每天在百度、搜狗、360和百度移动这几个搜索引擎中搜索网站和竞 争对手的关键词排名、收录数据。并且会在moz.com和Google Analytics(谷 歌网站数据统计服务)中获取网站的外链和流量数据，把这些数据累计起来 就可以形成数据的历史图表。通过历史图表可以直观看出某段时间的SEO (搜索引擎优化)优化效果。

举例说明：某企业网站(网址：qiye.com)使用搜索引擎优化大数据管 理平台如何提升SEO(搜索引擎优化)工作效率？

首先、需要在搜索引擎优化大数据管理平台里添加qiye.com。

其次、添加qiye.com的竞争对手：例如51.com、yingjie.com

最后、添加需要监控的关键词，由于关键词多达1万个，所以这里就不 列举了。

配置好后，搜索引擎优化大数据管理平台会在每天的零点从互联网上获 取SEO(搜索引擎优化)所需的所有数据。具体的操作步奏是数据抓取、统 计分析整理和前台展示。

第一步数据抓取程序共四个部分、关键词排名数据抓取、外链数据抓取 和流量数据抓取，这四个部分的功能和工作原理如下：

关键词排名数据抓取：搜索引擎优化大数据管理平台会通过程序遍历所 有关键词，用每个关键词在搜索引擎里进行查询，把查询页面结果存储在硬 盘里，再通过另外一个程序把硬盘中的查询结果页面进行分析，找到 qiye.com和其竞争对手在查询结果页面中出现的位置记录在数据库中，这个 位置就是关键词排名。直到遍历完所有关键词，即可获得一万个关键词的排 名信息。

收录数据抓取：通过site：qiye.com在搜索引擎中查询即可获得收录数 据。

外链数据抓取：通过程序对接moz.com的数据接口，可以获得智联招 聘和其他竞争对手的外链数据。

流量数据抓取：通过Google Analytics(谷歌网站数据统计服务)提供 的数据接口获得智联招聘的流量数据。

第二步数据统计分析：在获得SEO(搜索引擎优化)数据之后，就需要 经过数据统计分析程序，把零散、缺乏关联性的数据有机的结合起来，最终 为前台展示程序提供数据基础。数据统计模块分为关键词排名整合、收录数 据整合、外链整合和流量整合具体的工作内容如下：

关键词排名整合又分为三个子模块，分别是关键词历史排名、关键词市 场份额和关键词分类排名。

关键词历史排名：把关键词排名数据跟进日期归类可以得到关键词排名 变化趋势，按照关键词排名出现的位置归类可以得到关键词在搜索引擎前三 页的分布情况，再考虑时间维度，又可以得到关键词排在前三页的变化趋势。

关键词市场份额：关键词市场份额是以当天智联招聘和竞争对手的关键 词排在搜索引擎前三页的个和数作为分母，再以智联招聘和其竞争对手分别 作为分子计算，最终得出智联招聘和竞争对手各自的市场份额。

关键词分类排名：因为智联招聘的关键词很多，通过整体关键词的排名 是无法细化到某一个子领域的排名情况。关键词排名分类程序会要求客户输 入关键词之前先输入关键词对应的分类，在排名爬虫抓取完排名之后，关键 词分类程序会根据关键词的分类把排名结果按照分类来存储在数据库表中。

收录数据整合：收录数据整合程序主要是把智联招聘的收录数据和竞争 对手的收录数据存储在同一张数据表中，方便客户对比自身网站和他竞争对 手的收录情况。由于抓取收录信息时考虑了时间维度，所以收录数据也可以 查看历史信息。

外链整合：当获取到一个网站所有的外链数据之后，统计分析程序负责 统计外链中出现频率最高的关键词，统计提供外链个数最多的域名，统计外 链中锚文本的类型。

流量整合：流量整合主要是从关键词维度和搜索引擎维度统计哪些关键 词或搜索引擎为智联招聘带来的流量最多，以及这些流量对应的每个访客在 网站上停留的时间、新访客比例以及跳出率。

第三步前台页面展示：在经过统计程序统计之后，前台展示页面只需要 把统计好的数据以图表的形式显示出来即可。

所述搜索引擎优化大数据管理平台把SEO(搜索引擎优化)人员从繁重 的、重复的收集数据的工作中解放出来，只需要简单的配置就可以获得SEO (搜索引擎优化)人员需要的数据，大大降低了人力成本。并最终形成报表 可以直观显示，为客户提供决策参考。