大数据背景下数据分析处理服务平台

摘要

本发明公开了一种大数据背景下数据分析处理服务平台，涉及数据处理分析技术领域。大数据背景下数据分析处理服务平台，支持多种数据处理框架和编程语言的综合数据分析服务平台，包括外围模块、zeppelin‑server模块、zeppelin‑interpreter模块、zeppelin‑zengine模块、zeppelin‑web模块和数据库模块。所述zeppelin‑server模块为整体系统入口，提供服务器功能、权限认证以及用户校验功能，zeppelin‑interpreter模块用于执行解释器，所述zeppelin‑zengine模块用于zeppelin中notebook的持久化和检索服务。该大数据背景下数据分析处理服务平台，本服务平台采用基于Zepeelin框架进行开发，支持多种主流的数据处理框架，包括Hadoop、Spark、Flink和R等框架，提供了主流的数据库操纵能力，包括PostgreSQL、HBase和MySQL。

说明书

技术领域

本发明涉及数据处理分析技术领域，具体为一种大数据背景下数据分析处理服务平台。

背景技术

在现有技术中，“大数据”成为一个脍炙人口的时髦词汇，面对数据规模爆炸式的提升，对于数据处理速度和质量的要求越来越严苛。同时，随着数据规模地不断攀升，从众多数据中挖掘出符合自身发展的有效数据，指导生产实践变得越来越困难。

为了应对大数据带来的挑战，各种大数据处理技术也在不断地推陈出新。从数据处理速度出发，Hadoop、Spark和Flink等一系列的数据处理框架不断涌入市场。从数据源侧出发，无论是离线场景和实时场景，Storm、Samza和Spark Streaming等框架不断地更新迭代。为了更好地方便数据开发人员操纵数据计算框架，各个框架又针对性的推出适应于不同编程语言(如Java/Scala/Python)等API，方便数据开发人员进行数据处理；特别是对于离线场景数据加工处理而言，验证数据处理方案往往需要花费大量的算力和时间，如果能对数据处理过程逐步分块进行验证并缓存关键性数据，对于数据处理流程来说可谓大有裨益；鉴于此，我们提出了一种大数据背景下数据分析处理服务平台。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种大数据背景下数据分析处理服务平台，解决了上述背景技术提到的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种大数据背景下数据分析处理服务平台，其特征在于：包括外围模块、zeppelin-server模块、zeppelin-interpreter模块、zeppelin-zengine模块、zeppelin-web模块和数据库模块；

所述zeppelin-server模块为整体系统入口，提供服务器功能、权限认证以及用户校验功能；

所述zeppelin-interpreter模块用于执行解释器；

所述zeppelin-zengine模块用于zeppelin中notebook的持久化和检索服务。

所述zeppelin-web模块用于业务脚本语言编写、数据分析界面和数据可视化与结果导出。

可选的，所述外围模块包括数据开发模块、解释器管理模块、系统管理模块和日志管理模块，通过对开源框架apache zeppelin进行功能上的封装和拓展。

可选的，所述外围模块通过浏览器对其进行数据的读取。

可选的，所述浏览器端通过访问交互式分析平台地址登录到平台内部。

可选的，所述交互式分析平台中设置有交互式笔记操作界面，且用户通过在数据开发功能按钮上点击，填写新建笔记、导入笔记或编辑近期已编辑的笔记，进入交互式笔记操作界面。

可选的，所述在交互式笔记操作界面中，用户可以指定执行语句的解释器引擎，对笔记段落可以启动、停止、删除、冻结、隐藏输入和隐藏输出等操作，对于每个段落执行的任务市场进行统计，并支持对执行结果数据列进行简单的数据可视化操作。

可选的，所述解释器引擎为可配置解释器组，能够灵活扩展自定义配置解释器引擎。

可选的，所述数据库模块采用MySQL存储业务数据，存储的业务数据包括但不限于用户数据、任务状态数据和日志数据。

(三)有益效果

本发明提供了一种大数据背景下数据分析处理服务平台。具备以下有益效果：

(1)、该大数据背景下数据分析处理服务平台，本服务平台采用基于Zepeelin框架进行开发，支持多种主流的数据处理框架，包括Hadoop、Spark、Flink和R等框架，提供了主流的数据库操纵能力，包括Postgre SQL、HBase和MySQL。

(2)、该大数据背景下数据分析处理服务平台，对于擅长不同的编程语言及脚本语言数据开发人员来说，支持主流的Java、Scala和Python，并拓展支持Shell及SQL；此外还提供交互式笔记对比和分享功能，方便开发人员进行代码回溯及协同开发，支持二次开发，用户可以自定义数据连接协议，接入多种数据源。

附图说明

图1为本发明整体服务平台的架构图；

图2为本发明外围模块模块的架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

请参阅图1-图2，本发明提供一种技术方案：一种大数据背景下数据分析处理服务平台，支持多种数据处理框架和编程语言的综合数据分析服务平台，包括外围模块、zeppelin-server模块、zeppelin-interpreter模块、zeppelin-zengine模块、zeppelin-web模块和数据库模块；

zeppelin-server模块为整体系统入口，提供服务器功能、权限认证以及用户校验功能；

zeppelin-interpreter模块用于执行解释器；

zeppelin-zengine模块用于zeppelin中notebook的持久化和检索服务。

zeppelin-web模块用于业务脚本语言编写、数据分析界面和数据可视化与结果导出。

值得注意的是，通过zeppelin-server模块下的Main函数启动，通过Jetty内嵌服务提供Websocket服务和Restful服务，基于Shiro提供了权限认证和用户校验功能。在zeppelin-interpreter模块下，通过调用zeppein-zeppelin中的Thrift服务，实现解释器的交互功能，在zeppelin-web中，使用AngularJS前端框架实现脚本语言编写和数据可视化。

具体的，本实施中的外围模块包括数据开发模块、解释器管理模块、系统管理模块和日志管理模块，通过对开源框架apache zeppelin进行功能上的封装和拓展。外围模块通过浏览器对其进行数据的读取。

本实施例中，用户在使用的过程中，需要借助相关的计算机设备对整体系统进行数据上的读取，并通过计算机浏览器进行系统登录，浏览器端通过访问交互式分析平台地址登录到平台内部。交互式分析平台中设置有交互式笔记操作界面，且用户通过在数据开发功能按钮上点击，填写新建笔记、导入笔记或编辑近期已编辑的笔记，进入交互式笔记操作界面。

在交互式笔记操作界面中，用户可以指定执行语句的解释器引擎，对笔记段落可以启动、停止、删除、冻结、隐藏输入和隐藏输出等操作，对于每个段落执行的任务市场进行统计，并支持对执行结果数据列进行简单的数据可视化操作。进一步的，解释器引擎为可配置解释器组，能够灵活扩展自定义配置解释器引擎。

具体而言，本发明技术方案的数据库模块采用MySQL存储业务数据，存储的业务数据包括但不限于用户数据、任务状态数据和日志数据。

该大数据背景下数据分析处理服务平台，本服务平台采用基于Zepeelin框架进行开发，支持多种主流的数据处理框架，包括Hadoop、Spark、Flink和R等框架，提供了主流的数据库操纵能力，包括Postgre SQL、HBase和MySQL。对于擅长不同的编程语言及脚本语言数据开发人员来说，支持主流的Java、Scala和Python，并拓展支持Shell及SQL；此外还提供交互式笔记对比和分享功能，方便开发人员进行代码回溯及协同开发，支持二次开发，用户可以自定义数据连接协议，接入多种数据源。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。