基于大数据平台的可视化业务建模及模型管理系统

摘要

本发明提供一种基于大数据平台的可视化业务建模及模型管理系统，该系统通过可视化的业务建模、典型的建模样例和准确到位的帮助信息，使得用户无需编程，仅通过拖拽、连线的方式，便可以完成建模工作。模型逻辑建好以后，该系统提供了文本、表格、直方图、环图、折线图、ROC曲线图、2D/3D词云、树、森林等视图，以满足建模过程中不同阶段、不同输出类型数据的预览需求。

说明书

技术领域

本发明具体涉及大数据技术领域，具体涉及一种基于大数据平台的可视化业务建模及模型管理系统。

背景技术

大数据平台业务建模是一个复杂的过程，需要通过算法评估、模型训练、模型验证、模型调优等多个阶段，而且技术门槛高、耗时费力，这是限制政府和企业进行数据分析挖掘的主要问题之一；因此提出一种基于大数据平台的可视化业务建模及模型管理系统以解决这一问题。

大数据平台业务建模是一个复杂的过程，需要通过算法评估、模型训练、模型验证、模型调优等多个阶段。传统的建模及模型管理的方法主要是将训练好的模型导出成PMML文件，并存储在Web服务器中，需要在Web应用程序内部加载模型，并且为每个模型搭建单独的模型应用程序，从而将模型部署成在线服务。PMML文件虽然能够跨多种平台使用，但却牺牲了很多平台自身的性能优势，存在模型文件过大、模型加载速度较慢等缺点，并且Web应用开发人员需要根据不同模型搭建不同的模型应用程序，提高了开发成本，各个模型服务嵌入应用内部，致使模型维护困难。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于大数据平台的可视化业务建模及模型管理系统，该基于大数据平台的可视化业务建模及模型管理系统可以很好地解决上述问题。

为达到上述要求，本发明采取的技术方案是：提供一种基于大数据平台的可视化业务建模及模型管理系统，该基于大数据平台的可视化业务建模及模型管理系统通过将业务建模所需的数据读写、数据预处理、特征工程、模型训练、模型评估和模型应用环节，统一封装为形式一致的可视化算子，以可视化算子的形式提供机器学习算法和数据读写、数据处理工具箱，使用可视化组件和托拉拽操作来拼装CRISP-DM工作流，即可完成数据探索、业务建模和模型部署的数据挖掘过程。

优选的，还包括Notebook服务模块，所述Notebook服务模块通过编程模式提供特定算法需求情况下的高度定制开发功能，以适应不同的数据挖掘过程中的各种需求

优选的，还包括用于实现用户空间管理、用户数据逻辑空间、用户权限和用户交互逻辑的Web GUI模块和Web Service模块。

优选的，还包括用于实现数据解析、算法管理和业务建模工作流的解析和调度的核心算法引擎服务Core模块。

优选的，还包括可视化调整模块，用于进行模块增减和模块顺序调整，并通过可拖拽和连线的方式构建业务建模流程，在模型逻辑建立好以后，将建模逻辑以工作流的形式保存在存储系统中，并随时手动或自动运行自己或协作伙伴的工作流以观察建模效果。

该基于大数据平台的可视化业务建模及模型管理系统具有的优点如下：

通过可视化的业务建模、典型的建模样例和准确到位的帮助信息，使得用户无需编程，仅通过拖拽、连线的方式，便可以完成建模工作。模型逻辑建好以后，该系统提供了文本、表格、直方图、环图、折线图、ROC曲线图、2D/3D词云、树、森林等视图，以满足建模过程中不同阶段、不同输出类型数据的预览需求。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。

在以下描述中，对“一个实施例”、“实施例”、“一个示例”、“示例”等等的引用表明如此描述的实施例或示例可以包括特定特征、结构、特性、性质、元素或限度，但并非每个实施例或示例都必然包括特定特征、结构、特性、性质、元素或限度。另外，重复使用短语“根据本申请的一个实施例”虽然有可能是指代相同实施例，但并非必然指代相同的实施例。

为简单起见，以下描述中省略了本领域技术人员公知的某些技术特征。

根据本申请的一个实施例，提供一种基于大数据平台的可视化业务建模及模型管理系统，通过将业务建模所需的数据读写、数据预处理、特征工程、模型训练、模型评估和模型应用环节，统一封装为形式一致的可视化算子，以可视化算子的形式提供机器学习算法和数据读写、数据处理工具箱，使用可视化组件和托拉拽操作来拼装CRISP-DM工作流，即可完成数据探索、业务建模和模型部署的数据挖掘过程。

根据本申请的一个实施例，该系统还包括Notebook服务模块，所述Notebook服务模块通过编程模式提供特定算法需求情况下的高度定制开发功能，以适应不同的数据挖掘过程中的各种需求

根据本申请的一个实施例，该系统还包括用于实现用户空间管理、用户数据逻辑空间、用户权限和用户交互逻辑的Web GUI模块和Web Service模块。

根据本申请的一个实施例，该系统还包括用于实现数据解析、算法管理和业务建模工作流的解析和调度的核心算法引擎服务Core模块。

根据本申请的一个实施例，该系统还包括可视化调整模块，用于进行模块增减和模块顺序调整，并通过可拖拽和连线的方式构建业务建模流程，在模型逻辑建立好以后，将建模逻辑以工作流的形式保存在存储系统中，并随时手动或自动运行自己或协作伙伴的工作流以观察建模效果。

以上所述实施例仅表示本发明的几种实施方式，其描述较为具体和详细，但并不能理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明保护范围。因此本发明的保护范围应该以所述权利要求为准。