一种基于矿业大数据的SaaS云数据服务平台

摘要

本发明提供了一种基于矿业大数据的SaaS云数据服务平台，涉及数据处理的技术领域，包括：大数据中心模块，用于获取终端设备采集到的矿业信息数据；数据处理分析模块，用于利用RPA技术对矿业信息数据进行处理，并将处理后的矿业信息数据发送给大数据中心模块，以使大数据中心模块对处理后的大数据矿业信息数据进行分布式存储；服务应用模块，用于对处理后的矿业信息数据进行容器资源初始化，得到初始化数据，并将初始化数据读入后台管理平台，以供后台管理平台读取和外界监督；后台业务引擎模块，用于利用BPM引擎和预设映射规则为各类业务提供支撑，解决了现有技术中矿业信息数据的关联性和时效性较差的技术问题。

说明书

技术领域

本发明涉及数据处理的技术领域，尤其是涉及一种基于矿业大数据的SaaS云数据服务平台。

背景技术

矿业作业中需要大量不同专业、不同类型的数据来指导矿业工作，虽然目前主要采用人工手动拷贝等方式实现数据的部分共享，但由于缺乏统一的数据管理平台，各专业部门之间一直没有实现基于全球矿业信息数据的统一整合和管理，与矿业生产、矿业交易相关的图形数据、报表数据比较分散、独立，很难做到实时、全面、及时、准确、一致的获取矿业信息，在矿业项目信息集中维护和管理、数据动态一致性方面存在很大困难。由于矿业作业是一个实时动态变化的过程，伴随着矿业的开采、掘进工作时刻都在产生大量的综合自动化等数据，相关机构和企业人员没法及时地获取相关矿业信息的变化。

由于矿业是一个典型的多部门、多专业管理的行业，如何将原有分散、孤立的业务系统和数据采集源建立统的管理平台是建立新型信息化矿业云服务平台需要首先解决的问题。现阶段矿业在这方面存在的主要问题有：①建设的各类业务管理监测综合自动化等系统相互孤立存在，缺乏数据管理和集成共享的标准规范无法综合管理和应用；②各类监测系统和业务系统产生的数据，从数据本身来看是具有天然的地理空间参考和共同属性关联的但由于缺乏统筹规划和云服务平台支撑，数据仍是分散和弱关联方式存在，大大降低了数据本身的利用价值；③矿业各业务部门间的数据共享和交换多数仍是人工方式，时效性较低，而且准确性也受人为因素影响较大，是安全生产管理管理的薄弱环节。

针对上述问题，还未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种基于矿业大数据的SaaS云数据服务平台，以缓解了现有技术中矿业信息数据的关联性和时效性较差的技术问题。

第一方面，本发明实施例提供了一种基于矿业大数据的SaaS云数据服务平台，包括：大数据中心模块，数据处理分析模块，服务应用模块和后台业务引擎模块，其中，所述大数据中心模块，用于获取终端设备采集到的矿业信息数据；所述数据处理分析模块，用于利用RPA技术对所述矿业信息数据进行处理，并将处理后的矿业信息数据发送给所述大数据中心模块，以使所述大数据中心模块对处理后的大数据矿业信息数据进行分布式存储；所述服务应用模块，用于对所述处理后的矿业信息数据进行容器资源初始化，得到初始化数据，并将所述初始化数据读入后台管理平台，以供所述后台管理平台读取和外界监督；所述后台业务引擎模块，用于利用BPM引擎和预设映射规则为各类业务提供支撑。

进一步地，所述矿业信息数据包括：行情数据、新闻资讯、战略政策、资源信息、项目信息、投资信息、交易信息、企业信息、科技信息、人才信息、矿业社交信息、资产评估数据、征信服务数据、数字资产托管数据、数据交易信息、投融资评估数据、金融产品设计与服务数据。

进一步地，所述数据处理分析模块利用RPA技术对所述矿业信息数据进行处理包括如下步骤：对所述矿业信息数据进行分类，得到分类数据，并对所述分类数据进行备份；对所述分类数据进行校正，并确定出校正后的分类数据对应的模板；将所述校正后的分类数据填写至对应的模板中。

进一步地，所述基于矿业大数据的SaaS云数据服务平台，还包括：安全保障服务模块，用于为所述基于矿业大数据的SaaS云数据服务平台提供安全保障服务；外部系统对接模块，用于为所述基于矿业大数据的SaaS云数据服务平台和外部系统提供对接服务。

进一步地，所述外部系统包括：网络运维管理系统、网络安全管理系统、安全评估管理系统和第三方服务商系统。

进一步地，所述基于矿业大数据的SaaS云数据服务平台的应用架构包括：基础技术与支撑层，产品应用层和接入层，其中，所述基础技术与支撑层采用PostgreSQL数据库，为战略性矿产的地图服务和属性处理的业务接口，并为所述产品应用层提供各类模块的管理接口；所述产品应用层，用于为用户提供目标服务，其中，所述目标服务包括：在线客服、咨询服务、矿权信息管理服务和矿业信息管理；所述接入层，用于为所述用户提供基于矿业大数据的SaaS云数据服务平台的用户访问入口。

进一步地，所述基础技术与支撑层，还用于解耦合系统业务。

进一步地，所述基于矿业大数据的SaaS云数据服务平台的应用架构还包括：Spring Security安全框架，其中，所述Spring Security安全框架，用于提供目标功能，其中，所述目标功能包括：认证、加密、授权、会话管理、Web集成和缓存。

进一步地，所述基于矿业大数据的SaaS云数据服务平台的数据架构采用数据分层模型，其中，平台级矿业信息数据采用共享数据库和共享数据表相结合的方式实现数据隔离，并利用矿业ID区分不同矿业项目类型。

进一步地，所述基于矿业大数据的SaaS云数据服务平台的技术架构包括：前端和后端，其中，所述前端，用于为提供可视化页面和用户交互功能；所述后端，用于利用SpringCloud框架提供微服务。

在本发明实施例中，提供了一种基于矿业大数据的SaaS云数据服务平台，该平台通过大数据中心模块获取终端设备采集到的矿业信息数据；所述数据处理分析模块用于利用RPA技术对所述矿业信息数据进行处理，并将处理后的矿业信息数据发送给所述大数据中心模块，以使所述大数据中心模块对处理后的大数据矿业信息数据进行分布式存储；所述服务应用模块，于对所述处理后的矿业信息数据进行容器资源初始化，得到初始化数据，并将所述初始化数据读入后台管理平台，以供所述后台管理平台读取和外界监督；所述后台业务引擎模块用于利用BPM引擎和预设映射规则为各类业务提供支撑，达到了对矿业信息数据进行整合和实时获取的目的，进而解决了现有技术中矿业信息数据的关联性和时效性较差的技术问题，从而实现了提高矿业信息数据的关联性和时效性的技术效果。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于矿业大数据的SaaS云数据服务平台的示意图；

图2为本发明实施例提供的另一种基于矿业大数据的SaaS云数据服务平台的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

根据本发明实施例，提供了一种基于矿业大数据的SaaS云数据服务平台的实施例，图1是根据本发明实施例的一种基于矿业大数据的SaaS云数据服务平台的示意图，如图1所示，该基于矿业大数据的SaaS云数据服务平台包括：大数据中心模块10，数据处理分析模块20，服务应用模块30和后台业务引擎模块40。

所述大数据中心模块10，用于获取终端设备采集到的矿业信息数据；

需要说明的是，上述矿业信息数据包括：行情数据、新闻资讯、战略政策、资源信息、项目信息、投资信息、交易信息、企业信息、科技信息、人才信息、矿业社交信息、资产评估数据、征信服务数据、数字资产托管数据、数据交易信息、投融资评估数据、金融产品设计与服务数据。

所述数据处理分析模块20，用于利用RPA技术对所述矿业信息数据进行处理，并将处理后的矿业信息数据发送给所述大数据中心模块，以使所述大数据中心模块对处理后的大数据矿业信息数据进行分布式存储；

在本发明实施例中，面向不同规模、行业、盈利状况的矿业公司、机构提供不同的业务流程模板，结合人工智能、RPA等技术降低矿业项目获取的操作复杂度，为其提供简单易用的数据信息平台。RPA是多种技术的组合应用。RPA其实是一类自动化技术的统称，通常包括键盘和鼠标的模拟操作技术、屏幕信息获取和定位的抓屏技术、流程控制处理的工作流引擎技术，以及自动化任务调动控制和管理技术等。

RPA技术的核心能力是模拟和替代人工劳动，RPA这种存活在计算机里的软件替代的是办公室里员工的部分脑力劳动，以及诸如敲击键盘、点击鼠标、切换页面等系统操作动作。随着全社会进入信息化时代，几乎所有企业中的员工以及人们的日常生活都需要依赖计算机，一些大型企业更是同时拥有多套应用系统，员工在工作中经常需要登录不同的系统进行业务处理，而系统处理过程中必然存在大量的数据录入、数据核对以及数据报告等工作，RPA通过模拟人工操作的方式很好地解决了这类问题。

RPA可无缝地实现跨系统连接。员工通常在工作中需要使用多个业务系统、桌面软件，以及不定时访问内外部网站来获取信息，RPA目前能够无缝地集成多种业务操作，变相起到了不同应用系统之间集成的作用。而这样的集成方式并不需要修改后端程序的任何一行代码或数据库字段，也不需要打开后端程序的接口或服务，因为RPA只是在模拟人的行为，访问操作的是那些应用系统的页面。这种集成方式也被称作“At-the-glassIntegration”，即“表层集成”。

由于RPA不需要工作人员了解复杂的后端程序逻辑、数据库结构、软件接口和服务调用方式，而是主要利用图形化可拖拽的工具进行编辑，采用脚本语言编写程序并且不需要编译和部署，甚至可以用录制的方式自动生成，才使技术人员更容易上手，甚至于一些业务人员在经过培训后也可以直接使用。

所述服务应用模块30，用于对所述处理后的矿业信息数据进行容器资源初始化，得到初始化数据，并将所述初始化数据读入后台管理平台，以供所述后台管理平台读取和外界监督；

所述后台业务引擎模块40，用于利用BPM引擎和预设映射规则为各类业务提供支撑。

在本发明实施例中，BPM引擎由流程引擎、规则引擎、消息引擎、分析引擎和报表引擎构成。后台业务引擎模块利用BPM引擎的智能矿业业务流程设计；以矿业数据管理流程为切入点，梳理各项业务，打通矿业流相关数据，利用BPM引擎将各个环节联系起来，实现端到端对接，打破部门之间的“数据孤岛”，同时，基于BPM的集成能力，进一步整合OA(办公自动化)、CRM(客户关系管理)以及ERP(企业资源管理)等系统，有助于提高工作效率。

在本发明实施例中，提供了一种基于矿业大数据的SaaS云数据服务平台，该平台通过大数据中心模块获取终端设备采集到的矿业信息数据；所述数据处理分析模块用于利用RPA技术对所述矿业信息数据进行处理，并将处理后的矿业信息数据发送给所述大数据中心模块，以使所述大数据中心模块对处理后的大数据矿业信息数据进行分布式存储；所述服务应用模块，于对所述处理后的矿业信息数据进行容器资源初始化，得到初始化数据，并将所述初始化数据读入后台管理平台，以供所述后台管理平台读取和外界监督；所述后台业务引擎模块用于利用BPM引擎和预设映射规则为各类业务提供支撑，达到了对矿业信息数据进行整合和实时获取的目的，进而解决了现有技术中矿业信息数据的关联性和时效性较差的技术问题，从而实现了提高矿业信息数据的关联性和时效性的技术效果。

在本发明实施例中，数据处理分析模块利用RPA技术对所述矿业信息数据进行处理包括如下步骤：

对所述矿业信息数据进行分类，得到分类数据，并对所述分类数据进行备份；

对所述分类数据进行校正，并确定出校正后的分类数据对应的模板；

将所述校正后的分类数据填写至对应的模板中。

在本发明实施例中，数据处理分析模块在获取到矿业信息数据之后，矿业信息数据的内容进行整合分类，分类过程中需要根据数据的需要做成的报表矿业信息数据进行分类，如矿业项目、矿床类型、矿储量等内容进行分类。

然后，对经过分类的矿业信息数据进行矫正，检测完成之后，根据当前矿业信息数据的内容，准备好所需要的模板以及框架，然后通过数据智能填报功能将矿业信息数据填入到对应模板中，进行数据预处理筛选。

最后，对模板进行保存，保存过程中，会根据模板的大小以及文档的不同进行自定义的命名，命名的内容如，矿业发展信息表格、矿业生产信息表格等，最终数据保存模块将数据。检测完成之后，将数据传输给分类模块。在分类的过程中，会将分类好的数据，传输到备份模块中，由备份模块进行备份，备份完成之后传输到内部私有云中，由内部私有云进行统一的存储，防止后续文件丢失之后查找不到的情况，便于了后续对历史文件的查询以及观看。

在本发明实施例中，如图2所示，所述基于矿业大数据的SaaS云数据服务平台，还包括：

安全保障服务模块50，用于为所述基于矿业大数据的SaaS云数据服务平台提供安全保障服务；

外部系统对接模块60，用于为所述基于矿业大数据的SaaS云数据服务平台和外部系统提供对接服务。

需要说明的是，上述的外部系统包括：网络运维管理系统、网络安全管理系统、安全评估管理系统和第三方服务商系统。

在本发明实施例中，基于矿业大数据的SaaS云数据服务平台能够对接网络运维管理系统、网络安全管理系统和安全评估管理系统，实现平台平稳运行；同时，与第三方服务商系统进行对接，达到享各方资源的目标。

在本发明实施例中，所述基于矿业大数据的SaaS云数据服务平台的应用架构包括：基础技术与支撑层，产品应用层和接入层。

所述基础技术与支撑层采用PostgreSQL数据库，为战略性矿产的地图服务和属性处理的业务接口，并为所述产品应用层提供各类模块的管理接口；

所述产品应用层，用于为用户提供目标服务，其中，所述目标服务包括：在线客服、咨询服务、矿权信息管理服务和矿业信息管理；

所述接入层，用于为所述用户提供基于矿业大数据的SaaS云数据服务平台的用户访问入口。

在本发明实施例中，基础技术与支撑层采用PostgreSQL数据库，为战略性矿产的地图服务和属性处理的业务接口，并为所述产品应用层提供各类模块的管理接口，以供系统管理员对用户进行权限分配和对系统日志进行回溯。

需要说明的是，上述的各类模块包括API管理模块、工作流相关模块、用户角色权限管理模块、集成身份认证模块、报表管理模块、事件订阅通知管理模块、数据分析服务模块以及系统监测及日志管理模块。对外数据平台的数据实时上传更新，建立对外服务的工作日志，以供管理人员及时的查看；外部监督人员通过官网认证的渠道进入，对整个服务体系进行监督，并且可以根据外界的观察，让其提出建议，并对提出的建议进行汇总，汇总后产生工作日志，并对汇总的工作日志进行实时上传，上传至统一管理。

另外，还需要说明的是基础技术与支撑层还用于解耦合系统业务，实现业务的模块化精细管理。

具体的，系统功能的视角对平台的应用架构进行说明，共划分为基础技术与支撑层、应用层以及接入层。平台最底层为基础技术与支撑层，首先，考虑到性能、稳定性、安全性和对数据库集群的扩展能力等因素，平台选用PostgreSQL数据库，来保证系统数据和业务数据的持久化；其次，所述基础技术与支撑层用于维持系统业务核心功能的运作，为上面应用层提供各类模块的管理接口，包括API管理模块、工作流相关模块、用户角色权限管理模块、集成身份认证模块、报表管理模块、事件订阅通知管理模块、数据分析服务模块以及系统监测及日志管理模块等；利用基础技术与支撑层提供的接口，系统管理员可以对用户进行权限分配、对系统日志进行回溯等；同时，基础技术与支撑层还可以解耦合系统业务，实现业务的模块化精细管理，起到承上启下的作用。

在基础技术与支撑层之上为应用层，用于在线客服、咨询服务、以及矿权、矿业信息的业务管理。最上层为接入层，即用户访问平台的入口，包括三类用户：平台级用户、企业用户以及相关机构用户，所述接入层提供小程序端和Web端两种访问方式。

当用户成功登陆系统后，应用层根据登录用户的角色为用户分配不同的配置页面和权限。

在本发明实施例中，所述基于矿业大数据的SaaS云数据服务平台的应用架构还包括：Spring Security安全框架。

所述Spring Security安全框架，用于提供目标功能，其中，所述目标功能包括：认证、加密、授权、会话管理、Web集成和缓存。

所述基于矿业大数据的SaaS云数据服务平台的数据架构采用数据分层模型，其中，平台级矿业信息数据采用共享数据库和共享数据表相结合的方式实现数据隔离，并利用矿业ID区分不同矿业项目类型。

所述基于矿业大数据的SaaS云数据服务平台的技术架构包括：前端和后端，其中，所述前端，用于为提供可视化页面和用户交互功能；所述后端，用于利用Spring Cloud框架提供微服务。

需要说明的是，基于矿业大数据的SaaS云数据服务平台的技术架构基于对象-关系型数据库PostgreSQL构建，通过构建统一标准、多种数据兼容、多维度的数据模型，支撑企业、各部门的多维度矿业业务的实现。

还需要说明的是，大数据服务体系的整体的技术架构采用Hadoop技术。Hadoop是Apache开源组织的一个分布式系统基础架构，其中核心组件包括分布式文件系统H D F S(HadoopDistributedFileSystem)和分布式计算MapReduce，两者缺一不可。Hadoop分布式文件系统HDFS部署在通用、低成本的存储和服务器上，采用主从结构的硬件架构设计，主节点称为NameNode，工作节点由多个DataNode组成，它提供了一个高度容错性和高吞吐量的海量数据存储解决方案。HDFS颠覆了传统的存储架构，它在底层硬件设备中分布式的存储了多份数据块，通过MapReduce分布式算法进行数据访问和计算。HDFS具有以下特性：

1.扩展性强，可以根据业务需求进行系统在线扩容：NameNode主节点负责存储数据块分配管理信息，DataNode工作节点存放数据块信息，因此只需要通过175加DataNode节点数即可完成系统扩容需求，主节点自动将新增加的DataNode节点纳入。通过以上系统工，HDFS可以实现实时在线动态扩容而无需人工。

2.高可靠性，数据自动检测和复制：HDFS文件系，在数据被写入时就复，在读写，发现校验有误立刻进行重新复，就这样系统连续不断自动校验数据的一致性，数据，以保障系统。

3.消除访问瓶颈，具有高吞吐量：用户访问系统，由于HDFS将数据块分布式的存放在硬件设，因此HDFS会选择访问量最小、网络路由路径最。在访问大型文件时，系统可以增加数据访，且数据块的每个复制拷贝都能提供给用户访，因此HDFS对于单数据块的访问性能将是传统存，通过分布式算法单个设备问吞吐。

为加强系统安全管理，所述智能一体化服务平台的应用架构还引入SpringSecurity安全框架，以实现认证、加密、授权、会话管理、Web集成、缓存等功能。

进一步地，所述智能矿业一体化服务平台的技术架构划分为前端和后端，保证手机端、WEB端、API网关、业务后端在设计阶段的分离；平台的技术架构基于对象-关系型数据库PostgreSQL构建，通过构建统一标准、多种数据兼容、多维度、数据综合度强的数据模型，支撑矿权管理、矿业服务等多维度业务的实现。

所述技术构架划分为前端和后端，前端基于Vue框架完成可视化页面展示和交互，后端基于Spring Cloud框架提供微服务，实现一套微服务的解决方案。

本发明实施例提供的基于矿业大数据的SaaS云数据服务平台基于SaaS技术，针对矿业全产业链市场主体深度参与共商共建的开放式大数据平台，是可以实现各矿业市场主体信息资源有机整合和共享服务的综合性矿业应用服务平台，使得操作人员及时准确的控制和把握矿业市场和发展形势，提升数据效率和生产效率，为矿业安全管理提供强大、有效的技术支撑。

通过所述基于SaaS技术的基于矿业大数据的SaaS云数据服务平台向最终用户提供矿业信息一体化服务，从而降低企业的相关业务的运营成本，降低了企业信息化成本。

面向不同规模、行业、盈利状况的矿业公司、机构提供不同的业务流程模板，结合人工智能、RPA等技术降低矿业项目获取的操作复杂度，为其提供简单易用的数据信息平台。

基于矿业大数据的SaaS云数据服务平台能够消除公司内部的“数据孤岛”，使各部门实现真正地“协同”办公，所提供的端到端流程极大程度地降低了工作的冗余，有助于员工提高工作效率。同时对运维相关的业务进行整合，集中化管理入驻机构的运维，进一步降低服务对象的运维成本。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。