首页> 中国专利> 一种稀土行业的企业台账数据库管理系统

一种稀土行业的企业台账数据库管理系统

摘要

本发明提供了一种稀土行业的企业台账数据库管理系统,该企业台账数据库管理系统中的数据采集模块采集各个稀土企业的基础数据,构建稀土行业的行业数据库。数据标准化模块将数据采集模块采集的基础数据进行清洗、转换及标准化处理。数据存储模块将数据标准化模块处理后的标准化数据存储到行业数据库中。数据切片配置模块对行业数据库中的标准化数据进行数据切片。数据查询模块对数据切片后得到的切片数据进行查询。数据统计模块对数据切片后得到的切片数据进行统计。数据综合计算模块根据基础数据维度进行层次化及模型化的综合计算。打通不同业务流程的数据通道,为数据跨流程分析提供了基础,实现标准的数据采集存储,切片数据统计优化。

著录项

  • 公开/公告号CN115689463A

    专利类型发明专利

  • 公开/公告日2023-02-03

    原文格式PDF

  • 申请/专利权人 中国电子信息产业发展研究院;

    申请/专利号CN202110867377.7

  • 发明设计人 陈娟;闫颖;

    申请日2021-07-29

  • 分类号G06Q10/10;G06Q40/12;G06Q50/02;G06F16/2458;G06F16/25;G06F16/27;

  • 代理机构北京兰亭信通知识产权代理有限公司;

  • 代理人赵永刚

  • 地址 100846 北京市海淀区万寿路27号院1号楼

  • 入库时间 2023-06-19 18:32:25

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-02-03

    公开

    发明专利申请公布

说明书

技术领域

本发明涉及数据库技术领域,尤其涉及一种稀土行业的企业台账数据库管理系统。

背景技术

一直以来,稀土开采、冶炼分离企业(以下简称稀土企业)的生产作业环境简陋、自动化程度低、企业信息化管理水平参差不齐,导致行业管理部门无法及时有效的获取企业的台账(包括原料、库存、销售等)。随着计算机信息技术应用的发展使得众多企业运营管理上趋于电子化和智能化,而基于4G、5G的无线网络接入技术的普及使得企业具备了在多种终端访问web资源的能力。因此稀土企业逐渐具备了对采购、生产、销售、库存等数据进行采集、管理的能力。

目前,大部分稀土开采、冶炼分离产业链相关企业的生产数据采集、数据库计算、信息传输与共享、生产监控等业务应用都配备了相当规模的计算机系统,围绕企业的主营业务,开发和部署各类专业应用系统,包括ERP、CRM、WMS、进销存、OA、生产监控等系统。各专业系统中存储了企业运营过程中大量的数据,并且形成了比较独立完善的数据库系统,主要包括但不限于财务资产数据库系统、企业生产台账数据库系统、人力资源数据库系统、物资管理数据库系统、经营管理数据库系统等。这些数据库系统从逻辑上划分了数据库与软件系统的界限,数据库系统中的数据体量较大,数据分散且类型多样,有以二维表和时序形式存储在数据库系统中的结构化、半结构化数据,也有如表格、视频、语音、图形、图像、文本等形式存储在计算机中的非结构化数据。而半结构化和非结构化的数据各企业间标准不统一,差异非常大。由于定位问题,各软件的开发商只能基于自身认识及客户需求进行系统设计,缺乏行业普遍性。导致现有技术存在如下的问题:

首先,由于缺乏对行业术语的规范,对同样的产品或类似的流程每家企业的叫法不一致,有的不一样的流程可能在不同企业又会出现名称重复,导致企业间的台账数据的标准不一致,差异性较大,无法使用模型进行全行业维度的统计分析。即便梳理了数据,实际上也不具备统计学意义,导致无法及时发现问题、指导决策。

其次,数据通常存储在企业局域网,而且由于企业信息化建设缺乏整体规划,各系统独立建设,系统之间的数据交换和共享存在障碍,数据依然分散在各个应用系统中,缺乏有效的整合。因而行业管理部门很难通过一个接口或一种方式从众多企业采集数据。

发明内容

本发明提供了一种稀土行业的企业台账数据库管理系统,用以打通不同业务流程的数据通道,为数据跨流程分析提供了基础。

本发明提供了一种稀土行业的企业台账数据库管理系统,该企业台账数据库管理系统包括:数据采集模块、数据标准化模块、数据存储模块、数据切片配置模块、数据查询模块、数据统计模块及数据综合计算模块。其中,数据采集模块用于采集各个稀土企业的基础数据,构建稀土行业的行业数据库。数据标准化模块与数据采集模块连接,用于将数据采集模块采集的基础数据进行清洗、转换及标准化处理。数据存储模块与数据标准化模块连接,用于将数据标准化模块处理后的标准化数据存储到行业数据库中。数据切片配置模块与数据标准化模块和数据存储模块均连接,用于对行业数据库中的标准化数据进行数据切片。数据查询模块与数据切片配置模块连接,用于对数据切片后得到的切片数据进行查询。数据统计模块与数据切片配置模块连接,用于对数据切片后得到的切片数据进行统计。数据综合计算模块和数据标准化模块、数据切片配置模块均连接,用于根据基础数据维度进行层次化及模型化的综合计算。且由于本申请中内嵌了稀土行业管理的特殊性要求,具有行业公共管理属性,克服了单独厂商对政策了解深度较浅、考虑问题的宽度较窄的问题。

在上述的方案中,通过设置数据标准化模块和数据切片配置模块,且还使数据切片配置模块分别与数据查询模块、数据统计模块、数据综合计算模块连接,打通了不同业务流程的数据通道,为数据跨流程分析提供了基础。本申请的方式,有助于克服现有技术的缺陷,提供基于各个企业的台账数据采集存储、计算维度、数据依赖关系,建立动态的、标准化的企业台账数据库和数据计算模型,并使计算结果能够直观的可视化呈现。解决原材料加工产业链核心企业和相关企业数据统计分析的优化计算方法,实现标准的数据采集存储,切片数据统计优化。

在一个具体的实施方式中,基础数据包括企业基础信息、产品信息、生产信息、销售信息、库存信息、物流信息、追溯码信息、报表信息中的任意一种或几种信息。

在一个具体的实施方式中,数据标准化模块用于将数据采集模块采集的基础数据进行数据分离分级、记录数据格式及格式转换、编码,使基础数据按比例缩放。数据标准化模块还用于采用Z score标准化、离差标准化、MaxAbsScaler、RobustScaler、log函数转换、Atan函数转换的至少一种方式,对基础数据的数据格式、数据的完整性、产品数据维度及数据之间的优先级关系进行标准化。

在一个具体的实施方式中,产品数据维度包括生成时间、原料类型、生产、库存、销售或流向关系。

在一个具体的实施方式中,数据切片配置模块用于通过切片规则将基础数据水平分布到不同的数据库(Database,简称DB)或数据表(Table)中;数据查询模块通过相应的数据库路由规则或数据表路由规则,寻找到需要查询的数据库或数据表。

在一个具体的实施方式中,基础数据为业务数据。数据切片配置模块用于根据业务数据的内聚性、事务相关性,按照企业、区域、时间及产品维度进行数据切片,将业务数据均匀分布到数据库集群的不同设备节点。实现数据横向扩展,有效降低单台机器的访问负载,提高数据访问速度和并发量。

在一个具体的实施方式中,数据切片配置模块采用分布式数据库的数据路由、全局索引和序列的数据切片算法进行数据切片。实现应用系统对切片数据的透明访问,提升访问效率。

在一个具体的实施方式中,数据综合计算模块以原料供应企业、成品采购企业、原料采购、产品类别、产品生产、产品库存、产品销售和物流数据作为基础数据维度进行层次化和内在关联性的迭代计算。

在一个具体的实施方式中,数据综合计算模块用于分析业务需求,从数据库中导出需求数据。数据综合计算模块还用于根据企业产品体系的类别及业务类型,针对经数据标准化模块处理后的标准化数据,建立层次化的统计分析模型。数据综合计算模块还用于根据统计分析模型,对需求数据进行综合计算。通过切片技术将企业台账数据生成基础/综合数据的方法,优化企业台账数据计算结构。

在一个具体的实施方式中,数据采集模块、数据标准化模块、数据切片配置模块及数据存储模块部署在由多台数据存储服务器组成的数据库集群设备上;其中,每台数据存储服务器为数据库集群中的一个设备节点。数据查询模块、数据统计模块、数据综合计算模块部署在应用服务器集群;其中,应用服务器集群由多台应用服务器组成;每台应用服务器均部署有数据查询模块、数据统计模块、数据综合计算模块。

在一个具体的实施方式中,数据查询模块采用多线程查询的体系结构,且还设置有用于按照时间策略维护最近时间常用数据缓存的缓存结构。

附图说明

图1为本发明实施例提供的一种稀土行业的企业台账数据库管理系统的结构框图;

图2为本发明实施例提供的一种企业台账数据库管理系统的工作流程图;

图3为本发明实施了提供的一种企业台账数据的示意图;

图4为本发明实施例提供的一种企业台账数据库管理系统的网络配置图。

附图标记:

10-数据采集模块20-数据标准化模块

30-数据存储模块40-数据切片配置模块

50-数据查询模块60-数据统计模块

70-数据综合计算模块

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

为了方便理解本发明实施例提供的稀土行业的企业台账数据库管理系统,下面首先说明一下本发明实施例提供的稀土行业的企业台账数据库管理系统的应用场景,该稀土行业的企业台账数据库管理系统应用于稀土开采、冶炼分离行业的所有企业台账的数据在线采集、存储、管理及统计分析,例如适用于稀土上游产品开采、加工产业链核心企业和相关企业的生产台账数据资源的在线采集、存储、统计分析的方法和系统,属于设备无关性技术领域。下面结合附图对该稀土行业的企业台账数据库管理系统进行详细的叙述。

参考图1,本发明实施例提供的稀土行业的企业台账数据库管理系统包括:数据采集模块10、数据标准化模块20、数据存储模块30、数据切片配置模块40、数据查询模块50、数据统计模块60及数据综合计算模块70。其中,数据采集模块10用于采集各个稀土企业的基础数据,构建稀土行业的行业数据库。数据标准化模块20与数据采集模块10连接,用于将数据采集模块10采集的基础数据进行清洗、转换及标准化处理。数据存储模块30与数据标准化模块20连接,用于将数据标准化模块20处理后的标准化数据存储到行业数据库中。数据切片配置模块40与数据标准化模块20和数据存储模块30均连接,用于对行业数据库中的标准化数据进行数据切片。数据查询模块50与数据切片配置模块40连接,用于对数据切片后得到的切片数据进行查询。数据统计模块60与数据切片配置模块40连接,用于对数据切片后得到的切片数据进行统计。数据综合计算模块70和数据标准化模块20、数据切片配置模块40均连接,用于根据基础数据维度进行层次化及模型化的综合计算。

在上述的方案中,通过设置数据标准化模块20和数据切片配置模块40,且还使数据切片配置模块40分别与数据查询模块50、数据统计模块60、数据综合计算模块70连接,打通了不同业务流程的数据通道,为数据跨流程分析提供了基础。本申请的方式,有助于克服现有技术的缺陷,提供基于各个企业的台账数据采集存储、计算维度、数据依赖关系,建立动态的、标准化的企业台账数据库和数据计算模型,并使计算结果能够直观的可视化呈现。解决原材料加工产业链核心企业和相关企业数据统计分析的优化计算方法,实现标准的数据采集存储,切片数据统计优化。且由于本申请中内嵌了稀土行业管理的特殊性要求,具有行业公共管理属性,克服了单独厂商对政策了解深度较浅、考虑问题的宽度较窄的问题。下面结合附图对上述各个功能模块进行详细的介绍。

参考图1及图2,数据采集模块10通过与各个企业进行数据传输的接口,来获取各个企业的基础数据,并在获取到基础数据之后,构建行业数据库。其中,这里面的基础数据也叫源数据,是指各个企业自己收集在自己的系统中的数据,该数据格式较为多种多样,且包含结构化、非结构化或半结构化的各种数据。该基础数据可以为企业基础信息、产品信息、生产信息、销售信息、库存信息、物流信息、追溯码信息、报表信息中的任意一种或任意几种信息。参考图1,即数据采集模块10负责采集用于统计分析计算数据所需要的生产数据,包括企业基本信息、生产台账、用户专门的数据录入等。这些数据包含了用于统计分析计算的基础数据。在构建行业数据库时,首先根据各种数据的特点,统计建立标准的数据格式,这里面的数据类型包括结构化数据和非结构化数据,在采集端建立采集通道,之后通过将采集到的数据通过数据标准化模块20进行集中清洗、转换为标准格式。然后由数据切片配置模块40根据各种数据的相互关系,建立各种数据的优先级关系,将各种数据送入数据存储模块30,由数据存储模块30将经过标准化处理及数据切片后的标准化数据和切片数据存入由基础数据建立的行业数据库中。如图2所示出的数据流示意图,可以看出,数据存储模块30作为一个存储介质,来存储经由数据标准化模块20处理后的标准化数据、以及经由数据切片配置模块40切片后的数据。例如,参考图2,可以建立数据库集群,该数据库集群存储在数据存储模块30上,该数据库集群与数据切片配置模块40、数据查询模块50、和数据统计模块60之间能够进行数据传输。具体的硬件连接时,参考图1,可以将数据切片配置模块40和数据存储模块30连接,从而使数据切片配置模块40能够读取或修改存储在数据存储模块30上的数据库集群。

参考图1及图2,数据标准化模块20与数据采集模块10连接,用于将数据采集模块10采集的基础数据进行清洗、转换及标准化处理。即在数据采集模块10采集完基础数据之后,即将采集的数据传输给数据标准化模块20,由数据标准化模块20对采集的基础数据均进行清洗、转换及标准化处理。即数据标准化模块20负责对应用统一的数据分类分级、记录数据格式及格式转换、编码等技术使标准化处理后的标准化数据按比例缩放的过程,便于不同单位或量级的数据能够进行比较和加权。对于采集的数据通常需要先将数据标准化,利用标准化后的数据进行数据的统计分析。

数据标准化模块20在进行标准化处理时,可以先将数据采集模块10采集的基础数据进行数据分离分级、记录数据格式及格式转换、编码,使基础数据按比例缩放。之后,数据标准化模块20再采用诸如Z score标准化、离差标准化、MaxAbsScaler、RobustScaler、log函数转换、Atan函数转换等方式中的至少一种方式,对基础数据的数据格式、数据的完整性、产品数据维度及数据之间的优先级关系进行标准化。在此过程中的产品数据维度可以包括生成时间、原料类型、生产、库存、销售或流向关系。

采用上述方式,数据标准化模块20一方面对采集的基础数据(源数据)进行清洗转换,另一方面还需要管理行业数据库中所有的待标准化的基础数据的配置。这里的标准化的意思是按照一定的方法对采集的企业基础数据进行清洗转换等标准化的处理,这里的标准化包括数据格式、数据的完整性、产品数据维度(比如生产时间、原料类型、生产、库存、销售、流向关系等),也包括这些数据之间的优先级关系,建立基础数据的数据结构存储,使经标准化处理后的标准化数据之间的关系通过模型来关联。之后,经标准化处理后的标准化数据,才能经过数据综合计算模块70根据基础数据、标准化数据,实现复杂的综合运算。在实际的操作中,标准化处理过程中,可以从用户的需求出发,然后采用层次化的分解结构,逐层分解到一些基础数据。之后,由数据切片配置模块40通过切片技术将企业台账数据生成基础/综合数据的方法,优化企业台账数据计算结构。

参考图1及图2,数据存储模块30与数据标准化模块20连接,用于将数据标准化模块20处理后的标准化数据存储到行业数据库中。即本申请的管理系统在将数据进行标准化处理之后,还具有将标准化数据存储到行业数据库的步骤,以对标准化数据进行永久保存。数据存储模块30负责管理数据的读写。由于企业台账数据是多维度、分层次存储的,管理系统给所有的数据分配一个层次化的命名空间,这样可以在存储和访问数据的时候可以访问相关的命名空间的所有数据后经过筛选统计得到。选择存储引擎的时候采用支持列族访问的大数据管理平台(如HBASE)作为存储引擎,在列族里面存储组织结构名称,在列里面产品数据名称,在这个存储层次上面还是一层时间尺度,数据按照时间做切片,有一个专门的数据按照时间切片的切片定义,不同时间尺度的数据存储在不同的表格里面,但里面的数据按照同样的存储结构来存储。

如图1及图2所示,数据切片配置模块40与数据标准化模块20和数据存储模块30均连接,用于对行业数据库中的标准化数据进行数据切片,以便于后续进行数据查询、数据统计及数据综合计算,打通不同业务流程的数据通道,为数据跨流程分析提供了基础。

在数据切片配置模块40具体进行数据切片时,数据切片配置模块40可以通过切片规则将基础数据水平分布到不同的数据库(Database,简称DB)或数据表(Table)中。之后,由数据查询模块50通过相应的数据库路由规则或数据表路由规则,寻找到需要查询的数据库或数据表。

在基础数据为业务数据时,数据切片配置模块40可以根据业务数据的内聚性、事务相关性,按照企业、区域、时间及产品等维度进行数据切片,将业务数据均匀分布到数据库集群的不同设备节点。实现数据横向扩展,有效降低单台机器的访问负载,提高数据访问速度和并发量。另外,数据切片配置模块40可以采用分布式数据库的数据路由、全局索引和序列的数据切片算法进行数据切片,实现应用系统对切片数据的透明访问,提升访问效率。

即数据切片配置模块40作为整个系统的核心模块,它对数据库管理系统中所有的基础的标准化数据进行数据切片,便于通过统计计算模型进行不同维度的计算。数据采集模块10和数据标准化模块20连接,采集的企业的基础数据经过标准化处理后存储至行业数据库中,同时标准化数据可送入数据切片配置模块40生成颗粒度极细的数据,之后由数据查询模块50和数据统计模块60可针对切片后的数据进行查询统计。数据综合计算模块70和数据标准化模块20、数据切片配置模块40均连接,使数据统计计算模块能够根据基础数据维度进行层次化和模型化的综合计算。数据存储模块30采用大数据管理模式实现数据的分布式存储和维护。数据查询模块50、数据统计模块60和数据标准化配置模块均连接,根据查询、统计以及综合计算的需求,访问数据存储体系,并且根据用户对数据的展示需求,能够动态地按照层次结构对数据进行钻取并可视化显示。数据切片配置模块40通过一系列的切片规则将数据水平分布到不同的DB(Database,数据库)或Table中,在通过相应的DB路由规则或者Table路由规则找到需要查询的具体的DB或者Table,以进行查询(Query)操作。比如根据业务数据的内聚性、事务相关性等特点,按照企业、区域、时间、产品等维度进行数据切片。通过数据切片把业务数据均匀分布到数据库集群的不同设备节点,实现数据的横向扩展,有效降低单个设备的访问负载,提高数据访问速度和并发量。系统中的数据切片算法,采用分布式数据库的数据路由、全局索引和序列等技术,可以实现应用程序对切片数据的透明访问,提升访问效率。

参考图1及图2,数据查询模块50与数据切片配置模块40连接,用于对数据切片后得到的切片数据进行查询。在进行数据查询时,数据查询模块50可以采用多线程查询的体系结构,且还设置有用于按照时间策略维护最近时间常用数据缓存的缓存结构,以优化数据查询的速度,且这样在用户查询的时候命中缓存的几率大大增加,避免数据库的访问压力过大造成系统宕机。参考图1及图2,数据统计模块60也与数据切片配置模块40连接,用于对数据切片后得到的切片数据进行统计。能够统计出各种需要的数据,并进行可视化展现。采用该方式能够使用户在不同的时间维度、企业、产品或者原料分类之间做数据的选取工作,获得需要访问大量的数据。

即数据查询模块50和数据统计模块60作为综合性的模块,负责为用户提供访问管理系统中的行业数据库的入口。由于企业台账数据非常庞大,常用的方式是为用户提供一个查询、统计的界面接口,查询某个时间段(或者时刻点集合),数据所在节点名称(企业名称、产品分类名称、产品状态类型)、物料的名称、数据计量类型名称、分时计量名称(产品出库时间值),系统从数据配置模块获得数据定义,从数据存储模块30获得相关数据,在给用户访问数据之前某些数据还会做一些逻辑运算(如加和累计等)。

参考图1及图2,数据综合计算模块70和数据标准化模块20、数据切片配置模块40均连接,用于根据基础数据维度进行层次化及模型化的综合计算。在数据综合计算模块70进行综合计算时,数据综合计算模块70能够以原料供应企业、成品采购企业、原料采购、产品类别、产品生产、产品库存、产品销售和物流数据作为基础数据维度进行层次化和内在关联性的迭代计算。不过在计算过程中还是需要同时考虑层次化优先级和数据计算关系,在实际计算中某些模块有着比其他模块更高的优先级,还有一些数据需要其他数据的计算结果作为输入。如果是固定的优先级,可以在进行数据配置的时候先确定下来,如果某些数据之间的优先级关系是动态的,则需要在计算的时候进行动态计算优先级,需要不断扫描相互依赖的数据节点是否完成计算,负责递归查找数据,查询相关的数据是否完成了计算,否则只能跳过这些节点的计算。

在数据综合计算模块70进行综合计算时,可以采用如下的方式:数据综合计算模块70先分析业务需求,从数据库中导出需求数据。之后,数据综合计算模块70根据企业产品体系的类别及业务类型,针对经数据标准化模块20处理后的标准化数据,建立层次化的统计分析模型。再后来,数据综合计算模块70根据统计分析模型,对需求数据进行综合计算。通过切片技术将企业台账数据生成基础/综合数据的方法,优化企业台账数据计算结构。具体的综合计算流程如下:

首先,分析业务需求,从业务需求导出对数据需求。首先明确用户数据查询统计的维度。在某些维度,用户可能有着复杂的需求,数据在某几个维度有着复杂的波动,建立标准化的量化取值,整个数据空间映射到标准的数据存储,整个维度可以通过平移和数据缩放来实现。

然后,根据企业产品体系的类别及业务类型,建立层次化的统计分析模型,统计分析模型针对基础的标准化数据,这些数据对应企业的多种源数据,如采购订单、销售订单、生产台账,物流信息等。

其中,建立这种统计分析计算模型的方法是:首先建立的是企业总的生产台账结构;然后按照企业各个产品线的生产工艺和流程,建立产品分台账,各分台账的信息囊括所有数据信息;最后对系统进行初始化,采集企业数据,为后面的数据切片准备。在数据切片及层次化分解阶段,根据数据的内聚性、事务相关性等特点,按照用户、区域、时间、产品等维度进行数据切片,把数据均匀分布到数据库集群的不同机器节点,实现数据横向扩展,有效降低单台机器的访问负载,提高数据访问速度和并发量。同时建立数据切片算法,采用分布式数据库的数据路由、全局索引和序列等技术,实现应用系统对切片数据的透明访问,提升访问效率。

最后,对从行业数据库导出的需求数据,按照上述建立的统计分析模型进行综合计算,并输出可视化的综合计算结果。例如,可以采用SQL请求的方式进行分析,并根据切片算法和切片维度,自动路由到请求所对应的存储切片数据的数据库(DataBase,简称DB)和数据表(Table)。

由于数据综合计算模块70在进行综合数据计算时的计算量一般来说计算量非常大,也非常耗时,可以采用多线程计算的方式来完成,在计算的时候需要相当数量的计算线程和计算状态检查线程。数据计算状态检查线程检查一类数据需要依赖的子数据或者相关数据的状态是否完成了计算,系统只能计算那些具备计算条件的数据,在某些情况下,系统缺省可能对这些数据引入默认值或者替代值进行计算,先计算一个估计值,在后面数据完成采集后基础数据得到真实计量值之后再重新综合数据的计量值。采用多线程的方式可以大大提高数据综合计算的时间和效率,缺点是在同时计算的时候需要考虑较大的资源消耗和系统并发计算后的处理,避免过大的线程等待或者程序死锁。

另外,可以提供专门的人机界面来采集数据和配置数据,以完善数据配置。在数据配置模块可对数据计算的前后、约束、上下级关系,也可通过公式定义的方式配置企业数据之间的计算关系。

参考图2及图4,可以将上述所有的模块都部署在行业管理部门的网络计算机上,计算机通过有线网络连接,企业通过互联网或者VPN网络访问所有模块。基础网络通讯协议是TCP/IP。数据库采用标准的关系型数据库。在具体进行部署时,参考图4,可以将数据采集模块10、数据标准化模块20、数据切片配置模块40及数据存储模块30部署在由多台数据存储服务器组成的数据库集群设备上。其中,每台数据存储服务器为数据库集群中的一个设备节点,采用的基础数据引擎可以是HBASE。数据查询模块50、数据统计模块60、数据综合计算模块70部署在应用服务器集群;其中,应用服务器集群由多台应用服务器组成。可以在每台应用服务器均部署有数据查询模块50、数据统计模块60、数据综合计算模块70。

通过设置数据标准化模块20和数据切片配置模块40,且还使数据切片配置模块40分别与数据查询模块50、数据统计模块60、数据综合计算模块70连接,打通了不同业务流程的数据通道,为数据跨流程分析提供了基础。本申请的方式,有助于克服现有技术的缺陷,提供基于各个企业的台账数据采集存储、计算维度、数据依赖关系,建立动态的、标准化的企业台账数据库和数据计算模型,并使计算结果能够直观的可视化呈现。解决原材料加工产业链核心企业和相关企业数据统计分析的优化计算方法,实现标准的数据采集存储,切片数据统计优化。且由于本申请中内嵌了稀土行业管理的特殊性要求,具有行业公共管理属性,克服了单独厂商对政策了解深度较浅、考虑问题的宽度较窄的问题。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号