首页> 中国专利> 一种钢铁企业的数据中台建设方法以及装置

一种钢铁企业的数据中台建设方法以及装置

摘要

本申请提供了一种钢铁企业的数据中台建设方法以及装置,用于适配钢铁企业构建出更为适配的数据中台,如此可以提供稳定且高效的数据管理服务。方法包括:处理设备对接本次钢铁企业需要进入数据中台的各业务系统,并提取各业务系统中的业务数据;处理设备以所涉及的业务过程作为数据划分依据,对业务数据进行拆分以及组合,得到明细数据模型;处理设备在明细数据模型的数据内容中,计算出原子指标、派生指标以及复合指标;处理设备在原子指标、派生指标以及复合指标的基础上,继续对明细数据模型进行拆分以及组合,得到汇总数据模型。

著录项

  • 公开/公告号CN114896350A

    专利类型发明专利

  • 公开/公告日2022-08-12

    原文格式PDF

  • 申请/专利权人 宝信软件(武汉)有限公司;

    申请/专利号CN202210618898.3

  • 发明设计人 孙文骏;

    申请日2022-06-01

  • 分类号G06F16/28(2019.01);G06F16/21(2019.01);

  • 代理机构北京众达德权知识产权代理有限公司 11570;

  • 代理人刘杰

  • 地址 430080 湖北省武汉市青山区和平大道1278号深国投中心2302-2310号、24-25层

  • 入库时间 2023-06-19 16:22:17

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-08-30

    实质审查的生效 IPC(主分类):G06F16/28 专利申请号:2022106188983 申请日:20220601

    实质审查的生效

说明书

技术领域

本申请涉及信息领域,具体涉及一种钢铁企业的数据中台建设方法以及装置。

背景技术

对于企业而言,数据库的良好管理可以为企业的工作提供简洁的数据使用环境,传统数据仓库的建设方式,可以理解为是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。数据仓库以主题的模式,存储和管理一个或多个主题数据的集合。

与此同时,数据仓库存储的数据类型较单一,无法满足多类型数据的处理,且随着时间的推移主题的增多、数据量日渐庞大、指标复用率低,影响查询效率。

而通过传统数据库仓库发展而来的数据中台技术,则可以理解为通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径,数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为企业提供高效服务。

而在现有的相关技术的研究过程中,发明人发现,现有的数据中台技术照搬至钢铁企业后,还会面临着一定程度上的“水土不服”问题,即,在强调数据中台的通用性、复用性的情况下,对于钢铁企业这一具体应用场景下的数据管理,

发明内容

本申请提供了一种钢铁企业的数据中台建设方法以及装置,用于适配钢铁企业构建出更为适配的数据中台,如此可以提供稳定且高效的数据管理服务。

第一方面,本申请提供了一种钢铁企业的数据中台建设方法,方法包括:

处理设备对接本次钢铁企业需要进入数据中台的各业务系统,并提取各业务系统中的业务数据;

处理设备以所涉及的业务过程作为数据划分依据,对业务数据进行拆分以及组合,得到明细数据模型;

处理设备在明细数据模型的数据内容中,计算出原子指标、派生指标以及复合指标,原子指标为未加任何修饰词的指标,派生指标为在原子指标的基础上添加有时间周期以及修饰词的指标,复合指标为属于同一维度的不同派生指标形成的指标;

处理设备在原子指标、派生指标以及复合指标的基础上,继续对明细数据模型进行拆分以及组合,得到汇总数据模型。

结合本申请第一方面,在本申请第一方面第一种可能的实现方式中,处理设备提取各业务系统中的业务数据之后,方法还包括:

处理设备判断待存储业务数据的数据类型为实时数据类型还是非实时数据类型;

若为实时数据类型,则处理设备将待存储业务数据存储至关系型数据库服务(Relational Database Service,RDS)数据库;

若为非实时数据类型,则处理设备将待存储业务数据存储至大规模并行处理(Massively Parallel Processing,MPP)数据库。

结合本申请第一方面,在本申请第一方面第二种可能的实现方式中,处理设备提取各业务系统中的业务数据,包括:

处理设备判断待存储业务数据的数据类型是否为高频数据类型,高频数据类型是指更新频率高于更新频率阈值的数据类型;

若是,则处理设备将待存储业务数据写入时间序列数据库(Time Series DataBase,TSDB),并进行降频处理,降频处理是指降低待处理数据的更新频率的数据处理;

处理设备对降频处理后的待存储业务数据写入至结构化数据服务(StructuralTable Service,STS)数据库,以待进行后续的数据存储处理。

结合本申请第一方面第二种可能的实现方式,在本申请第一方面第三种可能的实现方式中,处理设备对待存储业务数据进行降频处理,包括:

处理设备对待存储业务数据进行抽样处理,以达到降频效果。

结合本申请第一方面,在本申请第一方面第四种可能的实现方式中,处理设备在原子指标、派生指标以及复合指标的基础上,继续对明细数据模型进行拆分以及组合,得到汇总数据模型之后,方法还包括:

处理设备以汇总数据模型为基础,展开元数据管理、数据全生命周期管理、数据安全管理以及数据质量管理。

结合本申请第一方面,在本申请第一方面第五种可能的实现方式中,各业务系统分别为热轧厂、冷轧厂、炼钢厂、条材厂、制造部以及设备部的业务系统,业务数据分别为热轧厂数据域、冷轧厂数据域、炼钢厂数据域、条材厂数据域、制造数据域以及设备数据域的业务数据。

结合本申请第一方面,在本申请第一方面第六种可能的实现方式中,汇总数据模型以原子指标、派生指标以及复合指标作为数据域的划分,分别配置有应用程序编程接口(Application Programming Interface,API),以提供独立的数据调用服务。

第二方面,本申请提供了一种钢铁企业的数据中台建设装置,装置包括:

提取单元,用于对接本次钢铁企业需要进入数据中台的各业务系统,并提取各业务系统中的业务数据;

第一模型处理单元,用于以所涉及的业务过程作为数据划分依据,对业务数据进行拆分以及组合,得到明细数据模型;

计算单元,用于在明细数据模型的数据内容中,计算出原子指标、派生指标以及复合指标,原子指标为未加任何修饰词的指标,派生指标为在原子指标的基础上添加有时间周期以及修饰词的指标,复合指标为属于同一维度的不同派生指标形成的指标;

第二模型处理单元,用于在原子指标、派生指标以及复合指标的基础上,继续对明细数据模型进行拆分以及组合,得到汇总数据模型。

结合本申请第二方面,在本申请第二方面第一种可能的实现方式中,装置还包括存储单元,用于:

判断待存储业务数据的数据类型为实时数据类型还是非实时数据类型;

若为实时数据类型,则将待存储业务数据存储至RDS数据库;

若为非实时数据类型,则将待存储业务数据存储至MPP数据库。

结合本申请第二方面,在本申请第二方面第二种可能的实现方式中,提取单元,具体用于:

判断待存储业务数据的数据类型是否为高频数据类型,高频数据类型是指更新频率高于更新频率阈值的数据类型;

若是,则将待存储业务数据写入TSDB,并进行降频处理,降频处理是指降低待处理数据的更新频率的数据处理;

对降频处理后的待存储业务数据写入至STS数据库,以待进行后续的数据存储处理。

结合本申请第二方面第二种可能的实现方式,在本申请第二方面第三种可能的实现方式中,提取单元,具体用于:

对待存储业务数据进行抽样处理,以达到降频效果。

结合本申请第二方面,在本申请第二方面第四种可能的实现方式中,装置还包括维护单元,用于:

以汇总数据模型为基础,展开元数据管理、数据全生命周期管理、数据安全管理以及数据质量管理。

结合本申请第二方面,在本申请第二方面第五种可能的实现方式中,各业务系统分别为热轧厂、冷轧厂、炼钢厂、条材厂、制造部以及设备部的业务系统,业务数据分别为热轧厂数据域、冷轧厂数据域、炼钢厂数据域、条材厂数据域、制造数据域以及设备数据域的业务数据。

结合本申请第二方面,在本申请第二方面第六种可能的实现方式中,汇总数据模型以原子指标、派生指标以及复合指标作为数据域的划分,分别配置有API,以提供独立的数据调用服务。

第三方面,本申请提供了一种处理设备,包括处理器和存储器,存储器中存储有计算机程序,处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。

第四方面,本申请提供了一种计算机可读存储介质,计算机可读存储介质存储有多条指令,指令适于处理器进行加载,以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。

从以上内容可得出,本申请具有以下的有益效果:

在建设钢铁企业的数据中台时,本申请提取各业务系统中的业务数据,并以所涉及的业务过程作为数据划分依据,对业务数据进行拆分以及组合,得到明细数据模型,此时的明细数据模型还停留在现有的数据中台阶段,接着,本申请继续对该明细数据模型进行数据加工,在其数据内容中,计算出原子指标、派生指标以及复合指标,原子指标为未加任何修饰词的指标,派生指标为在原子指标的基础上添加有时间周期以及修饰词的指标,复合指标为属于同一维度的不同派生指标形成的指标,如此,在原子指标、派生指标以及复合指标的基础上,继续对明细数据模型进行拆分以及组合,得到汇总数据模型,此时得到的汇总数据模型,不仅包含了数据格式标准化的业务数据,还通过原子指标、派生指标以及复合指标对数据进行了高效、精确的梳理,对于钢铁企业的相关业务而言具有高度的适配性,如此可以提供稳定且高效的数据管理服务。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请钢铁企业的数据中台建设方法的一种流程示意图;

图2为本申请建立数据中台的一种场景示意图;

图3为本申请建立数据中台的又一种场景示意图;

图4为本申请钢铁企业的数据中台建设装置的一种结构示意图;

图5为本申请处理设备的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号,并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤,已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序,只要能达到相同或者相类似的技术效果即可。

本申请中所出现的模块的划分,是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行,另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,模块之间的间接耦合或通信连接可以是电性或其他类似的形式,本申请中均不作限定。并且,作为分离部件说明的模块或子模块可以是也可以不是物理上的分离,可以是也可以不是物理模块,或者可以分布到多个电路模块中,可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。

在介绍本申请提供的钢铁企业的数据中台建设方法之前,首先介绍本申请所涉及的背景内容。

本申请提供的钢铁企业的数据中台建设方法、装置以及计算机可读存储介质,可应用于处理设备,用于适配钢铁企业构建出更为适配的数据中台,如此可以提供稳定且高效的数据管理服务。

本申请提及的钢铁企业的数据中台建设方法,其执行主体可以为钢铁企业的数据中台建设装置,或者集成了该钢铁企业的数据中台建设装置的服务器或者物理主机等不同类型的设备。其中,钢铁企业的数据中台建设装置可以采用硬件或者软件的方式实现,而处理设备则可以通过设备集群的方式设置。

下面,开始介绍本申请提供的钢铁企业的数据中台建设方法。

首先,参阅图1,图1示出了本申请钢铁企业的数据中台建设方法的一种流程示意图,本申请提供的钢铁企业的数据中台建设方法,具体可包括如下步骤S101至步骤S104:

步骤S101,处理设备对接本次钢铁企业需要进入数据中台的各业务系统,并提取各业务系统中的业务数据;

对于钢铁企业的数据中台建设需求,需要明确企业中的哪些数据需要进入数据中台中进行数据管理。

因此,处理设备在建立数据中台时,首先就是要与数据源,即钢铁企业的相关业务系统进行对接,搭建好数据传输通道,如此可以从这些业务系统中提取出需要进入数据中台的业务数据。

可以理解的是,在该对接过程中,可涉及到接口授权、数据加密等数据传输可以涉及到的相关工作内容,本申请在此不作具体赘述。

步骤S102,处理设备以所涉及的业务过程作为数据划分依据,对业务数据进行拆分以及组合,得到明细数据模型;

对于数据中台,通用做法是,将所需要存储的数据,依照业务进行数据的拆分还有组合,形成以业务相关为基础进行梳理的数据模型。

本申请,则是对具体所涉及的业务过程作为数据划分依据,进行拆分以及组合,得到的数据模型记为明细数据模型。

通俗来讲,此处的数据处理,可以理解为根据不同的数据域范围梳理业务过程,,将所有源系统的表归纳到不同的业务过程中,再将同一业务过程下的源表进行组合和拆分,组合和拆分的规则是根据源表存储的数据进行整理。

例如钢铁企业中,热轧有2条产线分别是1580和2250,两条产线的轧制实绩表内容相似则可以合并,又例如出货实绩表和出货计划表也可以进行合并。

应当注意的是,此时的明细数据模型还停留在现有的数据中台阶段,也就是说,存在现有的数据中台建设技术中强调的数据形式统一、通用模型结构、可复用模型结构、以业务进行划分等特点。

为进一步提高数据中台与本申请所针对的钢铁企业之间的适配性,本申请还可继续进行后面的模型加工处理。

步骤S103,处理设备在明细数据模型的数据内容中,计算出原子指标、派生指标以及复合指标,原子指标为未加任何修饰词的指标,派生指标为在原子指标的基础上添加有时间周期以及修饰词的指标,复合指标为属于同一维度的不同派生指标形成的指标;

为对数据中台进行适配钢铁企业、更为细腻地进行数据梳理,本申请则引入相应的指标,来对大量的业务数据继续进行加工。

具体的,此处所涉及的指标,为原子指标、派生指标以及复合指标,前者原子指标为基础的指标,并为后面两者提供指标的加工依据,得到与时间、修饰词相关的派生指标,还有同一维度下不同派生指标所形成的复合指标,如此可以从原子指标、派生指标以及复合指标三个维度进行业务数据的梳理。

具体的,例如:

原子指标可以为:轧制合格重量、板坯投入重量;

派生指标可以为:轧制月合格重量、板坯月投入重量;

复合指标可以为:月成材率=轧制月合格重量/板坯月投入重量。

步骤S104,处理设备在原子指标、派生指标以及复合指标的基础上,继续对明细数据模型进行拆分以及组合,得到汇总数据模型。

可以理解,在从明细数据模型中梳理出原子指标、派生指标以及复合指标三个维度的指标后,则可投入到明细数据模型所包含业务数据的梳理,通过进一步的拆分以及组合的数据加工工作,形成更为完善的数据中台,此时的数据模型则记为汇总数据模型。

整体而言,对于图1所示实施例可以看出,在建设钢铁企业的数据中台时,本申请提取各业务系统中的业务数据,并以所涉及的业务过程作为数据划分依据,对业务数据进行拆分以及组合,得到明细数据模型,此时的明细数据模型还停留在现有的数据中台阶段,接着,本申请继续对该明细数据模型进行数据加工,在其数据内容中,计算出原子指标、派生指标以及复合指标,原子指标为未加任何修饰词的指标,派生指标为在原子指标的基础上添加有时间周期以及修饰词的指标,复合指标为属于同一维度的不同派生指标形成的指标,如此,在原子指标、派生指标以及复合指标的基础上,继续对明细数据模型进行拆分以及组合,得到汇总数据模型,此时得到的汇总数据模型,不仅包含了数据格式标准化的业务数据,还通过原子指标、派生指标以及复合指标对数据进行了高效、精确的梳理,对于钢铁企业的相关业务而言具有高度的适配性,如此可以提供稳定且高效的数据管理服务。

继续对上述图1所示实施例的各个步骤及其在实际应用中可能的实现方式进行详细阐述。

针对于钢铁企业传统数据仓库其数据容量扩展性和效率性能的瓶颈,本申请还引入一种钢铁企业适配的数据存储机制。

可以理解,在提取业务数据后,还可涉及到业务数据的存储工作,此处将需要进行存储的业务数据,记为待存储业务数据。

对应的,在步骤S101处理设备提取各业务系统中的业务数据之后,方法还可包括:

处理设备判断待存储业务数据的数据类型为实时数据类型还是非实时数据类型;

若为实时数据类型,则处理设备将待存储业务数据存储至RDS数据库;

若为非实时数据类型,则处理设备将待存储业务数据存储至MPP数据库。

可以理解,实时数据类型的业务数据,在进行提取时,对应的是事件触发类型,以事件触发方式进行实时的数据提取、存储甚至模型的处理。

在具体应用中,可以通过CDC、电文、ROCKET-MQ、服务调用等多种方式,将业务数据实时同步到大数据中心的RDS数据库,进行数据加工处理,前端应用可直接调用该数据服务。

RDS数据库,也可理解为在线数据仓库,其用来存储结构化数据,适用于准实时数据的快速更新和计算,数据的存储周期一般不超过1个月,RDS数据库提供的引擎是XINSIGHT-RDS,基于传统关系数据库的高可用架构实现,RDS的数据存储规模一般不超过20TB。

非实时数据类型的业务数据,在进行提取时,对应的是时间触发类型,即以预设时间的触发方式进行非实时的数据提取、存储甚至模型的处理。

在具体应用中,可以通过定时(分钟/小时/班/天)数据抽取模式,将数据抽取到MPP数据库,进行批量数据加工处理(数据中台),前端应用调用数据服务获取数据,数据中台需要进行统一的数据治理评价及优化工作。

MPP数据库,也可理解为离线数据仓库,其用来存储结构化数据,且数据更新周期较长,一般以天(包含半天、周和月等)为单位,MPP数据库提供的引擎是XINSIGHT-MPP,基于传统关系数据库架构实现,支持分布式并行数据处理,支持数据的行级更新和删除,集群的规模可以支持到100TB。

在该设置下,通过对业务数据进行实时和非实时的类型划分,并配置不同的数据存储方式,实现实时计算还有批量计算的划分,从而可以根据业务数据的类型分配更为适配的计算能力,提高处理效率,此外也方便分开进行数据容量扩容。

举例而言,对于数据的分类,现场需要实时展示及监控的秒级响应以下的实时数据,例如在炉温度、当前轧制速度、火警信息等数据,可以存放在RDS数据库中;对于非实时数据,例如当日产量、成材率、合同通过率等数据,则可以存放在MPP数据库中。

此外,对于从业务系统中提取出的业务数据,在实际操作中还可能面临着数据量巨大的情况,尽管可以通过如上面根据数据类型进行存储等数据处理来保障高效的处理(上面根据数据类型进行存储更强调区分处理,对应不同计算方式),但是在整体上仍可能由于数据量巨大而导致处理时长较长的问题,

对此,在存储业务数据之前,在业务数据的提取环节中,即在步骤S101处理设备提取各业务系统中的业务数据时,还可以包括以下内容:

处理设备判断待存储业务数据的数据类型是否为高频数据类型,高频数据类型是指更新频率高于更新频率阈值的数据类型;

若是,则处理设备将待存储业务数据写入TBDS,并进行降频处理,降频处理是指降低待处理数据的更新频率的数据处理;

处理设备对降频处理后的待存储业务数据写入至STS数据库,以待进行后续的数据存储处理。

容易看出,此处所涉及的降频处理,目的是在尽可能保留业务数据的数据内容的情况下,对业务数据的数据量进行压缩,如此在整体层面上避免出现海量数据需要进行存储的情况,降低后续的数据处理压力以及数据处理成本,解决了高频数据在数据中台中运用的难题。

对于TBDS,其可以理解为时序数据库,其适用于时序数据的存储和分析处理,TSDB提供的引擎是XINSIGHT-TSDB,基于Hadoop生态实现,TSDB的数据存储规模可以支持到PB,甚至EB。

对于STS数据库,其可以理解为离线数据仓库,其用来存储结构化数据,且数据更新周期较长,一般以天(包含半天、周和月等)为单位,STS数据库提供的引擎是XINSIGHT-STS,基于Hadoop生态实现,支持分布式并行数据处理,支持标准SQL规范,不支持数据的行级更新和删除,集群的规模可以支持到PB,甚至EB。

此外,对于降频处理,还可实现另外一个效果,容易理解,不同的业务数据尽管已经通过标准化处理实现了统一的数据格式,但是在数据量大小上还可能存在大小不一的情况,从而导致后续的数据处理可能出现差异的情况。

对此,本申请在降频处理时,还可引入数据长度对齐的处理,使得经过降频处理后的业务数据在数据长度上、在数据大小上得到等同或者相同的效果,从而后续对齐的业务数据可以获得更为稳定的处理效果。

并且,除了数据长度,在数据时间上也可进行对齐处理,使得业务数据的数据时间更为平滑,也有利于后续更为稳定的处理效果。

其中,作为一种适于实用的实现方式,此处涉及的降频处理,具体可以通过抽样的方式实现,即,处理设备对待存储业务数据进行降频处理,可以包括以下内容:

处理设备对待存储业务数据进行抽样处理,以达到降频效果。

其中,抽样处理,具体可以根据随机抽样、等距抽样、分层抽样或者整群抽样等不同的抽样策略完成抽样效果。

当然,除了抽样处理,在实际操作中,也可采用数据格式转换、数据压缩等方式,来实现降频、降低数据量的目的。

为继续理解上述内容,还可借助在实际应用中为钢铁企业配套的数据中台的建立任务进行理解。

结合图2从整体层面出发所示出的本申请建立数据中台的一种场景示意图,钢铁企业配套的数据中台的建立任务主要包含以下几部分内容:

规划设计、数据标准、数据模型设计、数据开发、运维调度、元数据管理、数据全生命周期管理、数据安全管理、数据质量管理。

1)规划设计包括云边端架构设计、数仓权限规划等;

2)数据标准包括数据域、业务过程、字根、指标、维度等的识别定义;

3)数据模型设计包括数据中台模型ODS、CDM、ADS设计;

4)数据开发包括开发、测试;

5)元数据管理包括业务元数据、技术元数据等,通过元数据管理生成数据资产、数据血缘关系;

6)数据全生命周期管理包括数据重要等级划分、数据表存储类型定义、数据生命周期策略及应用等;

7)数据安全管理包括数据安全等级、数据安全策略、数据安全权限、数据脱敏、安全审计等;

8)数据质量管理包括数据质量等级、数据质量规则、数据质量监控、数据质量处理及分析等。

从中可以看出的是,在完成了汇总数据模型、完成了数据中台的基本建立后,还涉及到相关的数据维护处理。

具体的,在步骤S104得到汇总数据模型之后,方法还可包括:

处理设备以汇总数据模型为基础,展开元数据管理、数据全生命周期管理、数据安全管理以及数据质量管理。

如此,数据中台在钢铁企业的运营中,还可涉及到如元数据管理、数据全生命周期管理、数据安全管理以及数据质量管理等方面的数据维护内容,如此既保障数据中台的正常运行,也可基于数据中台进行更好的数据使用服务。

而对于数据中台的具体建立部分,即数据建模具体部分,则可继续结合图3示出的本申请建立数据中台的又一种场景示意图,钢铁企业配套的数据中台的建立中主要包含以下几部分内容:

1)根据钢铁企业的运营体系,对于独立的运营体系可划分为一个业务版块;

2)根据钢铁企业组织架构和职能,协同业务人员梳理实体,输出实体清单;

3)根据数据域的业务界定,通过业务调研,得出业务过程,输出业务过程与实体的矩阵;

4)根据实体清单进行抽样,得到维度,输出维度清单;

5)通过维度的属性,根据业务过程中生成的原子指标,根据原子指标+修饰词+时间周期形成派生指标;

6)根据属于同一维度的不同派生指标形成复合指标。

可以看到,此处图3所示内容更多的是呈现出建立汇总数据模型之前所涉及的相关数据处理内容。

进一步的,作为又一种适于实用的实现方式,适配于钢铁企业,本申请所涉及的钢铁企业的各业务系统,具体可以分别为热轧厂、冷轧厂、炼钢厂、条材厂、制造部以及设备部等部门的业务系统,对应的,业务数据具体可以分别为热轧厂数据域、冷轧厂数据域、炼钢厂数据域、条材厂数据域、制造数据域以及设备数据域等数据域的业务数据。

后续数据中台在实用过程中,可以配置相应的预警机制,以监控数据变化并提示出现异常变动、存在安全风险的业务数据。

此外,作为数据查询服务,数据中台其汇总数据模型,还可以以原子指标、派生指标以及复合指标作为数据域的划分,分别配置有API,如此可以提供原子指标、派生指标或者复合指标相对应的、独立的数据调用服务。

以上是本申请提供钢铁企业的数据中台建设方法的介绍,为便于更好的实施本申请提供的钢铁企业的数据中台建设方法,本申请还从功能模块角度提供了一种钢铁企业的数据中台建设装置。

参阅图4,图4为本申请钢铁企业的数据中台建设装置的一种结构示意图,在本申请中,钢铁企业的数据中台建设装置400具体可包括如下结构:

提取单元401,用于对接本次钢铁企业需要进入数据中台的各业务系统,并提取各业务系统中的业务数据;

第一模型处理单元402,用于以所涉及的业务过程作为数据划分依据,对业务数据进行拆分以及组合,得到明细数据模型;

计算单元403,用于在明细数据模型的数据内容中,计算出原子指标、派生指标以及复合指标,原子指标为未加任何修饰词的指标,派生指标为在原子指标的基础上添加有时间周期以及修饰词的指标,复合指标为属于同一维度的不同派生指标形成的指标;

第二模型处理单元404,用于在原子指标、派生指标以及复合指标的基础上,继续对明细数据模型进行拆分以及组合,得到汇总数据模型。

在一种示例性的实现方式中,装置还包括存储单元405,用于:

判断待存储业务数据的数据类型为实时数据类型还是非实时数据类型;

若为实时数据类型,则将待存储业务数据存储至RDS数据库;

若为非实时数据类型,则将待存储业务数据存储至MPP数据库。

在又一种示例性的实现方式中,提取单元401,具体用于:

判断待存储业务数据的数据类型是否为高频数据类型,高频数据类型是指更新频率高于更新频率阈值的数据类型;

若是,则将待存储业务数据写入TSDB,并进行降频处理,降频处理是指降低待处理数据的更新频率的数据处理;

对降频处理后的待存储业务数据写入至STS数据库,以待进行后续的数据存储处理。

在又一种示例性的实现方式中,提取单元401,具体用于:

对待存储业务数据进行抽样处理,以达到降频效果。

在又一种示例性的实现方式中,装置还包括维护单元406,用于:

以汇总数据模型为基础,展开元数据管理、数据全生命周期管理、数据安全管理以及数据质量管理。

在又一种示例性的实现方式中,各业务系统分别为热轧厂、冷轧厂、炼钢厂、条材厂、制造部以及设备部的业务系统,业务数据分别为热轧厂数据域、冷轧厂数据域、炼钢厂数据域、条材厂数据域、制造数据域以及设备数据域的业务数据。

在又一种示例性的实现方式中,汇总数据模型以原子指标、派生指标以及复合指标作为数据域的划分,分别配置有API,以提供独立的数据调用服务。

本申请还从硬件结构角度提供了一种处理设备,参阅图5,图5示出了本申请处理设备的一种结构示意图,具体的,本申请处理设备可包括处理器501、存储器502以及输入输出设备503,处理器501用于执行存储器502中存储的计算机程序时实现如图1对应实施例中方法的各步骤;或者,处理器501用于执行存储器502中存储的计算机程序时实现如图4对应实施例中各单元的功能,存储器502用于存储处理器501执行上述图1对应实施例中方法所需的计算机程序。

示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器502中,并由处理器501执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在计算机装置中的执行过程。

处理设备可包括,但不仅限于处理器501、存储器502、输入输出设备503。本领域技术人员可以理解,示意仅仅是处理设备的示例,并不构成对处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如处理设备还可以包括网络接入设备、总线等,处理器501、存储器502、输入输出设备503等通过总线相连。

处理器501可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是处理设备的控制中心,利用各种接口和线路连接整个设备的各个部分。

存储器502可用于存储计算机程序和/或模块,处理器501通过运行或执行存储在存储器502内的计算机程序和/或模块,以及调用存储在存储器502内的数据,实现计算机装置的各种功能。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据处理设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器501用于执行存储器502中存储的计算机程序时,具体可实现以下功能:

对接本次钢铁企业需要进入数据中台的各业务系统,并提取各业务系统中的业务数据;

以所涉及的业务过程作为数据划分依据,对业务数据进行拆分以及组合,得到明细数据模型;

在明细数据模型的数据内容中,计算出原子指标、派生指标以及复合指标,原子指标为未加任何修饰词的指标,派生指标为在原子指标的基础上添加有时间周期以及修饰词的指标,复合指标为属于同一维度的不同派生指标形成的指标;

在原子指标、派生指标以及复合指标的基础上,继续对明细数据模型进行拆分以及组合,得到汇总数据模型。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的钢铁企业的数据中台建设装置、处理设备及其相应单元的具体工作过程,可以参考如图1对应实施例中钢铁企业的数据中台建设方法的说明,具体在此不再赘述。

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。

为此,本申请提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请如图1对应实施例中钢铁企业的数据中台建设方法的步骤,具体操作可参考如图1对应实施例中钢铁企业的数据中台建设方法的说明,在此不再赘述。

其中,该计算机可读存储介质可以包括:只读存储器(Read Only Memory,ROM)、随机存取记忆体(Random Access Memory,RAM)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令,可以执行本申请如图1对应实施例中钢铁企业的数据中台建设方法的步骤,因此,可以实现本申请如图1对应实施例中钢铁企业的数据中台建设方法所能实现的有益效果,详见前面的说明,在此不再赘述。

以上对本申请提供的钢铁企业的数据中台建设方法、装置、处理设备以及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号