一种企业营业收入的数据抽取方法

摘要

本发明提供一种企业营业收入的数据抽取方法，包括：获取企业营业收入对应的指标数据，分别梳理业务系统中的指标数据之间的关系，以构建数据关系模型；根据筛选过滤规则和数据关系模型，依次完成每个业务系统的数据抽取，以生成线性任务结构；构建企业营业收入的业务分析决策模型，在关联的业务系统数据中梳理出指标数据间的计算层次关系；将数据关系模型和计算层次关系共同作为ETL数据抽取工作的准则和依据；根据业务分析决策模型和计算层次关系的要求，将多组线性任务结构融合到调度任务中，从而组合出多层次的树状数据抽取结构。本发明可以将单一的数据抽取由枯燥、无意义的线性结构，转换为树状、多层级且蕴含业务意义的立体结构模型。

说明书

技术领域

本发明涉及数据处理技术领域，具体涉及一种企业营业收入的数据抽取方法。

背景技术

营业收入是企业生存、发展的基础，在企业经营管理中，营业收入的控制管理更是企业管理工作中的重中之重。随着企业经营规模的发展、扩大以及各业务系统中信息化管理手段的应用，营业收入的控制管理方法也越来越复杂和驳杂。

由于信息系统建设和发展的过程存在不一致的情况，导致企业内各个信息系统彼此独立存在，“数据孤岛”的现象也就随之产生。为消除数据孤岛、提升数据在企业全面管理和决策支持过程中的利用价值，数据集成成为数据治理的必要途径。

在数据集成工作中，数据提取是必需的重要环节，数据提取的技术手段也有多种，其中最常用的有：webservice（一种应用程序）服务、REST（Representational StateTransfer，表述性状态转移）服务、数据中台。然而，由于这些方式抽取的数据一般为单一结构，且缺乏数据之间的关联，导致抽取的数据不够直观和立体。

发明内容

本发明为解决上述技术问题，提供了一种企业营业收入的数据抽取方法。

本发明采用的技术方案如下：

本发明的第一方面实施例提出了一种企业营业收入的数据抽取方法，包括：获取企业营业收入对应的指标数据，将所述指标数据关联至相应的业务系统中，其中，所述指标数据包括至少一个；分别梳理所述业务系统中的指标数据之间的关系，以构建数据关系模型；在ETL（Extract-Transform-Load，一种高效的数据实时加工工具）中对所述数据关系模型中指标数据进行数据转换；根据筛选过滤规则和数据关系模型，依次完成每个业务系统的数据抽取，将抽取的数据线性串联到抽取调度任务中，以生成线性任务结构；构建企业营业收入的业务分析决策模型，并从所述业务分析决策模型的顶层数据需求逐级向下分解，在关联的业务系统数据中梳理出待抽取数据间的计算层次关系；将所述数据关系模型和所述计算层次关系共同作为ETL数据抽取工作的准则和依据，进行待抽取数据的抽取配置，且抽取任务以线性任务串行执行，再根据业务分析决策模型和所述计算层次关，将多组所述线性任务结构融合到调度任务中，从而组合出多层次的树状数据抽取结构。

根据本发明的一个实施例，所述指标数据包括：销售合同、生产计划、事业部生产入库产值和出库产值。

根据本发明的一个实施例，销售合同、生产计划、事业部生产入库产值和出库产值分别关联至生产计划管理系统（PMIS）、市场销售管理系统（CMS）、库房管理和财务价格管理业务系统中。

根据本发明的一个实施例，上述的方法还包括：通过BI（Business Intelligence，商业智能）工具，以可视化地呈现所述树状数据抽取结构。

本发明的有益效果为：

本发明在数据抽取工作中，通过梳理数据关系模型，明确数据间的依赖和关联关系，并依据数据关系模型构建线性数据抽取关系结构体，再融合业务分析模型，梳理数据间计算层次关系，并依据数据层次关系构建树状、多层次结构的数据抽取结构，从而将单一的数据抽取由枯燥、无意义的线性结构，转换为树状、多层级且蕴含业务意义的立体结构模型。

附图说明

图1是根据本发明一个实施例的一种企业营业收入的数据抽取方法的流程图；

图2是根据本发明一个具体示例的线性任务结构的示意图；

图3是根据本发明一个具体示例的树状数据抽取结构的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据本发明一个实施例的一种企业营业收入的数据抽取方法的流程图，如图1所示，该数据抽取方法包括以下步骤：

S1，获取企业营业收入对应的指标数据，将指标数据关联至相应的业务系统中，其中，指标数据包括至少一个。

在本发明的一个具体实施例中，指标数据包括：销售合同、生产计划、事业部生产入库产值和出库产值。销售合同、生产计划、事业部生产入库产值和出库产值分别关联至生产计划管理系统（PMIS）、市场销售管理系统（CMS）、库房管理和财务价格管理业务系统中。

S2，分别梳理业务系统中的指标数据之间的关系，以构建数据关系模型。

具体地，指标数据是构成分析模型的基石，指标数据直接通过业务规则或运算逻辑产生数据关联关系，通过数据关联关系将指标数据组合或运算后，构成数据关系模型，数据关系就是本次营业收入分析模型依据的业务规则和运算逻辑。

S3，在ETL中对数据关系模型中指标数据进行数据转换。

具体地，数据转换是ETL最重要的基础功能组件之一，通过数据转换组件可以帮助我们实现端到端的数据传输和数据结构转换，将存储在不同服务器、不同应用系统的业务数据通过抽取转换，进入到执行的数据仓库中。在本发明中，数据转换主要完成对业务事实数据的筛选、过滤、清洗、转换，每一个数据转换实例中，可以按需构建独立的数据转换逻辑，单个数据转换及其内部逻辑形成一个较为简单的线性任务结构。

S4，根据筛选过滤规则和数据关系模型，依次完成每个业务系统的数据抽取，将抽取的数据线性串联到抽取调度任务中，以生成线性任务结构。

具体地，筛选过滤规则根据业务要求和数据有效性来确定，对业务无关、系统冗余或噪音点的数据进行过滤，有效地数据瘦身，提升数据的精度和计算效率；筛选过滤规则会受到数据关系模型的约束，数据关系相关的数据内容不能被过滤掉。

分别针对各个系统可提取的数据内容，明确数据筛选过滤要求，如在市场销售系统中，合同和合同明细数据分别在ETL工具中建立各自的“转换”任务，定义筛选过滤规则，按照数据关系模型中的依赖原则，先有合同，再有合同明细，且合同明细与合同直接是强依赖，即若合同数据抽取失败，则合同明细数据抽取将不再执行，最后将全部销售合同中与本次业务分析模型相关的“转换”全部线性串联到抽取调度任务中，形成抽取任务中的一条枝叶线。再逐个完成生产计划、库房出入库和财务数据的抽取任务的建立，融合在一起完成基础业务数据抽取模型的建立，具体参见图2所示。

S5，构建企业营业收入的业务分析决策模型，并从业务分析决策模型的顶层数据需求逐级向下分解，在关联的业务系统数据中梳理出待抽取数据间的计算层次关系。

具体地，业务分析决策模型是业务分析最终实现的目标模型，即业务收入完成累计完成率模型和节奏控制模型。

本发明的企业营业收入的业务分析决策模型涵盖合同、计划、生产、供应链、库存多个业务系统的数据信息，从模型的立体角度看，合同和交付假如是最上层，而支持交付的数据又需要从计划、生产和库存中获取，生产又依赖供应链，由此逐级推算业务依赖关系及数据运算关系的过程即为分解。

待抽取数据就是与本次业务分析决策模型相关的、分散在各业务系统中业务基础数据，比如营业收入是由新品销售和维修费用两部分组成，分别存在两个系统中，可以将新品销售值和维修费用值看成两个指标数据,而计算这两个指标数据的基础数据可能散乱的存在系统中不同功能中，即指标数据构建模型的顶层汇总数据，不一定能从系统中直接获取，需要由业务系统的基础数据汇总计算得出。计算层次关系是从不同业务域的系统中分析梳理出待抽取数据间的数据关联关系的过程。

S6，将数据关系模型和计算层次关系共同作为ETL数据抽取工作的准则和依据，进行待抽取数据的抽取配置，且抽取任务以线性任务串行执行，再根据业务分析决策模型和计算层次关，将多组线性任务结构融合到调度任务中，从而组合出多层次的树状数据抽取结构。

具体地，在使用ETL工具进行抽取工作时，首先梳理业务数据关系，建立数据模型的同时构建全面的数据关系模型，以数据关系模型作为ETL数据抽取工作的实现基础。数据关系模型包含了数据间的依赖和关联关系，依据数据关系模型构建的数据抽取任务仍然是一个平面的线性结构体。因为仅依据数据关系模型，无法体现出数据间的计算层次关系，因此还需要结合业务分析决策模型的要求，进一步梳理出待抽取数据间的计算层次关系，将所述数据关系模型和所述计算层次关系共同作为ETL数据抽取工作的准则和依据，指导单个系统或功能内的业务基础数据的抽取配置，这些抽取任务以线性任务串行执行,再根据业务分析决策模型和所述计算层次关系的要求，将多组线性任务结构融合到调度任务中，从而组合出多层次的树状数据抽取结构参见图3所示。

在与数据关系模型和业务分析模型进一步融合后，也为数据抽取工作赋予了更清晰的业务行为，并让数据抽取工作，从单一的线性工作方式，演变成更全面、更清晰的立体结构。

也就是说，基础业务数据抽取完成后，仍然没有形成数据关联，仅仅是数据汇聚到了一起，还需要通过业务关系或逻辑运算的要求，聚合到一起形成业务分析数据，这一过程依赖于已构建的树状基础业务数据抽取任务模型，因此在基础业务的树状抽取任务模型之上又形成了一层新的抽取任务模型，两套模型嵌套在一起，从而构成了一个立体的多层次树状抽取结构。

在本发明的一个实施例中，上述的方法还包括：通过BI工具，以可视化地呈现所述树状数据抽取结构。

综上所述，根据本发明实施例的一种企业营业收入的数据抽取方法，通过梳理数据关系模型，明确数据间的依赖和关联关系，并依据数据关系模型构建线性数据抽取关系结构体，再融合业务分析模型，梳理数据间计算层次关系，并依据数据层次关系构建树状、多层次结构的数据抽取结构，从而将单一的数据抽取由枯燥、无意义的线性结构，转换为树状、多层级且蕴含业务意义的立体结构模型。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。