首页> 中国专利> 海量凭证数据直接出具大型企业集团总部财务报表的方法

海量凭证数据直接出具大型企业集团总部财务报表的方法

摘要

一种海量凭证数据直接出具大型企业集团总部财务报表的方法。将凭证数据切分为多个数据片段,利用与数据对应的计算规则计算多个数据片段得到多个临时结果集;汇总多个临时结果集以获得报表数据;从日志表中发现有变化的凭证数据和/或计算规则,利用最新的凭证数据和对应的计算规则重复上述步骤以得到更新的报表数据;对更新的报表数据进行数据校验和模型校验,剔除未通过数据校验和模型校验的报表数据,数据校验包括对不符合合并抵消规则的报表数据进行修正,模型校验包括:根据大型企业各层级间往来财务模型确定更新的报表数据可用;利用经过数据校验和模型校验的报表数据出具财务报表。该方法能根据海量明细凭证数据出具总部财务报表。

著录项

  • 公开/公告号CN103970851A

    专利类型发明专利

  • 公开/公告日2014-08-06

    原文格式PDF

  • 申请/专利权人 神华集团有限责任公司;

    申请/专利号CN201410186416.7

  • 申请日2014-05-05

  • 分类号G06F17/30(20060101);

  • 代理机构11283 北京润平知识产权代理有限公司;

  • 代理人陈潇潇;肖冰滨

  • 地址 100011 北京市东城区安外西滨河路22号神华大厦

  • 入库时间 2023-12-17 00:55:30

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2017-07-04

    授权

    授权

  • 2014-09-03

    实质审查的生效 IPC(主分类):G06F17/30 申请日:20140505

    实质审查的生效

  • 2014-08-06

    公开

    公开

说明书

技术领域

本发明涉及数据处理领域,具体地,涉及一种海量凭证数据直接出具大 型企业集团总部财务报表的方法。

背景技术

作为信息载体的财务合并报表,在企业信息化过程中起到主导作用,通 过信息化手段有效改善数据,成为高层决策的有力依据和支撑,为了使得财 务信息能够准确、规范、快速、有效地进行整合与合并,及时、真实反映大 型企业整体财务状况、经营成果和关键绩效指标,需基于账的合并抵销,以 便统一、标准、规范的报表合并规则,可视化、透明化、自动化的合并流程, 以支持大型企业各层真实、准确、高效地完成合并抵销并出具全级次的财务 报表。

现有技术提出的大型企业合并报表系统信息化方案中,通用的解决方案 是以SAP ECC作为业务与账务处理系统,报表系统基于ECC的明细凭证数 据,但由于处理逻辑的复杂性,在技术上无法直接由海量的明细数据直接出 具大型企业集团总部报表、在报表出具过程中对数据的进行校验修正以及快 速智能对数据进行加工处理,所以采用手工或者半自动方式出具总部财务合 并报表,造成了无法杜绝手工干预,进一步保证帐表一致,从而实现财务管 理、财务报表出具和财务分析的一体化。

为了实现总部可不依赖下级单位而直接基于账务数据来出具整个大型 企业集团总部报表,反映备抵后的真实财务状况,规范合并抵消的操作,满 足总部和企业的分级财务合并需求,需从技术上实现了大型企业从上而下的 “一本帐”,就必须要实现由海量明细数据直接出具大型企业集团总部财务 报表,实现在出具过程中能智能进行数据清洗修与数据自动校正功能,并对 差异数据进行跟踪、分析和更正。

目前,在我国大型企业的财务合并报表系统中,由于会计准则的复杂性 和企业业务的多样性,都采用手工或半自动方式出具大型企业集团总部报 表。

手工方式即根据下属单位上报的单体报表一层一层往上手工编制合并 报表,在实际操作中存在大量的手工干预,编制效率底,而且报表数据的准 确性、真实性有待提高。

半自动方式从ECC获取账务明细数据直接出具单体报表,单体报表结 果数据校验通过后,才能出具二级单位的合并报表,二级单位合并报表的结 果数据校验通过后,才出具大型企业集团总部报表,在实际应用中,如果采 用传统的分布式计算,无法一次性从ECC系统收集海量的明细数据到报表 系统中,只能按合并组织架构从低往高分层收集数据,减少并发数据量;由 于大型企业的合并组织层级多,在月结期间,如果有多数合并单位的清洗规 则发现变化,为了保证历史数据按最新的清洗规则进行转换,总部如果直接 收集数据,需要重新全量加载或者人工干预挑选特定的明细数据上载,这样 会浪费大量的系统资源或等待时间,而且有人工的干预容易错误并且效率低 下;此外,对于目前合并报表系统实施方法,只能在出具一套完整的报表, 然后根据报表数据结果进行校验,才能检查数据质量是否到达出具上级合并 报表的要求,所以只能一层一层往上出具财务合并报表,而无法直接在企业 总部基于明细凭证数据直接出具大型企业的总体报表。

由于以上的内容技术瓶颈,现有财务合并报表系统从SAP ECC获取明 细数据出具总体合并报表是通过手工或半自动方式实现,而无法直接出具总 部的财务合并报表。

针对上述问题,现有技术中尚无良好解决方案。

发明内容

本发明的目的是提供一种方法,通过该方法能够实现从SAP ECC获取 明细数据直接出具总部的财务报表。

为了实现上述目的,本发明提供一种海量凭证数据直接出具大型企业集 团总部财务报表的方法,包括:将所述凭证数据切分为多个数据片段,以及 利用与数据对应的计算规则计算所述多个数据片段得到多个临时结果集;汇 总所述多个临时结果集以获得报表数据;从日志表中发现有变化的凭证数据 和/或计算规则,利用最新的凭证数据和对应的计算规则重复上述步骤以得到 更新的报表数据;对所述更新的报表数据进行数据校验和模型校验,将未通 过数据校验和模型校验的报表数据剔除,其中,所述数据校验包括对不符合 合并抵消规则的报表数据进行修正,以及所述模型校验包括:根据大型企业 各层级间往来财务模型确定所述更新的报表数据可用;以及利用经过所述数 据校验和所述模型校验的报表数据出具财务报表。

进一步地,汇总所述多个临时结果集以获得报表数据的步骤可以包括: 将所述多个临时结果集划分为多个临时结果集组;汇总每个临时结果集组; 以及收集每个临时结果集组的汇总数据进行再汇总以获得所述报表数据。

进一步地,所述数据校验包括:根据财务合并抵消规则建立财务项目编 码和合并事物的规则矩阵,根据所述规则矩阵发现并记录不符合所述合并抵 消规则的报表数据,以及基于差异特征对不符合所述合并抵消规则的报表数 据进行修正;以及所述模型校验包括:建立大型企业各层级间往来财务模型, 通过所述往来财务模型计算差异特征绝对值累计值,以及根据累计值-时间 曲线确定所述更新的报表数据可用。

进一步地,该方法还包括:从日志表中发现有变化的计算规则,根据变 化前的计算规则反向推导定位出凭证数据并清除与变化前的计算规则相关 的报表数据;以及使用变化后的计算规则和对应的凭证数据得到更新的报表 数据。

进一步地,该方法还包括:将每个步骤划分为多个子任务节点;分配完 成子任务节点所需的运算到所述计算机集群中的多个计算机节点进行运算 处理;保存所述多个计算机节点运算处理的状态快照;以及当所述子任务节 点中断时,根据所述状态快照恢复中断前的子任务节点状态,以及继续执行 中断的子任务节点。

进一步地,该方法还包括:对所述多个计算机节点进行心跳检测;以及 将分配到心跳检测无响应的计算机节点的运算再分配到其他计算机节点。

进一步地,该方法还包括:将所述多个计算机节点的运算处理结果保存 到与所述计算机集群中的所有计算机节点连接的共享存储器。

进一步地,该方法还包括:当执行当前子任务节点的所有计算机节点运 算处理完成后,对完成下一个子任务节点所需的运算进行分配。

进一步地,该方法还包括:根据贪婪算法分配所述完成子任务节点所需 的运算。

进一步地,该方法还包括:在完成最后一个任务节点的运算后,输出运 算结果。

进一步地,所述计算机集群由部署云计算平台的计算机节点组成。

进一步地,所述云计算平台为HADOOP云计算平台。

进一步地,所述计算机节点为LINUX系统服务器。

通过上述技术方案,将初始的海量明细凭证数据切分并分别计算处理, 具有较高的计算处理效率,实现了对海量明细凭证数据的快速处理;将计算 处理后的结果汇总为报表数据,而后利用经过更新和校正的报表数据能够出 具企业总部级财务报表。

本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与 下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。在 附图中:

图1是根据本发明实施方式的海量凭证数据直接出具大型企业集团总部 财务报表的方法流程图;

图2是根据本发明示例性实施方式的海量凭证数据直接出具大型企业集 团总部财务报表的方法流程图;

图3是根据本发明示例性实施方式的海量凭证数据直接出具大型企业集 团总部财务报表的方法流程图;以及

图4是根据本发明示例性实施方式的海量凭证数据直接出具大型企业集 团总部财务报表的方法流程图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是, 此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发 明。

图1是根据本发明实施方式的海量凭证数据直接出具大型企业集团总部 财务报表的方法流程图。如图1所示,根据本发明实施方式的海量凭证数据 直接出具大型企业集团总部财务报表的方法可以包括:S101,将所述凭证数 据切分为多个数据片段,以及利用与数据对应的计算规则计算所述多个数据 片段得到多个临时结果集;S102,汇总所述多个临时结果集以获得报表数据; S103,从日志表中发现有变化的凭证数据和/或计算规则,利用最新的凭证 数据和对应的计算规则重复上述步骤以得到更新的报表数据;S104,对所述 更新的报表数据进行数据校验和模型校验,将未通过数据校验和模型校验的 报表数据剔除,其中,所述数据校验包括对不符合合并抵消规则的报表数据 进行修正,以及所述模型校验包括:根据大型企业各层级间往来财务模型确 定所述更新的报表数据可用;以及S105,利用经过所述数据校验和所述模 型校验的报表数据出具财务报表。

通过上述技术方案,将初始的海量明细凭证数据切分并分别计算处理, 具有较高的计算处理效率,实现了对海量明细凭证数据的快速处理;将计算 处理后的结果汇总为报表数据,而后利用经过更新和校正的报表数据能够出 具企业总部级财务报表。

将所述凭证数据切分为多个数据片段,能够利用分布式或云技术实现海 量凭证数据的快速计算处理。可想而知,海量的凭证数据经过计算处理后, 将得到同样为海量的结果集。因此,对于结果集的汇总运算同样可以采用切 片或任务分配的方式。在优选的实施方式中,汇总所述多个临时结果集以获 得报表数据的步骤可以包括:将所述多个临时结果集划分为多个临时结果集 组;汇总每个临时结果集组;以及收集每个临时结果集组的汇总数据进行再 汇总以获得所述报表数据。

在财务计算中,通过数据校验和模型校验能够保证报表数据的准确性, 进而保证利用报表数据所生成的报表的准确性。在由海量凭证数据出具报表 的过程中,是否能够准确且快速的进行数据校验和模型校验是制约总部报表 准确度和出具速度的关键因素。

在根据本发明的方法的实施方式中,可以通过以下方式进行数据校验和 模型校验。其中,所述数据校验可以包括:根据财务合并抵消规则建立财务 项目编码和合并事物的规则矩阵,根据所述规则矩阵发现并记录不符合所述 合并抵消规则的报表数据,以及基于差异特征对不符合所述合并抵消规则的 报表数据进行修正。在上述数据校验过程中,利用规则矩阵可以发现不符合 合并抵消规则的报表数据,然后利用反馈到系统的差异特征可以对不符合合 并抵消规则的报表数据进行修正。

对于模型校验。模型校验可以包括:建立大型企业各层级间往来财务模 型,通过所述往来财务模型计算差异特征绝对值累计值,以及根据累计值- 时间曲线确定所述更新的报表数据可用。在上述模型校验过程中,当累计值 -时间曲线有异常波动(例如,曲线上出现脉冲部分)时,可以进一步分析 各级公司之间的差异,为修正原始凭证数据提供依据。校验模型是为了校验 往来差异,并监控数据差异走势,自动分析并提供原始凭证数据的依据,到 达提供出具合并报表数据质量。校验模型的数据要素可以包括:时间特性(会 计年度/期间、记账期间、会计年度、会计年度变式),组织特性(合并组、 公司代码、贸易伙伴),差异特征(差异明细项、差异事项),关键特征值(本 方记账金额、对方金额、差异绝对值)等。

以下结合图2对根据本发明的一个示例性实施方式进行说明。图2是根 据本发明示例性实施方式的海量凭证数据直接出具大型企业集团总部财务 报表的方法流程图。如图2所示,根据本发明的一个实施方式的海量凭证数 据直接出具大型企业集团总部财务报表的方法可以实现如下:

需要提前说明的是,在方法的实施中,为了实现从海量数据快速出具财 务合并报表,作为可选的实施方式,采用了基于HADOOP的云计算系统, 以在短时间内高效地处理数据,例如进行数据抽取清洗及数据合并计算。为 了使明细数据符合财务合并抵消规则的数据质量要求,设定了以下数据处理 步骤,包括:智能自动增量清洗与加载、数据质量矩阵跟踪与分析、数据规 则匹配智能校验、建立对账分析模型和预警对账过程异常。

方法步骤开始后需要对大量甚至是海量数据进行处理。首先,对需要处 理的数据进行评估,计算所需的资源;根据分布式集群中计算能力,将需要 处理的数据切分为多个数据片段。然后,把每个数据片段推送到分布式集群 中的每个计算节点上。计算系统启动任务调度程序,在集群中的各个计算节 点中,运行并行计算程序。集群中的各个计算节点会同时对各自分配的数据 片段进行计算处理,并且输出利用分配到的数据片段计算出的临时结果集。 然后,计算系统可以启动任务调度程序,收集各个临时结果集进行汇总。海 量的凭证数据经过计算处理后,可能将得到同样为海量的结果集。因此,在 优选的实施方式中,可以将临时结果集(例如划分为组)再次分配给集群中 的多个计算节点,由多个计算节点同时对各个临时结果集进行汇总处理。最 后,收集、合并每个汇总计算的结果,产生一个最终的输出数据(例如报表 数据)作为最终汇总结果。并将最终的输出数据统一的推送至目标应用,例 如智能自动增量清洗与加载应用。

智能自动增量清洗与加载可以是系统自动进行的判别和计算,并且只对 有变化的业务数据进行最小量的、高效快速的清洗。智能自动增量清洗与加 载过程可以利用清洗表(业务清洗规则)或主数据(如客户、供应商、集团 科目)。根据财务业务需要,当所维护的数据内容发生变化时,为了保持按 最新的业务逻辑出具报表,需要数据重新做全量加载或者人工干预挑选特定 的明细数据上载,这样会浪费大量的系统资源和等待时间,而且有人工的干 预容易错误并且效率低下。自动增量清洗与加载是系统根据变化了的清洗逻 辑反向推导出需要重新增量加载的业务数据,这样,能对业务数据进行最小 量的、高效快速的清洗;具体地,系统可以对记录有清洗规则的清洗表或主 数据的变化情况进行分析,将变化过程记录在日志历史表中,根据变化前的 规则(或计算规则)反向推导定位出业务数据(例如,凭证数据),新生成 这小撮数据的关键指标值为方向负数,再根据变化后的规则反向推导定位出 业务数据,按新的业务规则增量清洗出这小撮数据的结果项(例如,报表数 据),从而实现快速、简单且无需人工干预的数据清洗。因此,在实施方式 中,该方法还可以包括:从日志表中发现有变化的计算规则,根据变化前的 计算规则反向推导定位出凭证数据并清除与变化前的计算规则相关的报表 数据;以及使用变化后的计算规则和对应的凭证数据得到更新的报表数据。 对于智能自动增量清洗与加载后得到的报表数据,可以继续进行数据校验和 模型校验,并且对于没有通过数据校验和/或模型校验的报表数据,可以返回 智能自动增量清洗与加载重新处理。其中,数据校验可以包括数据质量矩阵 跟踪与分析过程和数据规则匹配智能校验过程。

数据质量矩阵跟踪与分析过程,能够通过权益相关移动类型的检查确保 总部投资合并准确的执行,减少企业账后的反复调整。方法步骤中,首先系 统可以根据财务的合并抵消规则,捕捉项目编码和合并事务类型按会计年 度、分子公司列示的规则矩阵;然后,根据以上的规则矩阵,系统可以触发 寻找不符合上述规则(即合并抵消规则)的明细数据,记录到权益移动类型 使用检查表,最后将含有项目编码、项目描述、合并事务类型的可使用范围、 年初余额、本期增资、本期减资、其他综合收益的差异特征反馈到系统中, 以便进行数据修正。

数据规则匹配智能校验过程是一种解决贸易伙伴、往来单位性质及企业 组织架构之间的三维交叉关系的规则智能校验方法,在通用的合并报表出具 过程中,只能通过不同组织架构出具整套的合并报表,然后根据表间的数据 结果才能判别以上三者的规则是否匹配,在本发明的实施方式中,可以对三 维交叉关系进行拆解,并根据返回代码进行进一步的分析,以实现在凭证明 细基础上就能对数据规则进行匹配智能校验,以下引入一个具体实例,详细 描述具体的数据规则匹配智能校验步骤如下:

1、当往来单位性质为“本公司内部”,判断贸易伙伴是否属于需校验 合并组下的所有公司,如果是返回代码“NB101”,如果贸易伙伴不属于需 校验合并组下的所有公司且属于股份公司内的,返回代码“GF101”;如果贸 易伙伴不属需校验合并组下的所有公司和股份公司内,但属于集团内的,返 回代码“JT101”;如果贸易伙伴属于集团外部的或者为空值,返回代码 “WB101”;

2、当往来单位性质为“集团内上市公司”,判断贸易伙伴是否属于需 校验合并组下的所有公司,如果是返回代码“NB102”;如果贸易伙伴不属 于需校验合并组下的所有公司且属于股份公司内的,返回代码“GF102”;如 果贸易伙伴不属需校验合并组下的所有公司和股份公司内,但属于集团内 的,返回代码“JT102”;如果贸易伙伴属于集团外部的或者为空值,返回代 码“WB102”;

3、当往来单位性质为“集团内非上市公司”,判断贸易伙伴是否属于 需校验合并组下的所有公司,如果是返回代码“NB103”;如果贸易伙伴不 属于需校验合并组下的所有公司且属于股份公司内的,返回代码“GF103”; 如果贸易伙伴不属需校验合并组下的所有公司和股份公司内,但属于集团内 的,返回代码“JT103”;如果贸易伙伴属于集团外部的或者为空值,返回代 码“WB103”;

4、当往来单位性质为“其他关联方”,判断贸易伙伴是否属于需校验 合并组下的所有公司,如果是返回代码“NB104”;如果贸易伙伴不属于需 校验合并组下的所有公司且属于股份公司内的,返回代码“GF104”;如果贸 易伙伴不属需校验合并组下的所有公司和股份公司内,但属于集团内的,返 回代码“JT104”;如果贸易伙伴属于集团外部的或者为空值,返回代码 “WB104”;

5、当往来单位性质为“第三方”,判断贸易伙伴是否属于需校验合并 组下的所有公司,如果是返回代码“NB105”;如果贸易伙伴不属于需校验 合并组下的所有公司且属于股份公司内的,返回代码“GF105”;如果贸易伙 伴不属需校验合并组下的所有公司和股份公司内,但属于集团内的,返回代 码“JT105”;如果贸易伙伴属于集团外部的或者为空值,返回代码“WB105”;

6、对返回码进行处理,当返回码为“NB101”、“GF102”、“JT103”、 “WB104”、“WB105”时,在系统生成通过校验信息,当返回码为其他编码 (例如,GF101、JT101、WB101、NB102、JT102、WB102、NB103、GF103、 WB103、NB104、GF104、JT104、NB105、GF105、JT105)时,根据不同 的种类情况,自动生成含义有科目、合并组、往来单位性质、贸易伙伴维度 的明细对账差异矩阵信息,反馈到SAP业务系统,更正业务做账凭证信息。

进行往来对账交易异常监控与修复,这样是为了提高公司间往来挂账数 据质量,逐步减小总部层级往来抵消差异,提高往来类报表出具的准确性, 同时提升对总部下属单位往来账款的监管力度,指导企业进行业务核算整改 提供数据抓手。上述过程可以通过建立数据分析模型来实现,即进行模型校 验。例如,根据企业往来对账合并业务规则,建立差异分析模型,该模型可 以包含总部下属单位的公司代码、贸易伙伴、记账科目、差异特征值以及差 异原因代码。

建立该数据分析模型后,可以取差异特征绝对值之和,按时间(如日、 月、年)监控整个集团往来差异走势曲线,如果对走势有异常的(例如,曲 线中是否存在突变)。对于走势曲线中的异常位置,可以进行穿透,直接分 析各个公司两两之间的差异,并能进一步跟踪进行数据穿透,分析差异引起 的具体原因,如是由哪家公司与哪家公司的某个具体往来挂账有差异等,并 可以将具体原因进行系统记录,从而为修正原始凭证数据提供追踪线索。

在实施方式中,本发明提供的海量凭证数据直接出具大型企业集团总部 财务报表的方法可以按照任务链形式按步骤顺序进行。对总部海量明细凭证 数据进行处理的运算量是海量级别的。这样的运算量,普通的系统和硬件难 以完成,一般需要高性能的硬件支持,而高性能的硬件势必需要高昂的成本 投入。为此,本发明的实施方式中提供以下方法解决大数据量与性能不高的 硬件系统之间的矛盾。

图3是根据本发明示例性实施方式的海量凭证数据直接出具大型企业集 团总部财务报表的方法流程图。如图3所示,本发明实施方式提供的海量凭 证数据直接出具大型企业集团总部财务报表的方法,可以包括:S301,将每 个步骤划分为多个子任务节点;S302,分配完成子任务节点所需的运算到所 述计算机集群中的多个计算机节点进行运算处理;S303,保存所述多个计算 机节点运算处理的状态快照;以及S304,当所述子任务节点中断时,根据 所述状态快照恢复中断前的子任务节点状态,以及继续执行中断的子任务节 点。

通过上述技术方案,将完成一个任务链步骤所需的运算(例如,将凭证 数据转化为报表数据的过程所需运算)分配到多个计算机节点进行运算处理 (例如,将待运算的凭证数据分为数据片段),能够将运算量化整为零,提 高任务运行速度;通过保存运算处理的状态快照,在任务链步骤因故中断时, 能够将任务链步骤恢复到中断前状态,从而从中断前状态开始继续执行任务 链。因此,通过上述技术方案,当任务链步骤或节点失败时,能够从失败的 步骤或节点继续执行任务链,而无需从初始状态重复执行,提高任务处理效 率、降低资源浪费。

在优选的实施方式中,上述方法还可以包括:对多个计算机节点进行心 跳检测;以及将分配到心跳检测无响应的计算机节点的运算再分配到其他计 算机节点。通过心跳检测可以确定进行运算的计算机节点的工作状态。为了 确保分配到每个计算机节点的运算都能够完成,当出现心跳检测无响应的计 算机时,可以将分配到该计算机节点的运算重新分配到其他心跳检测正常的 计算机节点。优选地,重新分配到的计算机节点可以是已完成被分配的运算 的计算机节点,这样可以充分利用空闲计算资源完成运算。

为了使完成任务链中每个任务节点或子任务节点的运算的计算机节点 能够获取运算所需的数据,在实施方式中,方法还可以包括:将所述多个计 算机节点的运算处理结果保存到与所述计算机集群中的所有计算机节点连 接的共享存储器。这样所有计算机节点可以在运算开始时从共享存储器获取 运算数据,以及在运算完成时向共享存储器中存储运算结果。这里需要说明 的是,计算机节点运算处理的状态快照也可以保存在共享存储器中,或者也 可以单独设置快照存储器。存储器的实例包括但不局限于只读存储器 (ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设 备等。

在不同的实施方式中,该方法还可以包括:当执行当前子任务节点的所 有计算机节点运算处理完成后,对完成下一个子任务节点所需的运算进行分 配。在实施方式中,存在多种情况需要执行上述步骤。例如,对于大量运算, 需要使用计算机集群中的所有计算机节点参与的子任务节点的运算,只有当 所有计算机节点都完成运算处理后才能继续分配下一子任务节点的运算。再 如,对于需要得到上一子任务节点的全部运算结果后才能分配下一子任务节 点的运算的情况,方法中也需要包含这样的步骤。当然,在实施方式中,也 可以将不同子任务节点的运算同时分配到计算机集群中的不同计算机节点 组进行处理。

下面结合图4对海量凭证数据直接出具大型企业集团总部财务报表的方 法的实现过程进行说明。如图4所示,在一个任务链从开始到结束之间可以 有多个任务节点(或网状处理节点),每个任务节点中可以包括(例如具有 网状拓扑结构的)多个子任务节点,每个子任务节点的运算可以被分配到计 算机集群中的一个或多个计算机节点(图中未示出)进行处理。每个计算机 节点所要进行的运算可以由统一的总控单元进行,该总控单元可以是计算机 集群中的一个计算机节点,同时负责计算机集群中其他所有计算机节点的心 跳检测。与运算相关的上下文共享数据(例如,计算机节点的运算处理结果) 可以被保存到与所述计算机集群中的所有计算机节点连接的共享存储器。在 完成最后一个网状处理节点的运算后,可以输出运算结果,例如输出到目标 应用。需要说明的是,图4中示出了包括三个网状处理节点的任务链,然而 附图仅出于示例性目的,并不对任务链的长度进行限制。例如根据本发明的 海量凭证数据直接出具大型企业集团总部财务报表的方法可以使用5个网状 处理节点,分别对图1中所示的各个步骤进行处理。

在优选的实施方式中,可以根据贪婪算法分配所述完成子任务节点所需 的运算。即,可以将最复杂的运算交给计算能力最强的计算机节点进行处理, 进而确保整个运算的处理速度。

在优选的实施方式中,计算机集群可以由部署云计算平台的计算机节点 组成,从而可以利用云计算平台的资源优势,降低大量运算对计算机节点的 硬件要求。例如,可以使用HADOOP云计算平台,而计算机节点可以为部 署了云计算平台(例如HADOOP的)LINUX系统服务器。以下,结合 HADOOP云计算平台对根据本发明的海量凭证数据直接出具大型企业集团 总部财务报表的方法的实现方式进行说明(以上已经具体分析了方法的每个 步骤的实现及作用,这里仅从普遍适用角度对任务链的执行过程进行描述)。

在一个实施方式中,可以使用任务链开发模式以及命令模式搭配 HADOOP云计算平台来实现任务链执行过程。其具体的实施方式如下:

(1)根据业务需求(处理顺序)把任务处理链进行功能切分;

(2)确定任务链中任务先后顺序以及依赖关系;

(3)注册统一接口,继承接口对每个任务进行具体实现;

(4)选取多台(例如,5至10台)普通服务器(LINUX操作系统), 作为报表数据计算处理的节点;

(5)在这些普通的服务器上部署HADOOP平台,将这些机器组合成一 个分布式计算集群;

(6)在分布式计算集群上初始化分布式文件系统(HDFS);

(7)将处理链所需数据文件推送至HADOOP分布式文件系统 (HDFS);

(8)在节点进行计算的时候,系统会自动对输入文件进行切分,分发 至HADOOP集群进行分布式并行计算;

(9)系统会对HADOOP集群进行计算的节点进行心跳检测,实时监测 网状任务节点的计算运行状态,及时移除无响应节点,并将无响 应节点计算数据分发至其他节点继续进行计算;

(10)所有节点进行计算完成后,数据被发送至链式节点上下文共享 数据区域内,可供其他节点使用;

(11)在链式节点运行过程中,系统自动生成当前计算状态快照,并 能够在处理链发生错误的时候提供足够的数据可供任务链继续进 行数据处理;以及

(12)将最终数据结果统一输出给目标应用,任务链结束。

为了在短时间内高效处理数据合并计算,本发明设计了基于HADOOP 理论的分布式云计算系统,将需要进行的计算化整为零,同时处理,使得处 理系统可以利用较低的硬件配置资源,较大的提升大数据量下应用程序的计 算效率,并且具有极强的线性扩展性;而现有的各种技术无法在同等硬件资 源基础上获得类似的计算效率,同时现有技术在资源增加、进行横向扩展时, 也无法使得应用程序的计算效率有显著的提升;所以本发明能最大限度的提 升处理的性能和资源利用率。

以上结合附图详细描述了本发明的优选实施方式,但是,本发明并不限 于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明 的技术方案进行多种简单变型,这些简单变型均属于本发明的保护范围。例 如,可以将计算机节点改变为计算节点或计算单元。

另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特 征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必 要的重复,本发明对各种可能的组合方式不再另行说明。

此外,本发明的各种不同的实施方式之间也可以进行任意组合,只要其 不违背本发明的思想,其同样应当视为本发明所公开的内容。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号