一种支持多系统标签映射实现统一标签管理的系统

摘要

本发明公开了一种支持多系统标签映射实现统一标签管理的系统，包括：各部门标签同步模块、建立标签映射关系模块、标签映射版本管理模块、标签映射版本状态模块、标签映射版本复制模块和标签映射导入导出模块。该系统可支持对不同历史阶段的数据不同业务部门的数据还是继续保持原有的业务分类体系，在公司统一分析维度中再通过标签映射的方式保证数据的统一性。既保持了历史数据和业务部门数据的独有性和特殊性，又确保了公司数据分析的统一性，使公司数据得到合理的分析和利用。可帮助企业将各个部门的业务数据通过标签映射的方式转换成公司级的业务数据，支持所有的业务数据按照统一的维度进行归纳和分析，可解决公司内部业务标签统一化的问题。

说明书

技术领域

本发明涉及大数据领域技术领域，特别涉及一种支持多系统标签映射实现统一标签管理的系统。

背景技术

在大数据时代，企业通过对内部业务数据和互联网舆情数据的分析，从大批量的数据中提取有价值的信息，帮助企业快速把握市场变化，把握商机，提高企业利润，增加收益。

但是大数据在企业内部的发展不是一蹴而就的，而是一个逐渐积累的过程，是随着企业业务的发展而壮大的，并且在企业发展的过程中，不同的部门对大数据的积累、分析都不同。

公司在发展的过程中，业务数据是按照递增的形式变多的。但是随着同一公司不同业务部门的需求不一样，不同时期所需要使用的业务标签体系也会有区别，最好的操作方式是将公司所有历史业务数据按照最新的业务标签体系进行全量更新。但是这样会引发新的问题：历史数据在经过重新处理之后生成的新的业务报表会与之前生成的旧的业务报表存在统计分析上的差异。

对于企业来说，公司级的大数据平台，是建立在统一的业务分析维度和体系之上的。在企业不同业务部门的分析体系之间，需要有一套公司级维度的标签映射体系，既能够做到公司级层面的分析维度统一化，也能够兼顾各个业务部门数据分析的独特性；既能对新数据进行实时分析，也能对历史数据通过标签映射关系重新分析，找到新的业务价值点。

针对上述内容，目前还存在如下问题：

1、数据的来源多样化，不同的数据来源有不同的数据接入方式，所具备的数据业务属性也不一样，这样导致很难用一种方式去处理这些数据，数据的处理过程会复杂化；

2、部门业务多样化，不同的部门业务数据有不同的标签体系，业务上很难去做统一化分析处理；

3、数据的更新频率不一样，有些是实时数据，有些是异步数据，有的是数据新增，有的是会对历史数据进行修正，不同的数据更新频率和更新范围，会导致数据有很多版本，对数据的处理增加了难度；

4、各部门的业务场景不一样，需求不一致，导致各业部门的子标签体系和公司级的标签体系更新频率也不一样。

发明内容

本发明的目的是针对在企业发展的过程中，数据渠道多样化录单标签不统一、数据分散在不同的部门获取数据难等问题，困扰着公司的数字化转型，提供一种支持多系统标签映射实现统一标签管理的系统，该系统可帮助企业建立一个公司级的标签管理平台，帮助企业将各个部门的业务数据通过标签映射的方式转换成公司级的业务数据，支持所有的业务数据都能够按照统一的维度进行归纳和分析，可解决公司内部业务标签统一化的问题。

本发明实施例提供一种支持多系统标签映射实现统一标签管理的系统，包括：

各部门标签同步模块，用于将各部门的业务标签体系同步到公司级标签平台中，并且对同步的数据按照不同的版本进行管理；

建立标签映射关系模块，用于建立各部门的标签与公司级标签的多对一映射关系；

标签映射版本管理模块，用于在数据处理过程中，针对的数据来源或者数据产生的时间不一样，支持不同业务标签体系在不同的时间段进行版本创建和修改；

标签映射版本状态模块，用于对所述标签映射版本管理模块创建和/或修改的标签映射版本，进行标签映射版本的关闭、激活、发布状态的设置；

标签映射版本复制模块，用于复制已存在的标签映射版本；

标签映射导入导出模块，用于将所有的标签体系、映射关系导入导出。

在一个实施例中，还包括：无映射数据管理模块，用于对识别出无映射关系标签的数据进行标记。

在一个实施例中，还包括：数据消费处理模块，用于支持按照根据来源、时间段，按照不同的映射版本分析处理数据。

在一个实施例中，建立标签映射关系模块，还用于当部门标签的父节点映射到公司标签的节点，则确定部门标签父节点下的所有子节点也映射到该公司标签节点。

在一个实施例中，所述各部门标签同步模块，包括：

API网关同步单元，用于将各部门业务标签体系数据经API接口同步至公司级标签平台中；

数据库同步单元，用于将各部门数据库存储的业务标签体系数据，同步拷贝到公司级标签平台中；

HTTP协议同步单元，用于将各部门上传到云空间的业务标签体系数据，经HTTP协议下载同步存储到公司级标签平台中。

在一个实施例中，所述标签映射版本状态模块，包括：

标签映射版本关闭单元，用于对标签映射版本创建成功之后，设置为关闭状态；

标签映射版本激活单元，用于根据第一指令对处于关闭状态的标签映射版本进行激活处理，则映射关系生效；

标签映射版本发布单元，用于根据第二指令将处于激活状态的标签映射版本进行发布处理，则实现对当前数据进行实时消费处理。

本发明的优点在于，与现有技术相比，本发明提出的一种支持多系统标签映射实现统一标签管理的系统，该系统可以支持对不同的历史阶段的数据不同业务部门的数据还是继续保持原有的业务分类体系，在公司统一的分析维度中再通过标签映射的方式保证数据的统一性。既保持了历史数据和业务部门数据的独有性和特殊性，又确保了公司数据分析的统一性，这样才能使公司数据得到最合理的分析和利用。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明中提供的支持多系统标签映射实现统一标签管理的系统框图；

图2为本发明中提供的支持多系统标签映射实现统一标签管理的流程图；

图3为本发明中提供的各部门标签同步模块的流程图；

图4a为本发明中提供的API网关同步单元的流程图；

图4b为本发明中提供的数据库同步单元的流程图；

图4c为本发明中提供的HTTP协议同步单元的流程图；

图5为本发明中提供的各部门标签同步过程的逻辑图；

图6为本发明中提供的标签映射逻辑关系示意图；

图7为本发明中提供的标签映射关系示意图；

图8为本发明中提供的公司级标签映射关系管理示意图；

图9为本发明中提供的标签映射版本的导入和导出示意图；

图10为本发明中提供的数据部分消费处理逻辑示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

企业在发展的过程中，随着业务的增长，随之而来的会带来各种各样的企业数据。在不同的发展阶段，对这些企业数据分析的粒度和范围是不同的。对于企业来说，无论是发展过程中沉淀的历史数据，还是当前的经营业务数据，都是企业的数据财富。对这些数据的分析运用，是企业必不可少的内容。但是不同的历史阶段的数据、不同业务部门的数据是不能完全按照最新的公司业务体系进行重新划分和分析，这样会导致同样的业务数据用最新的标签体系分析的结果和过去的业务报表不一致。

参照图1所示，本发明实施例提供一种支持多系统标签映射实现统一标签管理的系统，包括：

各部门标签同步模块，用于将各部门的业务标签体系同步到公司级标签平台中，并且对同步的数据按照不同的版本进行管理；

建立标签映射关系模块，用于建立各部门的标签与公司级标签的多对一映射关系；

标签映射版本管理模块，用于在数据处理过程中，针对的数据来源或者数据产生的时间不一样，支持不同业务标签体系在不同的时间段进行版本创建和修改；

标签映射版本状态模块，用于对所述标签映射版本管理模块创建和/或修改的标签映射版本，进行标签映射版本的关闭、激活、发布状态的设置；

标签映射版本复制模块，用于复制已存在的标签映射版本；

标签映射导入导出模块，用于将所有的标签体系、映射关系导入导出。

如图2所示，通过将企业内部的各种来源或者业务部门的数据进行汇总整合，然后按照来源、时间范围从标签映射关系库中读取映射关系版本，对整合后的数据进行处理，最终得出的业务数据是公司平台级的业务数据。这部分数据既容纳了各业务数据的历史数据标签，也能支持按照公司级的业务标签进行汇总统计，在不影响之前的业务统计历史结果的情况下，也能按照当前最新的业务逻辑进行业务分析。最大的好处就是通过技术和业务的兼容性，来加速推进企业内部的数字化转型。

下面分别对上述各个模块进行详细说明：

1)各部门标签同步模块，参照图3所示，将各业务部门的原始数据(比如部门1的数据、部门2的数据、…部门N的数据)同步到公司级平台数据库中，包括业务数据、业务标签，并且数据同步过来之后也支持数据的实时更新。该模块会将所有同步过来的数据进行汇总管理，为后期的分析处理提供数据基础。

参照图4a-4c所示，数据同步的方式主要分三种：

API网关同步单元，用于将各部门业务标签体系数据经API接口同步至公司级标签平台中；如图4a所示。

数据库同步单元，用于将各部门数据库存储的业务标签体系数据，同步拷贝到公司级标签平台中；如图4b所示。

HTTP协议同步单元，用于将各部门上传到云空间的业务标签体系数据，经HTTP协议下载同步存储到公司级标签平台中；如图4c所示。

另外，参照图5所示，在同步新版标签时，需要判断是否存在标签映射新版本；当存在时，则执行立即同步新版本，同时检查是否同步成功，当同步失败时可给出提示失败信息，并重新同步；当同步成功后，可创建新版本，状态为“已关闭”。而当提示已存在最新版本时，则无需同步和创建。

2)建立标签映射关系模块，用于建立各部门的标签与公司级标签的多对一映射关系；

建立各业务部门标签体系与公司级标签体系的标签映射关系，不同的业务部门有各自独立的标签体系。该模块的核心功能就是支持将多个业务部门的标签体系按照节点映射的关系映射到公司级标签体系中，是多对一的映射关系。业务部门的标签只能对应一个公司级标签体系节点，但是一个公司级标签体系节点能够对应多个不同的业务部门标签体系节点。比如部门标签的父节点映射到公司标签的节点，则默认部门标签父节点下的所有子节点也可映射到该公司标签节点。

a)多个业务部门标签对应一个公司级标签节点；

b)一个公司级标签节点对应多个不同部门的业务部门标签；

映射逻辑关系如图6所示。操作方式如下：在业务部门标签表中，增加两列属性，用于存储公司级平台标签的标签id和标签名。将映射成功的相应的公司级平台标签的id和名称更新在业务标签报表中，这样就完成了业务标签的映射关系；映射关系举示意如图7所示。

3)标签映射版本管理模块：在标签映射关系的基础上建立映射版本管理关系。标签映射关系是一个不停迭代更新的关系：有的是因为业务的变化需要更新业务标签的内容，从而导致标签映射关系的变化；有的是因为映射逻辑的变化而导致映射关系的变化；有的是因为数据的修改而导致映射关系的变化。在公司的业务发展中，会有各种各样的原因导致标签映射关系的改变。

但是这种改变由于变化原因较多，变化的内容较多(标签节点多映射关系也就会复杂)，是需要对这些映射关系进行管理。引入版本管理的方法，就可以有序的管理这些变化，根据引起变化的内容来区分版本。

标签关系映射版本，既能从管理方方便各种数据的有效管理，也能从使用方增强数据的灵活性。为后续的在一个环境中使用多种不同的映射关系处理业务数据提供了可能性。

参照图8所示，为公司级标签映射关系管理示意图。操作方式如下：

比如在标签数据库表中增加版本的属性，版本id和版本名。将所有的业务标签和公司级标签都匹配上版本属性，这样为所有的标签关系增加版本属性，按照版本去管理、操作标签映射关系。

4)标签映射版本状态模块：用于对所述标签映射版本管理模块创建和/或修改的标签映射版本，进行标签映射版本的关闭、激活、发布状态的设置。

标签映射关系的版本管理，能够让映射关系更加有序化，条理化。但是对于这些关系的使用，也需要引入各种状态来进行区分管理，否则所有的版本关系都能够被使用，这样会导致数据的混乱。

因此，上述标签映射版本状态模块，包括：

标签映射版本关闭单元，用于对标签映射版本创建成功之后，设置为关闭状态；

标签映射版本激活单元，用于根据第一指令对处于关闭状态的标签映射版本进行激活处理，则映射关系生效；

标签映射版本发布单元，用于根据第二指令将处于激活状态的标签映射版本进行发布处理，则实现对当前数据进行实时消费处理

其中，当版本处于关闭状态时，则该版本无效，不可编辑和修改；

当版本处于激活状态时，版本处于可用状态，可以进行编辑和修改，但是还不能运用到设计的业务环境中，不可被业务系统进行调用；

当版本处于发布状态时，版本处于可被业务系统调用的状态，业务系统可以使用其中的映射关系。并且可以根据时间、数据来源等维度使用不同的发布的映射版本。

操作方式如下：

比如可在标签数据库表中增加版本的属性：版本状态。版本状态的值为：关闭、激活、发布。根据不同的操作类型，对版本的状态值进行更新操作。

5)标签映射版本复制模块，支持标签映射版本的复制和修改。为了方便标签映射版本的创建和管理，映射版本的复制功能是必须要有的。复制现有映射版本，然后在这个基础上去修改调整，从而达到创建新映射版本的目的。

操作方式如下：

版本的复制，是在数据库中对被复制的标签版本的所有内容(包括标签内容、映射关系)重新生成一份新的保存在数据库中，但是版本名和版本id不一样。比如原始版本为V1.0版本，复制后创建的版本可为V1.1版本。

6)标签映射导入导出模块，支持标签映射版本的导入和导出。参照图9所示，映射关系的导入和导出，是为了增加线下修改映射关系的渠道。将映射关系导出，在线下(系统外)修改完映射关系后，再上传系统导入映射关系，达到映射关系修改调整的目的。

操作方式如下：

导出功能：比如可通过页面导出按钮功能，将对应的版本下的所有的标签内容和相应的映射关系导出；

导入功能：比如对导出的标签版本内容可以做局部调整修改，按照同样的格式，通过页面的导入按钮导入标签映射的版本内容。根据版本id判断是新增的版本还是覆盖旧版本。

进一步地，该系统还包括：无映射数据管理模块，用于对识别出无映射关系标签的数据进行标记；数据消费处理模块，用于支持按照根据来源、时间段，按照不同的映射版本分析处理数据。

其中：

7)无映射数据管理模块，管理映射版本中无映射关系的数据。在建立标签映射的过程中，需要识别无映射关系的标签，否则会出现标签映射关系遗漏的情况。对于这些无映射关系的数据，在系统中会做出标记，便于映射映射关系维护人员识别和处理。

操作方式如下：

通过数据库查询，可以查询到没有匹配映射关系的所有标签内容。将这些无映射关系的标签信息在页面上做标识，便于用户去关注处理此类数据。

8)数据消费处理模块：数据消费处理，支持按照根据来源、时间段，按照不同的映射版本分析处理数据。在数据消费的过程中，有时会因为业务的需求，或者部分映射关系的变更，需要做数据重新消费处理。如果全量的对重新消费数据，耗费时间，占用资源。本系统可以支持通过映射关系版本，去按照不同的来源、时间段等去分批消费数据。可以用最短的时间，最快最好的去达到业务目的。

操作方式如下：

参照图10所示，按照根据来源、时间段，查询待处理的数据；按映射版本查询相应的业务标签的映射关系。将待处理的数据结合相应的业务映射标签，就能做到对局部的少量数据进行部分处理更新，这样就避免大批量的数据处理，节省计算资源。

本发明提出的一种支持多系统标签映射实现统一标签管理的系统，该系统可以支持对不同的历史阶段的数据不同业务部门的数据还是继续保持原有的业务分类体系，在公司统一的分析维度中再通过标签映射的方式保证数据的统一性。既保持了历史数据和业务部门数据的独有性和特殊性，又确保了公司数据分析的统一性，这样才能使公司数据得到最合理的分析和利用。本发明解决了对企业复杂的大量标签进行管理的问题，通过本发明的标签信息同步、可视化标签映射、标签版本管理、无映射数据管理实现了企业标签信息的清晰化、系统化管理。本发明的优越性在于易用性和间接性，能解决企业内部复杂繁琐的标签管理场景。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。