一种自动生成业务拓扑图谱的数据关联可视化方法及系统

摘要

本发明涉及数据处理领域，特别涉及一种自动生成业务拓扑图谱的数据关联可视化方法及系统。其方法包括步骤S1.系统接入数据，通过数据处理模块把所有接入的数据经过清洗后入库，对数据做好标注；S2.对处理后的数据通过业务规则编排模块进行业务规则的编排；S3.对编排后的数据输入到业务关系生成模块中，调用业务关系生成服务，生成数据与业务之间的关联关系；S4.将关联关系通过可视化模块以拓扑方式展现。本发明通过不断调整参数，去调整数据与业务关系，提高了数据的可靠性、减少了人工分析数据的成本、还能随着数据的更新，快速响应最新的业务情况自动更新输出。

说明书

技术领域

本发明涉及数据处理领域，特别涉及一种自动生成业务拓扑图谱的数据关联可视化方法及系统。

背景技术

随着信息化的推进，数据由少量、单一、更新慢和低价值的状态到如今的大量、多样、高速、高价值的转变。随着信息技术的高速发展，数据开始爆发性增长，随着时间的推移，存储单位从过去的GB到TB，乃至现在的PB、EB级别。这么大量又多样的数据，迫切需要智能的算法、强大的数据处理平台、新的数据处理技术和新的可视化方案，来表示如此大规模的数据之间的关联关系。此外，数据驱动着业务，只有对业务足够了解，才能让数据发挥最大作用。数据处理人员对数据了解但对业务的探索深度、广度和细节有所不足，而业务人员对数据了解又不足，无法形成最佳质量的数据成果输出。通过数据关联关系，数据人员只管数据的深度挖掘，业务人员依托可视化进行业务挖掘，最终输出高质量且丰富的成果。这种方式的发展，实现了数据和业务的合作关系，随着数据逐渐标准化、系统化、数据和业务的关系还可逐步自动化生成。

目前的关联数据可视化展示方案，因为数据和业务的关系，没有固定形态且更新变化快，而且数据标准程度不一致，结构非结构数据多样，大量数据接入没有经过预处理和清洗，数据冗余大且不带可识别标注。基本上都是基于人工梳理，由业务人员向数据团队提需求，数据团队花费大量时间响应需求，没有更多精力去挖掘数据。最终，把人工梳理的业务关系以拓扑图方式展示出业务关联关系。

目前数据和业务之间没有形成一套完整的管理流程，导致数据成为服务业务的工具而不是数据与业务的合作。现在的业务拓扑图谱的数据关联可视化方面，都是通过业务人员和数据人员的配合，导致不仅效率低、工作量大、成本高、时间长、效果差等缺点。

发明内容

本发明提供一种自动生成业务拓扑图谱的数据关联可视化方法及系统，旨在解决现有业务数据处理工作量大、成本高、效果差等问题。

本发明提供一种自动生成业务拓扑图谱的数据关联可视化方法包括以下步骤：

S1.系统接入数据，通过数据处理模块把所有接入的数据经过清洗后入库，对数据做好标注；

S2.对处理后的数据通过业务规则编排模块进行业务规则的编排；

S3.对编排后的数据输入到业务关系生成模块中，调用业务关系生成服务，生成数据与业务之间的关联关系；

S4.将关联关系通过可视化模块以拓扑方式展现。

作为本发明的进一步改进，所述步骤S1中的数据清洗流程包括：

S11a.系统调用定制算法集成的数据清洗子系统；

S11b.通过服务接口或直接连接数据库接入待处理的数据；

S11c.数据接入模块按照制定的规则函数自动检查数据；

S11d.数据接入模块处理有问题数据，并对数据进行修改和补充属性的操作。

作为本发明的进一步改进，所述步骤S1中的数据标注流程包括：

S12a.系统调用定制算法集成的数据标注子系统；

S12b.按系统制定的接入规则接入清洗后的数据；

S12c.数据接入模块自动对数据的属性进行内容识别，形成标注内容；

S12d.将标注内容与数据进行绑定，形成数据特有的识别依据。

作为本发明的进一步改进，所述步骤S2中进行业务规则编排的流程包括：

S21.打开系统的业务规则编排界面，并创建一个业务规则；

S22.选择编辑模式，包括图形化模式和脚本编辑模式；

S23.新增处理节点，其中图形化模式以拖拉拽组件，然后对组件进行节点逻辑编辑；脚本模式直接进行节点逻辑编写；

S24.重复步骤S23，新增多个处理节点；

S25.将节点连线组成业务处理流程，并完成一个业务规则的编排。

作为本发明的进一步改进，所述步骤S2中进行业务规则编排的流程还包括：

S26.新增多个业务规则，并构成规则库，系统对规则库的规则进行管理和维护。

作为本发明的进一步改进，所述步骤S3中业务关系生成服务的服务流程包括：

S31a.打开业务规则管理列表，选择一个业务规则，启动所选的业务规则；

S31b.系统生成一个对应的后台服务，同时所选业务规则的启动状态发生变化；

S31c.根据颜色变化判断启动状态：第一颜色表示启动成功，第二颜色表示启动中，第三颜色表示启动不成功，第四颜色表示停止。

作为本发明的进一步改进，所述步骤S3中生成数据与业务之间关联关系的流程包括：

S32a.启动系统的业务关系生成服务；

S32b.系统依据业务规则并按业务流程与数据的关系自动进行关联分析计算；

S32c. 输出计算结果，将生成的业务关联关系存储在数据库中。

作为本发明的进一步改进，所述步骤S4具体包括：

S41.在业务规则管理列表中，点击预览每个启动成功的业务规则；

S42.系统将存储在数据库中的结果数据提供给可视化模块，可视化模块根据数据把数据关联关系以拓扑图来展示描述。

作为本发明的进一步改进，所述数据关联可视化方法还包括：

S5.数据人员通过对数据的维护和挖掘更新数据，同步更新并自动生成设定的业务规则生成业务关联关系。

本发明还提供一种自动生成业务拓扑图谱的数据关联可视化系统，包括前台管理系统、数据资源管理、业务规则管理系统、业务关系生成系统、数据可视化系统；

前台管理系统包括用户信息管理模块、权限管理模块；

数据资源管理：负责登录数据资源、存储访问数据相关信息、数据库资源的管理、清洗接入的数据并将清洗后的数据入库；

业务规则管理系统：负责编辑不同的业务规则；

业务关系生成系统：负责接收不同类型的规则数据，连接数据库并对数据信息检索与抽取，关联上结构与非结构数据，生成数据关系网络，最终输出易于可视化表达的数据方式；

数据可视化系统：根据接收的数据类型和规则切换可视化展示类型。

本发明的有益效果是：通过不断调整参数，去调整数据与业务关系，提高了数据的可靠性、减少了人工分析数据的成本、还能随着数据的更新，快速响应最新的业务情况自动更新输出。

附图说明

图1是本发明一种数据关联可视化方法的流程框图；

图2是本发明一种数据关联可视化系统的前后台模块图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

实施例一：

本方法借助认知计算、知识表示和推理、信息检索与抽取、自然语言处理、数据挖掘与机器学习技术，通过对标准化、系统化的数据进行深度挖掘，结合业务规则，生成业务关联关系，并以拓扑图等可视化形式展示之间的关联关系。

要解决数据与业务的合作，要实现自动生成业务拓扑图谱，首先要解决对数据的处理问题。本自动生成业务拓扑图谱的数据关联可视化方法，包括以下步骤：

S1.系统接入数据，通过数据处理模块把所有接入的数据经过清洗后入库，对数据做好标注；

S2.对处理后的数据通过业务规则编排模块进行业务规则的编排；

S3.对编排后的数据输入到业务关系生成模块中，调用业务关系生成服务，生成数据与业务之间的关联关系；

S4.将关联关系通过可视化模块以拓扑方式展现；

S5.数据人员通过对数据的维护和挖掘更新数据，同步更新并自动生成设定的业务规则生成业务关联关系。

其中接入数据清洗中，步骤S1的数据清洗流程包括：

S11a.系统调用定制算法集成的数据清洗子系统；

S11b.通过服务接口或直接连接数据库接入待处理的数据；

S11c.数据接入模块按照制定的规则函数自动检查数据；

S11d.数据接入模块处理有问题数据，并对数据进行修改和补充属性等操作。

数据清洗过程即对数据做初步处理，将不同的数据按照指定的规则函数进行检查、修改、补充属性，规范接入的数据便于后续的标注过程更精确。

步骤S1中的数据标注流程包括：

S12a.系统调用定制算法集成的数据标注子系统；

S12b.按系统制定的接入规则接入清洗后的数据；

S12c.数据接入模块自动对数据的属性进行内容识别，形成标注内容，数据的属性包括数据类型、数据特征等；

S12d.将标注内容与数据进行绑定，形成数据特有的识别依据。

清洗标注后的数据增加了数据服务能力，解决了数据面临的数字环境缺失、数据要素流通难、数据价值挖掘难等问题，使数据更标准化、系统化，促进数据的开放、共享与流通。

在数据的生成过程中，步骤S2中进行业务规则编排的流程包括：

S21.打开系统的业务规则编排界面，并创建一个业务规则；在创建新业务规则时，点击界面新建即可；

S22.选择编辑模式，包括图形化模式和脚本编辑模式；

S23.新增处理节点，其中图形化模式以拖拉拽组件，然后对组件进行节点逻辑编辑；脚本模式直接进行节点逻辑编写；

S24.重复步骤S23，新增多个处理节点；

S25.将节点连线组成业务处理流程，并完成一个业务规则的编排，再通过可视化操作即可；

S26.新增多个业务规则，并构成规则库，系统对规则库的规则进行管理和维护。

新增或维护业务，每一个规则就是一个业务关系。所诉系统可以对规则库的规则进行管理与维护，比如规则新增、编辑、服务开启和服务停止。

编排完成后，调用业务关系生成服务。步骤S3中业务关系生成服务的服务流程包括：

S31a.打开业务规则管理列表，选择一个业务规则，启动所选的业务规则；在选择的规则的操作选项中，选择启动规则按钮，点击启动即可；

S31b.系统生成一个对应的后台服务，同时所选业务规则的启动状态发生变化；

S31c.根据颜色变化判断启动状态：第一颜色表示启动成功，第二颜色表示启动中，第三颜色表示启动不成功，第四颜色表示停止；可以选择用绿色表示启动成功，黄色表示启动中，红色表示启动不成功，灰色表示停止。

数据处理和业务关系完成后，进行步骤S3中生成数据与业务之间关联关系的流程包括：

S32a.启动系统的业务关系生成服务；

S32b.系统依据业务规则并按业务流程与数据的关系自动进行关联分析计算；

S32c. 输出计算结果，将生成的业务关联关系存储在数据库中。

数据与业务之间关联关系生成后，调用可视化模块把关系展示出来，其中步骤S4具体包括：

S41.在业务规则管理列表中，点击预览每个启动成功的业务规则；每个启动成功的业务规则会显示预览按钮，点击预览按钮即可

S42.系统将存储在数据库中的结果数据提供给可视化模块，可视化模块根据数据把数据关联关系以拓扑图来展示描述。

本发明通过设定业务规则，并借助于计算机系统的计算能力不断调整优化，本发明很简单、低成本、高效地解决了不同业务拓扑图谱的数据关联关系的自动生成，并可视化呈现。

本发明通过数据与业务的服务关系变成合作关系。数据挖掘的越深，业务可用的数据越精准，数据的价值越大。同时通过不同规则的管理，可用同时对多种业务关联关系进行高效输出，还可以长期使用，只要做好简单的更新维护，就可以不断向业务深处发展。

实施例二：

如图2所示，本发明的一种自动生成业务拓扑图谱的数据关联可视化系统，包括前台管理系统、数据资源管理、业务规则管理系统、业务关系生成系统、数据可视化系统；

前台管理系统1包括用户信息管理模块、权限管理模块；负责用户登录注册、用户权限控制、系统信息通信，为系统提供保障能力；

数据资源管理2：负责登录数据资源、存储访问数据相关信息、数据库资源的管理、清洗接入的数据并将清洗后的数据入库；

业务规则管理系统3：负责编辑不同的业务规则；可以对业务规则进行新建、编辑、删除、复用、关联、查询；

业务关系生成系统4：负责接收不同类型的规则数据，连接数据库并对数据信息检索与抽取，具备AI语义识别，关联上结构与非结构数据，生成数据关系网络，最终输出易于可视化表达的数据方式；具有数据成果的导出、下载等功能；

数据可视化系统5：根据接收的数据类型和规则切换可视化展示类型；负责支撑多种可视化方式，可以根据接收的数据类型和规则切换展示类型，包括数据统计看板，数据图表等，及复杂可视表现方式，具有实时同步数据的能力，能够及时响应可视数据的最新变化。

在使用时，在用户对系统操作都已经习惯，只需要将系统提供出来，对业务有足够了解，就可以使用，做到低成本、快速的分析业务。

本发明通过业务规则，可以获得出业务关联关系，可以通过改变参数调整关联关系。配置多个不同的业务规则，可以得到多种业务的关联关系；基于规则生成方式，可以实现一次操作连续使用的作用，对后期分析数据减少了大量重复工作；可以实时可视化呈现，对数据变动做到即时响应，第一时间掌握第一手数据关系；业务与数据的分离，让数据和业务都有更大的发展深度。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。