一种高校数据治理融合应用系统及方法

摘要

本发明公开了一种高校数据治理融合应用系统，涉及数据处理技术领域，包括：数据源层，用于实现高校数据的采集；数据管理层，用于对采集到的所述高校数据进行治理，并生成规范化数据；数据服务层，用于对所述数据管理层生成的数据进行数据封装，并设计数据服务总线，开放数据库层面和应用程序层面的数据接口，并通过所述数据接口为外部系统提供数据访问服务和数据推送；数据应用层，用于基于所述数据接口形成校情分析系统和信息服务系统。本发明采用分层技术架构，利用大数据技术，广泛采集高校数据，对数据进行治理和融合，开发数据服务接口，开发数据应用，有效提升了高校数据应用效率和数据价值。

说明书

技术领域

本发明涉及数据处理技术领域，特别是涉及一种高校数据治理融合应用系统及方法。

背景技术

高效数据体量巨大，但数据质量不佳，孤岛化、碎片化问题比较突出。很多校园各部门建设了各自的信息系统，数据不互通，标准不统一。高校的数据中心保存了大量重复杂乱的数据，浪费了资源又不能有效利用，无法充分发挥数据的价值。

发明内容

本发明所要解决的技术问题是，克服现有技术的缺点，提供一种高校数据治理融合应用系统及方法。

为了解决以上技术问题，本发明的技术方案如下：

一种高校数据治理融合应用系统，包括：

数据源层，用于实现高校数据的采集；

数据管理层，用于对采集到的所述高校数据进行治理，并生成规范化数据；

数据服务层，用于对所述数据管理层生成的数据进行数据封装，并设计数据服务总线，开放数据库层面和应用程序层面的数据接口，并通过所述数据接口为外部系统提供数据访问服务和数据推送；

数据应用层，用于基于所述数据接口形成校情分析系统和信息服务系统。

作为本发明所述高校数据治理融合应用系统的一种优选方案，其中：所述数据源层通过ETL技术实现对学校现有信息系统数据的采集，通过互联网和智能感知技术实现对学校过程性数据的采集，通过网络爬虫实现对网络日志数据和外部互联网数据的采集，通过建立智能表单系统实现学校日常数据的采集。

作为本发明所述高校数据治理融合应用系统的一种优选方案，其中：所述数据管理层包括数据处理层和数据存储层；

所述数据处理层用于根据数据治理规则对所述数据源层采集到的数据中的噪声数据、无关数据、遗漏数据和空缺值进行处理，并对数据处理和数据改变进行记录，形成数据资产；

所述数据存储层用于建立主题数据库，并将所述数据资产分类储存至对应数据库。

作为本发明所述高校数据治理融合应用系统的一种优选方案，其中：所述主题数据库包括综合校情数据库、教师主题数据库和学生主题数据库。

作为本发明所述高校数据治理融合应用系统的一种优选方案，其中：所述数据服务层包括数据接口模块、查询分析模块、数据报表模块以及数据推送模块；

所述数据接口模块用于形成数据库层面和应用程序层面的数据接口；

所述查询分析模块用于基于所述数据接口模块对数据进行查询和分析；

所述数据推送模块用于基于所述数据接口模块实现数据推送。

作为本发明所述高校数据治理融合应用系统的一种优选方案，其中：所述信息服务系统包括教师发展中心服务系统和学生发展中心服务系统。

本发明还提供了一种高校数据治理融合应用方法，包括：

对高校数据进行采集；

对采集到的所述高校数据进行处理，并生成规范化数据；

对所述数据管理层生成的数据进行数据封装，并设计数据服务总线，形成与不同层面数据连通的数据接口，并通过所述数据接口进行数据推送；

基于所述数据接口形成校情分析系统和信息服务系统。

作为本发明所述高校数据治理融合应用方法的一种优选方案，其中：所述对高校数据进行采集包括：

通过ETL技术对学校现有信息系统数据进行采集；

通过互联网和智能感知技术对学校过程性数据进行采集；

通过网络爬虫对网络日志数据和外部互联网数据进行采集；

通过建立智能表单系统对学校日常数据进行采集。

本发明的有益效果是：

本发明采用分层技术架构，利用大数据技术，广泛采集高校数据，对数据进行治理和融合，开发数据服务接口，开发数据应用，生成高效数据资产，有效提升了高校数据应用效率和数据价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明提供的高校数据治理融合应用系统的框架示意图；

图2为本发明提供的高校数据治理融合应用方法的流程示意图。

具体实施方式

为使本发明的内容更容易被清楚地理解，下面根据具体实施方式并结合附图，对本发明作出进一步详细的说明。

本申请实施例提供了一种高校数据治理融合应用系统，参见图1，包括数据源层、数据管理层、数据服务层以及数据应用层。

其中，数据源层用于实现高校数据的采集。具体的，对于学校现有信息系统数据，通过ETL技术实现结构化数据的采集。对于过程性数据，充分利用物联网技术、智能感知技术和信息系统，实现对设备、环境、教学、管理等数据伴随式自动采集。对于网络日志数据和外部互联网数据，运用网络爬虫技术实现采集。对于临时数据，通过建立智能表单系统实现日常数据的快速收集和填报。

数据管理层主要完成数据存储和数据管理。具体的，对于数据源层采集到的原始数据，根据数据标准和数据质量标准对其中的噪声数据、无关数据、遗漏数据和空缺值进行处理，以形成规范化的业务数据，保证业务数据的完整性、规范性、一致性、准确性和实时性。同时，对于数据操作和改变，以日志的方式进行记录，实现数据治理日志监控，做到有迹可循。通过对采集的海量数据进行管理、整合、深层次数据挖掘、分析和融合，建立各类高效基础数据仓库和主题数据库。

在本实施例中，数据管理层包括数据处理层和数据存储层。其中，数据处理层用于对数据源层采集到的数据中的噪声数据、无关数据、遗漏数据和空缺值进行处理，并对数据处理和数据改变进行记录，形成数据资产。数据存储层用于建立主题数据库，并将数据资产分类储存至对应数据库。其中，主题数据库包括综合校情数据库、教师主题数据库和学生主题数据库。

数据服务层主要对数据管理层生成的各类数据进行数据封装，通过完整的数据服务总线设计，为高校数据融合应用提供基于ETL数据库层和基于RESTFUL风格的应用程序接口（API）等不同层面数据接口服务，提高数据报表和数据推送服务。

在本实施例中，数据服务层包括数据接口模块、查询分析模块、数据报表模块以及数据推送模块。其中，数据接口模块用于形成与不同层面数据连通的数据接口。查询分析模块用于基于数据接口模块对数据进行查询和分析。数据推送模块用于基于所述数据接口模块实现数据推送。

数据应用层基于数据服务层的数据接口，实现高校智能校情分析系统，对全校师资、学生、一卡通消费、图书数据、财务和科研等主题数据进行综合分析与展现。同时，加大力度推广数据中心数据融合应用，新建教师发展中心系统和学生发展中心系统等信息服务系统助力教师发展和学生成长。

参见图2，本申请实施例还提供了一种高校数据治理融合应用方法，该方法包括步骤S101~步骤S104，具体步骤如下：

步骤S101：对高校数据进行采集。

具体的，通过ETL技术对学校现有信息系统数据进行采集；通过互联网和智能感知技术对学校过程性数据进行采集；通过网络爬虫对网络日志数据和外部互联网数据进行采集；通过建立智能表单系统对学校日常数据进行采集。

通过上述方式实现对高校结构化和非结构化数据的连接和采集。

步骤S102：对采集到的所述高校数据进行治理，并生成规范化数据。

具体的，根据数据标准和数据质量标准对其中的噪声数据、无关数据、遗漏数据和空缺值进行处理，以形成规范化的业务数据，保证业务数据的完整性、规范性、一致性、准确性和实时性。

步骤S103：对所述数据管理层生成的数据进行数据封装，并设计数据服务总线，开放数据库层面和应用程序层面的数据接口，并通过所述数据接口为外部系统提供数据访问服务和数据推送。

具体的，通过完整的数据服务总线设计，为高校数据融合应用提供基于ETL数据库层和基于RESTFUL风格的应用程序接口（API）等不同层面数据接口服务，提高数据报表和数据推送服务。

步骤S104：基于所述数据接口形成校情分析系统和信息服务系统。

具体的，校情分析系统可对全校师资、学生、一卡通消费、图书数据、财务和科研等主题数据进行综合分析与展现，从而为学院领导精细化管理决策提供数据服务。信息服务系统包括教师发展中心服务系统和学生发展中心服务系统，可助力教师发展和学生成长。

由此，本申请的技术方案采用分层技术架构，利用大数据技术，广泛采集高校数据，对数据进行治理和融合，开发数据服务接口，开发数据应用，有效提升了高校数据应用效率和数据价值。

除上述实施例外，本发明还可以有其他实施方式；凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。