一种基于大数据的数据访问权限控制的方法

摘要

本发明提供了一种基于大数据的数据访问权限控制的方法，其方法包括：S1、通过数据采集，将各类数据归集至数据仓库；S2、对ODS层数据进行ETL处理，生成DW层数据，将机构层级表融入数据中；S3、通过数据权限配置中心，根据业务需求配置各用户的权限，返回字段；S4、对调用方鉴权；S5、返回对应权限范围的数据。通过token采用身份认证机制，识别数据获取方的真实身份，提高了数据访问的安全性；减少了表关联，可直接查询宽表数据，提升了查询性能，数据保存在分布式数据库的数据仓库，满足大数据量取数需求，数据访问层级横向平铺，满足大数据量的吞吐量性能要求。

说明书

技术领域

本发明涉及数据访问技术领域，具体的，本发明涉及一种基于大数据的数据访问权限控制的方法。

背景技术

目前很多企业已建立自己的数据仓库，存储大量有价值的商业机密信息，数据安全对企业生存发展有着举足轻重的影响，数据资产的外泄、破坏都会导致企业无可挽回的经济损失和核心竞争力缺失。

访问控制是按用户身份及其所归属的某项定义组来限制用户对某些信息项的访问，或限制对某些控制功能的使用的一种技术，而现有的数据访问控制的安全性不够，且处理大数据的访问权限时，性能不足，效率较低。

发明内容

为了克服现有技术的不足，本发明提供了一种基于大数据的数据访问权限控制的方法，以解决上述的技术问题。

本发明解决其技术问题所采用的技术方法是：一种基于大数据的数据访问权限控制的方法，其改进之处在于：包括以下的步骤：S1、通过数据采集，将各类数据归集至数据仓库；S2、对ODS层数据进行ETL处理，生成DW层数据，将机构层级表融入DW层数据中，ODS即Operational Data Store，即操作数据存储，ETL即Extract Transform Load，指将数据从来源端经过抽取extract、转换transform，加载load至目的端的过程，DW即数据仓库的主体；S3、通过数据权限配置中心，根据业务需求配置各用户的权限，返回字段；S4、对调用方鉴权；S5、返回对应权限范围的数据。

在上述方法中，步骤S1，包括以下的步骤：

S11、将业务数据及埋点数据在服务器上生成文件；

S12、通过Flume和Filebeat拉取文件，发送到指定的Kafka集群，Flume是高可用、高可靠和分布式的海量日志采集、聚合和传输的系统，Filebeat是本地文件的日志数据采集器；

S13、消费Kafka集群上面的数据，保存到各类数据库的表中，数据存放在ODS层，存储在分布式存储平台的数据仓库；

S14、将业务数据写入Oracle数据库，使用OGG同步至数据存储平台，OGG即Oracle公司的数据同步工具。

在上述方法中，步骤S2，包括以下的步骤：

S21、收集ODS层的数据，完善数据仓库的数据；

S22、将ODS层的数据进行ETL处理，使ODS层的多个表关联后保存成一张表，形成DW层的数据；

S23、加入机构层级表，将机构层级表的数据融入到DW层的表中。

在上述方法中，步骤S3，包括以下的步骤：

S31、通过数据权限配置中心配置角色对应的权限；

S32、对调用方用户进行白名单标记，生成token,token即令牌。

在上述方法中，步骤S4，包括以下的步骤：

S41、应用方生成token，并调用接口；

S42、与调用方的token内容进行对比，当验证token合法时，则查询相应调用方的数据查询权限，跳转至步骤S5；当验证token不合法时，则返回失败结果，操作结束。

在上述方法中，步骤S22中，将ODS层的数据进行ETL处理，通过SQL的定时程序完成。

本发明的有益效果是：通过token采用身份认证机制，识别数据获取方的真实身份，提高数据访问的安全性；减少了表关联，可直接查询宽表数据，提升了查询性能；数据保存在分布式数据库的数据仓库，满足大数据量取数需求，数据访问层级横向平铺，满足大数据量的吞吐量性能要求。

附图说明

附图1为本发明的一种基于大数据的数据访问权限控制的方法的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。

参照图1所示，本发明的一种基于大数据的数据访问权限控制的方法，包括以下的步骤：

S1、通过数据采集，将各类数据归集至数据仓库，将所有能收集到的数据全部都收集至统一的数据仓库里面，然后由数据仓库提供数据服务。

具体的，步骤S1，包括以下的步骤：

S11、将业务数据及埋点数据在服务器上生成文件；

S12、通过Flume和Filebeat拉取文件，发送到指定的Kafka集群，Flume是高可用、高可靠和分布式的海量日志采集、聚合和传输的系统，Filebeat是本地文件的日志数据采集器；

S13、消费Kafka集群上面的数据，保存到各类数据库的表中，数据存放在ODS层，存储在分布式存储平台的数据仓库，ODS即Operational Data Store，操作数据存储；

S14、将业务数据写入Oracle数据库，使用OGG同步至数据存储平台，OGG即Oracle公司的数据同步工具。

S2、对ODS层数据进行ETL处理，生成DW层数据，将机构层级表融入DW层数据中，ETL即Extract Transform Load，指将数据从来源端经过抽取extract、转换transform，加载load至目的端的过程，DW即数据仓库的主体，

具体的，步骤S2包括以下步骤：

S21、收集ODS层的数据，完善数据仓库的数据；

S22、将ODS层的数据进行ETL处理，使ODS层的多个表关联后保存成一张表，形成DW层的数据；

S23、加入机构层级表，将机构层级表的数据融入到DW层的表中，减少表关联，提升查询性能。

所述步骤S22中，所述将ODS层的数据进行ETL处理是通过SQL的定时程序完成的，定时程序的离线定时是一般是24小时，实时定时一般是1秒。

S3、通过数据权限配置中心，根据业务需求配置各用户的权限，返回字段。

具体的，步骤S3包括以下步骤：

S31、通过数据权限配置中心配置角色对应的权限；

S32、对调用方用户进行白名单标记，生成token,token即令牌。实现了用户管理的规范化和数据流程化，避免了其他部门或者分公司在未经我们允许的情况下就调用接口，避免了数据泄露的问题。

S4、对调用方鉴权。

具体的，步骤S4包括如下步骤：

S41、应用方生成token，并调用接口；

S42、与调用方的token内容进行对比，当验证token合法时，则查询相应调用方的数据查询权限，并跳转至步骤S5；当验证token不合法时，则返回失败结果，操作结束。

S5、返回对应权限范围的数据给调用方。

本发明通过token采用身份认证机制，识别数据获取方的真实身份，提高了数据访问的安全性；减少了表关联，可直接查询宽表数据，提升了查询性能；数据保存在分布式数据库的数据仓库，满足大数据量取数需求，数据访问层级横向平铺，满足大数据量的吞吐量性能要求。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。