基于SQL语义的流式数据总线行列级数据访问控制研究

摘要

企业内应用快速增长、数据急剧膨胀,如何高效、安全地实现企业内各应用数据的便捷访问,避免数据孤岛效应,成为企业数据平台的巨大挑战。基于OLAP关系型数据率的数据仓库及基于Hadoop技术的大数据平台,在企业内广泛应用,通过批量归集源系统数据,实现了对T-1日历史数据的集中存放,并提供安全可控的数据访问服务。但是,提供当日实时数据流水订阅的流式数据总线缺少相应的数据安全控制,无法提供基于数据内容的“最小化”的数据访问,未能满足企业内数据安全需求。文章提出了一种基于SQL语义的流式数据总线行列级数据访问控制方式,提供细粒度化实时数据访问机制,在满足实时数据快速访问的同时保障数据的安全性,并基于业界流行的高吞吐开源消息中间件Kafka提出了系统的实现方式。