大数据系统架构在石油零售企业的探索与应用

摘要

经过石油行业十一五、十二五的信息化建设,在石油零售企业内积累了大量的业务数据,这些数据全部真实的保存在各个系统数据库中,数据量累计超过了上百TB级.同时,随着互联网应用的不断深入,在企业外部每天也在产生大量的相关数据,这些数据实时地影响着企业的运行和发展.由于传统的数据仓库在大规模数据处理上的瓶颈与限制,目前石油零售企业内现有的技术手段不能满足对大规模数据的实时处理与分析需求,因此需要一种适应于业务发展的基于大数据的系统架构应用于企业内部.本文提出了一种适用于石油零售企业的大数据应用架构,搭建了大数据应用平台,针对大规模的企业内部数据计算效率与传统数据库进行了对比.应用表明在大规模数据计算性能方面,大数据平台有着更大的优势和发展前景.