海量数据高效存储与管理研究一种高效海量数据存储、管理与实时发布方案

摘要

随着企业数据量不断增加,使用现有的存储和处理办法已不能满足用户需求.本文采用高效的FTP信息采集手段,Bulk Insert,BCP,DTS等快速信息装载方式,使用数据预处理,并行开放的WEB数据发布方式,能有效解决企业海量数据存储、管理与实时发布的问题,能够满足企业日益增加的数据存储和处理需求.经过实际系统验证,本文提出的方案能够在相同的硬件环境下成倍提高存储和发布速度.