摘要:随着网络和通信技术的不断发展,在大规模科学计算中间结果的保存和处理、基于Internet信息的分析和研究、实时监控系统信息的存储和处理等诸多应用领域,都产生了TB级的海量数据.数据规模的不断增加以及实时的海量数据加载要求对传统的数据库技术提出了新的挑战.设计并实现了一个面向实时Internet监控信息的海量数据实时加栽系统IMIL(Internet monitoring informationloader),包括可扩展、高度容错的硬件体系结构,使用SQL*Loader以及交换分区机制的高效批量加栽算法以及优化的并行调度机制.性能测试显示,这些海量数据加栽及优化技术使得数据加载速度由每天2.2亿条提高到12亿条,10个Cluster同时工作时峰值数据加载速度达到每天6TB.IMIL系统对需要实时加栽TB级海量数据的大规模复杂数据库系统具有重要的参考和借鉴价值.