基于一致性散列的可扩展网页存储

摘要

网页信息的存储对于很多网络应用系统是相当关键的,一个最重要的例子就是搜索引擎如何保存从网络上采集的页面信息,以及如何高速访问这些保存下来的数据.随着存储内容的增加,基于集群(Cluster)的分布式网页存储就不可避免地面临着可扩展性的问题.一致性散列(Consistent Hashing)由于其良好的可扩展性,被广泛的应用在广域网上的点对点(Peer-to-Peer)系统中.实际上,由于此算法的优良特性,对于基于集群系统的可扩展性问题也有非常好的帮助.本文基于一致性散列方法,设计了一个具有可扩展性的可靠的网页存储系统.