使用Hadoop分布式文件系统检索云存储中的文件

摘要

云存储系统被认为是一个具有独立存储服务器的大型存储系统。云存储提供的服务是,可以通过网络和其他经过身份验证的用户存储用户数据,可以轻松访问数据,Hadoop分布式文件系统用于存储大文件,并以非常高的带宽将这些文件检索到用户应用程序,Hadoop将文件分割成大块,并将它们分布在集群中的节点之间。当我们从云中检索数据时,减少计算和通信开销是非常重要的。为了减少通信开销,当用户要求数据文件时,服务器只能根据关键字发送最新的文件。由于所有者不需要维护文件的副本,所以只需要检查可用的文件。在HDFS中,并行完成计算,从而大大减少了执行时间。在提出的用于检索top-n文件的系统中,我们使用Hadoop分布式文件系统,从而大大减少了搜索时间和通信开销。