HDFS的数据存储方法及装置

摘要

本发明涉及数据存储技术领域，具体涉及一种HDFS的数据存储方法及装置。所述方法包括：获取将待存储数据存入当前数据缓存器中后，所述当前数据缓存器的数据记录数；若所述数据记录数不小于预设上限值，并且不大于数据块的数据记录数上限，则将所述待存储数据存入所述当前数据缓存器中；对所述当前数据缓存器中缓存的数据进行HDFS写入；其中，所述预设上限值为所述数据块的数据记录数上限与预设系数之积。本发明实施例提供的HDFS的数据存储方法及装置，可以最大程度地在保留待存储数据原有特征的情况下合并小规模数据，使得数据在HDFS中的存储可以趋近于块大小，从而减少HDFS中小数据块的数量。