一种基于HDFS的海量医疗小文件分布式存储方法

摘要

本发明涉及一种基于HDFS的海量医疗小文件分布式存储方法，属于分布式存储性能优化领域，在标准HDFS集群基础上分配预处理节点，实现对医疗文件中海量小文件的判断、缓存、合并及存储；对于大于阈值的文件，直接存入HDFS集群，对于小于阈值的文件，则先存入缓存，后提取特征，通过hash运算得到相应特征数字串，再通过加权、求和、降维等步骤生成每个文件对应的特征01数字串，并根据该01数字串的相同位数判断文件相似性；将相似文件合成大于阈值的SequenceFile格式文件存入HDFS，同时生成[key.value]形式的index索引文件。