收录:
摘要:
一种基于HDFS的海量小文件存储优化方法,属于存储性能优化领域,包括:初始化、文件访问状况分析、小文件分类暂存、小文件合并存储及回溯。方法针对文件的历史访问日志信息,对文件访问状况进行分析,计算文件之间的相关度,形成文件关联性映射集。根据所形成的文件关联性映射集,对小文件进行分类暂存,将相关度高的小文件暂存在一起,同时考虑了小文件的大小分布。最终对暂存的小文件进行合并存储,将小文件的原件及副本进行删除,将合并形成的大文件存储到HDFS当中。方法将原本存储于HDFS中的海量小文件通过合并的方式进行重存储,充分考虑了小文件的相关性和小文件的大小分布,有效地降低了名称结点的内存开销,提高了HDFS对小文件的存取效率。
关键词:
通讯作者信息:
电子邮件地址: