• 综合
  • 标题
  • 关键词
  • 摘要
  • 学者
  • 期刊-刊名
  • 期刊-ISSN
  • 会议名称
搜索

作者:

王健 (王健.) | 韩永鹏 (韩永鹏.) | 崔运鹏 (崔运鹏.) | 刘娟 (刘娟.) | 胡林 (胡林.) | 苏航 (苏航.) | 梁毅 (梁毅.)

收录:

incoPat

摘要:

一种基于HDFS的海量小文件存储优化方法,属于存储性能优化领域,包括:初始化、文件访问状况分析、小文件分类暂存、小文件合并存储及回溯。方法针对文件的历史访问日志信息,对文件访问状况进行分析,计算文件之间的相关度,形成文件关联性映射集。根据所形成的文件关联性映射集,对小文件进行分类暂存,将相关度高的小文件暂存在一起,同时考虑了小文件的大小分布。最终对暂存的小文件进行合并存储,将小文件的原件及副本进行删除,将合并形成的大文件存储到HDFS当中。方法将原本存储于HDFS中的海量小文件通过合并的方式进行重存储,充分考虑了小文件的相关性和小文件的大小分布,有效地降低了名称结点的内存开销,提高了HDFS对小文件的存取效率。

关键词:

通讯作者信息:

电子邮件地址:

查看成果更多字段

相关关键词:

相关文章:

专利基本信息 :

专利类型: 发明授权

申请(专利)号: CN201910175055.9

申请日期: 2019-03-08

公开(公告)日: 2021-07-23

公开(公告)号: CN110018997B

申请(专利权): 中国农业科学院农业信息研究所;;北京工业大学

法律状态: 未缴年费

被引次数:

WoS核心集被引频次: 0

SCOPUS被引频次:

ESI高被引论文在榜: 0 展开所有

万方被引频次:

中文被引频次:

近30日浏览量: 0

归属院系:

在线人数/总访问数:364/4800397
地址:北京工业大学图书馆(北京市朝阳区平乐园100号 邮编:100124) 联系我们:010-67392185
版权所有:北京工业大学图书馆 站点建设与维护:北京爱琴海乐之技术有限公司