• Complex
  • Title
  • Keyword
  • Abstract
  • Scholars
  • Journal
  • ISSN
  • Conference
搜索

Author:

王健 (王健.) | 韩永鹏 (韩永鹏.) | 崔运鹏 (崔运鹏.) | 刘娟 (刘娟.) | 胡林 (胡林.) | 苏航 (苏航.) | 梁毅 (梁毅.)

Indexed by:

incoPat

Abstract:

一种基于HDFS的海量小文件存储优化方法,属于存储性能优化领域,包括:初始化、文件访问状况分析、小文件分类暂存、小文件合并存储及回溯。方法针对文件的历史访问日志信息,对文件访问状况进行分析,计算文件之间的相关度,形成文件关联性映射集。根据所形成的文件关联性映射集,对小文件进行分类暂存,将相关度高的小文件暂存在一起,同时考虑了小文件的大小分布。最终对暂存的小文件进行合并存储,将小文件的原件及副本进行删除,将合并形成的大文件存储到HDFS当中。方法将原本存储于HDFS中的海量小文件通过合并的方式进行重存储,充分考虑了小文件的相关性和小文件的大小分布,有效地降低了名称结点的内存开销,提高了HDFS对小文件的存取效率。

Keyword:

Reprint Author's Address:

Email:

Show more details

Related Keywords:

Related Article:

Patent Info :

Type: 发明授权

Patent No.: CN201910175055.9

Filing Date: 2019-03-08

Publication Date: 2021-07-23

Pub. No.: CN110018997B

Applicants: 中国农业科学院农业信息研究所;;北京工业大学

Legal Status: 未缴年费

Cited Count:

WoS CC Cited Count: 0

SCOPUS Cited Count:

ESI Highly Cited Papers on the List: 0 Unfold All

WanFang Cited Count:

Chinese Cited Count:

30 Days PV: 3

Affiliated Colleges:

Online/Total:773/5323095
Address:BJUT Library(100 Pingleyuan,Chaoyang District,Beijing 100124, China Post Code:100124) Contact Us:010-67392185
Copyright:BJUT Library Technical Support:Beijing Aegean Software Co., Ltd.