• 综合
  • 标题
  • 关键词
  • 摘要
  • 学者
  • 期刊-刊名
  • 期刊-ISSN
  • 会议名称
搜索

作者:

王全民 (王全民.) | 张程 (张程.) | 赵小桐 (赵小桐.) | 雷佳伟 (雷佳伟.)

收录:

CQVIP

摘要:

Hadoop分布式文件系统( HDFS)适合处理和存储大文件,在处理的文件体积较大时表现出色,但是在处理海量的小文件时效率和性能下降明显,过多的小文件将会导致整个集群的负载过高。为了提高HDFS处理小文件的性能,提出了双重合并算法-即基于文件之间的关联关系和基于数据块平衡的小文件合并算法,能够将小文件的文件体积大小进行均匀分布。通过该算法能够进一步提升小文件的合并效果,减少HDFS集群主节点内存消耗,降低负载,有效降低合并所需的数据块数量,最终能够提高HDFS处理海量小文件的性能。

关键词:

Hadoop分布式文件系统 小文件 文件关联 合并算法

作者机构:

  • [ 1 ] [王全民]北京工业大学
  • [ 2 ] [张程]北京工业大学
  • [ 3 ] [赵小桐]北京工业大学
  • [ 4 ] [雷佳伟]北京工业大学

通讯作者信息:

电子邮件地址:

查看成果更多字段

相关关键词:

来源 :

计算机技术与发展

ISSN: 1673-629X

年份: 2016

期: 11

卷: 26

页码: 41-44

被引次数:

WoS核心集被引频次: 0

SCOPUS被引频次:

ESI高被引论文在榜: 0 展开所有

万方被引频次: 8

中文被引频次:

近30日浏览量: 1

归属院系:

在线人数/总访问数:489/3897994
地址:北京工业大学图书馆(北京市朝阳区平乐园100号 邮编:100124) 联系我们:010-67392185
版权所有:北京工业大学图书馆 站点建设与维护:北京爱琴海乐之技术有限公司