• 综合
  • 标题
  • 关键词
  • 摘要
  • 学者
  • 期刊-刊名
  • 期刊-ISSN
  • 会议名称
搜索

作者:

廖湖声 (廖湖声.) (学者:廖湖声) | 黄珊珊 (黄珊珊.) | 徐俊刚 (徐俊刚.) | 刘仁峰 (刘仁峰.)

收录:

CQVIP PKU CSCD

摘要:

近年来,随着大数据时代的到来,大数据处理平台发展迅速,产生了诸如Hadoop,Spark,Storm等优秀的大数据处理平台,其中Spark最为突出。随着Spark在国内外的广泛应用,其许多性能问题尚待解决。由于Spark底层的执行机制极为复杂,用户很难找到其性能瓶颈,更不要说进一步的优化。针对以上问题,从开发原则优化、内存优化、配置参数优化、调度优化、Shuffle过程优化5个方面对目前国内外的Spark优化技术进行总结和分析。最后,总结了目前Spark优化技术新的核心问题,并提出了未来的主要研究方向。

关键词:

Shuffle过程优化 Spark 内存优化 参数优化 开发原则优化 调度优化

作者机构:

  • [ 1 ] 北京工业大学信息学部
  • [ 2 ] 中国科学院大学计算机与控制学院

通讯作者信息:

电子邮件地址:

查看成果更多字段

相关关键词:

来源 :

计算机科学

年份: 2018

期: 07

卷: 45

页码: 7-15,37

被引次数:

WoS核心集被引频次: 0

SCOPUS被引频次:

ESI高被引论文在榜: 0 展开所有

万方被引频次:

中文被引频次:

近30日浏览量: 4

归属院系:

在线人数/总访问数:653/2898235
地址:北京工业大学图书馆(北京市朝阳区平乐园100号 邮编:100124) 联系我们:010-67392185
版权所有:北京工业大学图书馆 站点建设与维护:北京爱琴海乐之技术有限公司