• 综合
  • 标题
  • 关键词
  • 摘要
  • 学者
  • 期刊-刊名
  • 期刊-ISSN
  • 会议名称
搜索

作者:

李硕 (李硕.) | 梁毅 (梁毅.)

收录:

CSCD

摘要:

Spark批处理应用执行时间预测是指导Spark系统资源分配、应用均衡的关键技术.然而,既有研究对于具有不同运行特征的应用采用统一的预测模型,且预测模型考虑因素较少,降低了预测的准确度.针对上述问题,提出了一种考虑了应用特征差异的Spark批处理应用执行时间预测模型,该模型基于强相关指标对Spark批处理应用执行时间进行分类,对于每一类应用,采用PCA和GBDT算法进行应用执行时间预测.当即席应用到达后,通过判断其所属应用类别并采用相应的预测模型进行执行时间预测.实验结果表明,与采用统一预测模型相比,提出的方法可使得预测结果的均方根误差和平均绝对百分误差平均降低32.1%和33.9%.

关键词:

Spark 分类 批处理应用 预测

作者机构:

  • [ 1 ] [李硕]北京工业大学

通讯作者信息:

电子邮件地址:

查看成果更多字段

相关关键词:

来源 :

计算机工程与应用

ISSN: 1002-8331

年份: 2021

期: 5

卷: 57

页码: 79-87

被引次数:

WoS核心集被引频次: 0

SCOPUS被引频次:

ESI高被引论文在榜: 0 展开所有

万方被引频次: -1

中文被引频次:

近30日浏览量: 5

归属院系:

在线人数/总访问数:461/2894745
地址:北京工业大学图书馆(北京市朝阳区平乐园100号 邮编:100124) 联系我们:010-67392185
版权所有:北京工业大学图书馆 站点建设与维护:北京爱琴海乐之技术有限公司