• 综合
  • 标题
  • 关键词
  • 摘要
  • 学者
  • 期刊-刊名
  • 期刊-ISSN
  • 会议名称
搜索

作者:

梁毅 (梁毅.) | 陈金栋 (陈金栋.) | 苏超 (苏超.) | 毕临风 (毕临风.)

收录:

CQVIP

摘要:

Spark是大数据内存计算系统的典型代表,通过内存缓存数据加速迭代型、交互型大数据应用的运行.基于时间窗口的数据分析是一类典型的大数据迭代型应用.基于Spark平台运行时间窗口数据分析应用,存在中间结果数据放置不均的问题,造成应用执行效率降低.针对上述问题,提出基于遗传算法的Spark中间结果数据迁移策略,通过考虑中间结果数据迁移时机、迁移数据规模,并使用遗传算法优化选取迁移数据放置位置,提高时间窗口应用执行效率.实验结果表明,在既有Spark平台中,采用该迁移策略可使时间窗口应用执行时间最大减少28.45%,平均减少21.59%.

关键词:

Spark 中间结果数据 数据迁移

作者机构:

  • [ 1 ] [梁毅]北京工业大学
  • [ 2 ] [陈金栋]北京工业大学
  • [ 3 ] [苏超]北京工业大学
  • [ 4 ] [毕临风]北京工业大学

通讯作者信息:

电子邮件地址:

查看成果更多字段

相关关键词:

相关文章:

来源 :

软件导刊

ISSN: 1672-7800

年份: 2020

期: 4

卷: 19

页码: 89-92

被引次数:

WoS核心集被引频次: 0

SCOPUS被引频次:

ESI高被引论文在榜: 0 展开所有

万方被引频次: -1

中文被引频次:

近30日浏览量: 3

归属院系:

在线人数/总访问数:660/2898265
地址:北京工业大学图书馆(北京市朝阳区平乐园100号 邮编:100124) 联系我们:010-67392185
版权所有:北京工业大学图书馆 站点建设与维护:北京爱琴海乐之技术有限公司