• 综合
  • 标题
  • 关键词
  • 摘要
  • 学者
  • 期刊-刊名
  • 期刊-ISSN
  • 会议名称
搜索

作者:

梁毅 (梁毅.) | 程石帆 (程石帆.) | 常仕禄 (常仕禄.) | 刘飞 (刘飞.)

收录:

incoPat

摘要:

本发明公开了一种面向交互式Spark应用的数据动态放置方法,该方法分为五个步骤:初始化、缓存RDD分区价值评估、缓存RDD分区的保留选取、缓存RDD分区数据的重放置和结束。本发明针对Spark交互式应用在动态资源分配的背景下,RDD数据无法可靠放置的不足,在相邻交互请求间存在较长时间间隔时,依据任务执行器中缓存RDD分区的价值以及数据迁移的代价,利用粒子群算法进行缓存RDD分区数据的重放置,从而达到充分利用任务执行器的内存空间且提高交互式请求执行效率的目的。

关键词:

通讯作者信息:

电子邮件地址:

查看成果更多字段

相关关键词:

相关文章:

专利基本信息 :

专利类型: 发明授权

申请(专利)号: CN201810455119.6

申请日期: 2018-05-14

公开(公告)日: 2022-02-15

公开(公告)号: CN108614738B

申请(专利权): 北京工业大学

法律状态: 授权

被引次数:

WoS核心集被引频次: 0

SCOPUS被引频次:

ESI高被引论文在榜: 0 展开所有

万方被引频次:

中文被引频次:

近30日浏览量: 0

归属院系:

在线人数/总访问数:437/4793804
地址:北京工业大学图书馆(北京市朝阳区平乐园100号 邮编:100124) 联系我们:010-67392185
版权所有:北京工业大学图书馆 站点建设与维护:北京爱琴海乐之技术有限公司