Indexed by：
Abstract：
分布式内存计算平台Spark是海量数据处理领域的最新技术进展.动态资源分配下Spark可根据应用的负载情况动态地追增、关闭任务执行器.然而,关闭任务执行器会造成缓存数据丢失,导致不必要的重计算开销,该情况在Spark交互式数据查询应用中尤为常见.为尽量减少任务执行器关闭以提升查询效率,设计实现一种基于预测的Spark动态资源分配策略.该策略基于马尔科夫理论构建Spark交互式数据查询应用的非活跃期持续时间预测模型,并依据预测结果确定任务执行器的关闭时机.试验结果表明,相比既有的Spark动态资源分配策略,采用基于预测的资源分配策略可使Spark交互式数据查询效率平均提升59.34％.
Keyword：
Reprint Author's Address：
Email：
Source ：
软件导刊
ISSN： 1672-7800
Year： 2018
Issue： 12
Volume： 17
Page： 43-47
Cited Count：
SCOPUS Cited Count：
ESI Highly Cited Papers on the List： 0 Unfold All
WanFang Cited Count： -1
Chinese Cited Count：
30 Days PV： 3
Affiliated Colleges：
