收录:
摘要:
一种面向Map/Reduce型海量数据处理平台的作业调度方法,属于海量数据处理领域,特别涉及Map/Reduce型海量数据处理平台中的作业调度和资源管理。本发明提出一种基于Reduce任务资源抢占的Map/Reduce作业调度方法,实现在Reduce任务处于空闲等待时,将其所占用的计算资源分配给Map任务使用。本发明主要包括:抢占资源、作业调度模块、应用管理模块、任务执行模块、节点管理模块、任务挂起与恢复方法、面向抢占资源的作业调度方法。本发明可以应用于数据中心的作业调度和资源管理,通过对于Map/Reduce作业中Reduce任务的抢占调度,实现数据中心计算资源的合理分配,提高计算资源利用率,同时缩短作业运行时间。
关键词:
通讯作者信息:
电子邮件地址: