摘要:
本文针对Hadoop平台数据本地化处理的新特征,探索Haoop平台中Map任务数据访问监控机制。提出Hadoop平台数据访问监控机制不仅应服务于数据请求响应时间或吞吐率等传统数据访问效率优化目标,还应服务于保障并行执行的多Map任务数据访问开销均衡度。针对新的服务目标,本文提出包含物理数据块层、逻辑文件块层和文件层的层次化数据访问监控信息视图模型:依托Hadoop平台现有结构,设计了基于master-slave的监控体系结构:给出了监控主要功能模块的具体实现技术。
关键词:
通讯作者信息:
电子邮件地址: