大数据面试题:介绍下YARN
介绍YARN,可以先考虑下面两个问题
1)如何管理集群资源?
2)如何给任务合理分配资源?
YARN是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
YARN 作为一个资源管理、任务调度的框架,主要包含ResourceManager、NodeManager、ApplicationMaster和Container模块。
YARN基础架构
1)ResourceManager(RM)主要作用如下:
-
处理客户端请求 监控NodeManager 启动或监控ApplicationMaster 资源的分配与调度
2)NodeManager(NM)主要作用如下:
-
管理单个节点上的资源 处理来自ResourceManager的命令 处理来自ApplicationMaster的命令
3)ApplicationMaster(AM)作用如下:
-
为应用程序申请资源并分配给内部的任务 任务的监督与容错
4)Container
-
Container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等。
可以结合“YARN有什么优势,能解决什么问题?”一起回答
上一篇:
Java基础知识总结(2021版)