HADOOP集群运维常用命令

作为一个大数据运维工程师,hadoop的命令每天都在用,今天借着培训的机会整理了一版常用命令。

命令 命令作用解释 hdfs zkfc -formatZK 格式化zk,初始化ZK目录,只在集群新建时,在active namenode(nn1)节点执行 hadoop-daemon.sh start journalnode 启动journalnode服务 hadoop namenode -format 格式化namenode生成新集群id和元数据文件,只在集群新建时,在active namenode(nn1)节点执行 hadoop-daemon.sh start namenode 启动active namenode(nn1) hdfs namenode -bootstrapStandby 在Standby namenode(nn2)执行,从active namenode(nn1)复制元数据 hadoop-daemon.sh start namenode 启动Standby namenode hdfs haadmin -getServiceState nn1 确认nn1状态,正常此时为active hdfs haadmin -getServiceState nn2 确认nn2状态,正常此时为standby hadoop-daemon.sh start zkfc 启动ZKFC hadoop-daemon.sh start datanode 启动datanode yarn-daemon.sh start resourcemanager 启动两个节点的ResourceManager(rm) yarn rmadmin -getServiceState rm1 确认rm1的状态,正常此时为active yarn rmadmin -getServiceState rm2 确认rm2的状态,正常此时为standby yarn-daemon.sh start nodemanager 启动NodeManager mr-jobhistory-daemon.sh start historyserver 在rm2节点启动历史服务器HistoryServer
经验分享 程序员 微信小程序 职场和发展