作为一个大数据运维工程师,hadoop的命令每天都在用,今天借着培训的机会整理了一版常用命令。
命令 命令作用解释
hdfs zkfc -formatZK 格式化zk,初始化ZK目录,只在集群新建时,在active namenode(nn1)节点执行
hadoop-daemon.sh start journalnode 启动journalnode服务
hadoop namenode -format 格式化namenode生成新集群id和元数据文件,只在集群新建时,在active namenode(nn1)节点执行
hadoop-daemon.sh start namenode 启动active namenode(nn1)
hdfs namenode -bootstrapStandby 在Standby namenode(nn2)执行,从active namenode(nn1)复制元数据
hadoop-daemon.sh start namenode 启动Standby namenode
hdfs haadmin -getServiceState nn1 确认nn1状态,正常此时为active
hdfs haadmin -getServiceState nn2 确认nn2状态,正常此时为standby
hadoop-daemon.sh start zkfc 启动ZKFC
hadoop-daemon.sh start datanode 启动datanode
yarn-daemon.sh start resourcemanager 启动两个节点的ResourceManager(rm)
yarn rmadmin -getServiceState rm1 确认rm1的状态,正常此时为active
yarn rmadmin -getServiceState rm2 确认rm2的状态,正常此时为standby
yarn-daemon.sh start nodemanager 启动NodeManager
mr-jobhistory-daemon.sh start historyserver 在rm2节点启动历史服务器HistoryServer