hadoop大数据基础复习笔记-day1
Hadoop集群启动顺序为:
如果Hadoop集群是第一次启动,可以用start-all.sh。比较常用的启动方式是一个一个守护进程来启动,启动的步骤如下。
(大方向是yarn on hdfs 所以先启动节点 再启动MapReduce的)
1、启动Hadoop的HDFS模块里的守护进程(start-dfs.sh)
HDFS里面的守护进程启动也有顺序,即:
①启动NameNode守护进程。
②启动DataNode守护进程。
③启动SecondaryNameNode守护进程。
2、启动MapReduce模块里面的守护进程(start-yarn.sh)
MapReduce的守护进程启动也是有顺序的,即:
①启动 JobTracker守护进程。
②启动TaskTracker守护进程。
2.启动MapReduce模块里面的守护进程(start-yarn.sh)
3、启动日志进程(mr-jobhistory-daemon.sh start historyserver)
******************************************************************************************************************
关闭集群的顺序与启动Hadoop的顺序相反:
- 关闭MapReduce模块里面的守护进程(stop-yarn.sh)
- 关闭Hadoop的HDFS模块里的守护进程(stop-dfs.sh)
- 关闭日志进程(mr-jobhistory-daemon.sh stop historyserver)
**************************************************************************************************************************
yarn的监控界面 默认端口号master:8088 注:在yarn-site.xml中设置
hdfs的监控界面默认端口号master:50070 注:在hdfs-site.xml中设置
*********************************************************************************************************************
hdfs基本命令:
查询hdfs信息方式
-
hdfs dfsadmin -report [-live] [-dead] [-decommisioning]
// llive 查看在线 、dead查看挂掉的节点、decommisssioning查看停掉的节点 及其相关数据的统计
在hdfs上创建目录
-
hdfs dfs -mkdir -p /user/test/example //不带p创建多级目录会失败 hdfs dfs -rm /user/test/example //删除
将本地文件拷贝到hdfs系统上去
-
hdfs dfs -copyFromLocal a.txt /user/data //将当前目录下的a.txt 拷贝到hdfs文件系统的 /user/data 下 hdfs dfs -copyToLocal /user/data/a.txt . //从HDFS拷贝 到本地当前目录 hdfs dfs -get /user/data/a.txt . //同上 hdfs dfs -moveFromLocal a.txt /user/data //移动 hdfs dfs -put a.txt /user/data //上传 hdfs dfs -cat /user/data/a.txt //查看 hdfs dfs -tail /user/data/a.txt //查看文件的最后1024字节