hadoop大数据基础复习笔记-day1

Hadoop集群启动顺序为:

如果Hadoop集群是第一次启动,可以用start-all.sh。比较常用的启动方式是一个一个守护进程来启动,启动的步骤如下。

(大方向是yarn on hdfs 所以先启动节点 再启动MapReduce的)

1、启动Hadoop的HDFS模块里的守护进程(start-dfs.sh)

HDFS里面的守护进程启动也有顺序,即:

①启动NameNode守护进程。

②启动DataNode守护进程。

③启动SecondaryNameNode守护进程。

2、启动MapReduce模块里面的守护进程(start-yarn.sh)

MapReduce的守护进程启动也是有顺序的,即:

①启动 JobTracker守护进程。

②启动TaskTracker守护进程。

2.启动MapReduce模块里面的守护进程(start-yarn.sh)

3、启动日志进程(mr-jobhistory-daemon.sh start historyserver)

******************************************************************************************************************

关闭集群的顺序与启动Hadoop的顺序相反:

  1. 关闭MapReduce模块里面的守护进程(stop-yarn.sh)
  2. 关闭Hadoop的HDFS模块里的守护进程(stop-dfs.sh)
  3. 关闭日志进程(mr-jobhistory-daemon.sh stop historyserver)

**************************************************************************************************************************

yarn的监控界面 默认端口号master:8088 注:在yarn-site.xml中设置

hdfs的监控界面默认端口号master:50070 注:在hdfs-site.xml中设置

*********************************************************************************************************************

hdfs基本命令:

查询hdfs信息方式

    hdfs dfsadmin -report [-live] [-dead] [-decommisioning]

// llive 查看在线 、dead查看挂掉的节点、decommisssioning查看停掉的节点 及其相关数据的统计

在hdfs上创建目录

    hdfs dfs -mkdir -p /user/test/example //不带p创建多级目录会失败 hdfs dfs -rm /user/test/example //删除

将本地文件拷贝到hdfs系统上去

    hdfs dfs -copyFromLocal a.txt /user/data //将当前目录下的a.txt 拷贝到hdfs文件系统的 /user/data 下 hdfs dfs -copyToLocal /user/data/a.txt . //从HDFS拷贝 到本地当前目录 hdfs dfs -get /user/data/a.txt . //同上 hdfs dfs -moveFromLocal a.txt /user/data //移动 hdfs dfs -put a.txt /user/data //上传 hdfs dfs -cat /user/data/a.txt //查看 hdfs dfs -tail /user/data/a.txt //查看文件的最后1024字节
经验分享 程序员 微信小程序 职场和发展