hdfs shell的基本操作和hdfsWeb查看文件

hdfs基本操作

查询命令

$ hadoop dfs -ls /    查询 / 目录下的所有文件和文件夹
$ hadoop dfs -ls -R    以递归的方式

创建新的空文件夹

hdfs dfs -mkdir /test    创建test文件夹

创建文件

$ hadoop dfs -touchz /a.txt    在/目录下创建一个空文件a.txt

增加文件,上传到HDFS

-copyFromLocal 把本地文件复制到hdfs,等同于 -put

hdfs dfs -put a.txt /test    把本地当前目录下的a.txt文件复制到  hdfs的 /test目录下

查看文件内容

hdfs dfs -cat /test/a.txt

复制文件,从HDFS下载

将hdfs中文件,复制拿到 本地。

hdfs dfs -copyToLocal /test/a.txt  .     把/test/a.txt复制到当前目录
hdfs dfs -get /test/a.txt  .

. 指当前目录

删除文件或文件夹

hdfs dfs -rm -r /test/a.txt

重命名

hdfs dfs -mv /a.txt  /b.txt

将源目录下的所有文件排序合并到一个本地文件

hdfs dfs -getmerge /   local-file     把 / 目录下的所有文件合并到本地文件 local-file

-chmod -R 777 /xxx/

修改权限

cmd设置副本数

$ hadoop fs -setrep 1 /user/xxx/tmp  
会把tmp目录下的所有文件和子目录的副本都设置为1

balancer

$ hdfs balancer  -threshold  10  -include  master,slave1
10%的差距在各个节点之间
经验分享 程序员 微信小程序 职场和发展