大数据处理实验（三）HDFS基本操作实验
HDFS的基本命令格式:hdfs dfs -cmd <args>
注意：需要事先将HADOOP_HOME/bin目录配置进入环境变量。
1、Hadoop配置环境变量
进入实验二创建的master容器
sudo docker start master sudo docker exec -it master /bin/bash
进入hadoop安装目录
cd /usr/local/hadoop-3.2.1
进入文件
vi /etc/profile
配置环境变量
export HADOOP_HOME=/usr/local/hadoop-3.2.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
第一行的的HADOOP_HOME是你的hadoop安装的位置。
保存环境变量
source /etc/profile
按照实验一步骤启动hadoop
2、列出当前目录下的文件
hdfs dfs -ls
在HDFS创建文件夹:hdfs dfs -mkdir <文件夹名称>
3、级联创建一个文件夹，类似这样一个目录：/mybook/input
hdfs dfs -mkdir -p <文件夹名称>
4、上传文件至HDFS
hdfs dfs -put <源路径> <目标存放路径>
5、从HDFS上下载文件
hdfs dfs -get <HDFS文件路径> <本地存放路径>
6、查看HDFS上某个文件的内容
hdfs dfs -text <HDFS上的文件存放路径> hdfs dfs -cat <HDFS上的文件存放路径>
6、统计目录下各文件的大小（单位：字节B）
hdfs dfs -du <目录路径>
7、删除HDFS上某个文件或者文件夹
hdfs dfs -rm <文件> hdfs dfs -rm -r <文件夹>
8、使用help命令寻求帮助
hdfs dfs -help <命令>
上一篇：
JS实现多线程数据分片下载
下一篇：
python——pickle模块的使用