Windows环境下hadoop安装和配置详细步骤(图文)
参考
1.首先下载hadoop2.7.1和hadooponwindows-master.zip
链接: 提取码:acif 下载并解压到本地 我是放到了的D盘 2.原版的Hadoop不支持Windows系统,我们需要修改一些配置方便在Windows上运行,hadooponwindows-master.zip 解压后 复制解压开的bin文件和etc文件到hadoop-2.7.1文件中,并替换原有的bin和etc文件。
或者也可以到官网下载hadoop:
3.下载配置JAVA_HOME并检查是否成功
4.配置HADOOP_HOME,环境变量path添加%HADOOP_HOME%in
5.使用编辑器打开D:hadoophadoop-2.7.1etchadoophadoop-env.cmd 修改JAVA_HOME的路径 把set JAVA_HOME改为jdk的位置 6.在D:hadoophadoop-2.7.1目录下 添加tmp文件夹 在D:hadoophadoop-2.7.1添加data和namenode,datanode子文件夹
7.打开 D:/hadoop/hadoop-2.7.1/etc/hadoop/hdfs-site.xml 修改路径为hadoop下的namenode和datanode 8.从D:hadoophadoop-2.7.1in下拷贝hadoop.dll到 C:WindowsSystem32 ,不然在window平台使用MapReduce测试时报错 9.以管理员身份打开命令提示符 输入hdfs namenode -format,看到如下所示就说明format成功
10.转到hadoop-2.7.1sbin文件下
输入start-all,启动hadoop集群
D:hadoophadoop-2.7.1sbin>start-all
出现下面四个窗口表示启动hadoop集群成功
11.输入jps - 可以查看运行的所有节点
12.访问http://localhost:50070,访问hadoop的web界面
访问http://localhost:8088,访问yarn的web界面,有就表明已经成功
停止运行的所有节点的命令stop-all 13.上传测试
根据你core-site.xml的配置,接下来你就可以通过:hdfs://localhost:9000来对hdfs进行操作了。
-
创建输入目录
C:WINDOWSsystem32>hadoop fs -mkdir hdfs://localhost:9000/user/ C:WINDOWSsystem32>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput
-
上传数据到目录
C:WINDOWSsystem32>hadoop fs -put D:personaldebug.log hdfs://localhost:9000/user/wcinput