Windows环境下hadoop安装和配置详细步骤(图文)

参考

1.首先下载hadoop2.7.1和hadooponwindows-master.zip

链接: 提取码:acif 下载并解压到本地 我是放到了的D盘 2.原版的Hadoop不支持Windows系统,我们需要修改一些配置方便在Windows上运行,hadooponwindows-master.zip 解压后 复制解压开的bin文件和etc文件到hadoop-2.7.1文件中,并替换原有的bin和etc文件。

或者也可以到官网下载hadoop:

3.下载配置JAVA_HOME并检查是否成功

4.配置HADOOP_HOME,环境变量path添加%HADOOP_HOME%in

5.使用编辑器打开D:hadoophadoop-2.7.1etchadoophadoop-env.cmd 修改JAVA_HOME的路径 把set JAVA_HOME改为jdk的位置 6.在D:hadoophadoop-2.7.1目录下 添加tmp文件夹 在D:hadoophadoop-2.7.1添加data和namenode,datanode子文件夹

7.打开 D:/hadoop/hadoop-2.7.1/etc/hadoop/hdfs-site.xml 修改路径为hadoop下的namenode和datanode 8.从D:hadoophadoop-2.7.1in下拷贝hadoop.dll到 C:WindowsSystem32 ,不然在window平台使用MapReduce测试时报错 9.以管理员身份打开命令提示符 输入hdfs namenode -format,看到如下所示就说明format成功

10.转到hadoop-2.7.1sbin文件下

输入start-all,启动hadoop集群

D:hadoophadoop-2.7.1sbin>start-all

出现下面四个窗口表示启动hadoop集群成功

11.输入jps - 可以查看运行的所有节点

12.访问http://localhost:50070,访问hadoop的web界面

访问http://localhost:8088,访问yarn的web界面,有就表明已经成功

停止运行的所有节点的命令stop-all 13.上传测试

根据你core-site.xml的配置,接下来你就可以通过:hdfs://localhost:9000来对hdfs进行操作了。

    创建输入目录
C:WINDOWSsystem32>hadoop fs -mkdir hdfs://localhost:9000/user/
C:WINDOWSsystem32>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput
    上传数据到目录
C:WINDOWSsystem32>hadoop fs -put D:personaldebug.log hdfs://localhost:9000/user/wcinput
经验分享 程序员 微信小程序 职场和发展