快捷搜索: 王者荣耀 脱发

在虚拟机中安装单机Hadoop

安装单机Hadoop系统

一、所用软件版本

虚拟机:VMware_workstation_full_12.5.2

操作系统:ubuntu-16.04.2-desktop-amd64

HADOOP:hadoop-2.7.3.tar

JDK: jdk-8u121-linux-x64.tar

二、JDK的配置

1.将/home/software/jdk-8u121-linux-x64.tar进行解压

2.将解压后的jdk1.8.0_121移动到/usr/local/java文件目录下 2.将解压后的jdk1.8.0_121移动到/usr/local/java文件目录下

3.输入命令:sudo gedit/etc/profile配置java环境变量如下:

4.使环境变量生效并验证java环境变量是否配置成功 4.使环境变量生效并验证java环境变量是否配置成功
三、SSH的配置 三、SSH的配置
1.安装SSH 1.安装SSH
2.安装成功后,尝试登陆本机,命令:ssh localhost 2.安装成功后,尝试登陆本机,命令:ssh localhost
3.设置ssh免密登陆,命令:ssh-keygen 3.设置ssh免密登陆,命令:ssh-keygen
四、创建hadoop用户 四、创建hadoop用户
1.创建hadoop用户:hadoop 1.创建hadoop用户:hadoop
2.使用hadoop登陆系统 2.使用hadoop登陆系统

五、Hadoop的安装

1.并将解压后的hadoop-2.7.3从下载中移至/usr/local/hadoop文件目录下并授予权限

2.同java一样,命令:sudo gedit /etc/profile配置环境变量后,查看hadoop是否安装配置成功,如下:

六、hadoop伪分布式配置

1.用下面命令修改配置文件core-site.xml如下图: 1.用下面命令修改配置文件core-site.xml如下图:
2. 用下面命令修改配置文件 hdfs-site.xml如下图: 2. 用下面命令修改配置文件 hdfs-site.xml如下图:
3. 用下面命令修改配置文件mapred-site.xml如下图: 3. 用下面命令修改配置文件mapred-site.xml如下图:

4. 用下面命令修改配置文件 yarn-site.xml如下图:

5. namenode格式化如下图所示,Exiting withstatus 0表示格式化成功

6. 启动进程,命令:./sbin/start-dfs.sh,第一次启动出现如下问题:

解决问题再次启动如下图,并用jps验证如下图:

7. 在网页查看 namenode 和 datanode 信息

七、WordCount实验

1.实验test.txt在/home/usr/lacal/hadoo文件目录下,实验具体步骤及结果如下: 1.实验test.txt在/home/usr/lacal/hadoo文件目录下,实验具体步骤及结果如下:
就这样环境搭好了,还跑了统计词频的小实验,需要细心、细心、再细心,再加点耐心,大功告成! 就这样环境搭好了,还跑了统计词频的小实验,需要细心、细心、再细心,再加点耐心,大功告成!
经验分享 程序员 微信小程序 职场和发展