在虚拟机中安装单机Hadoop
安装单机Hadoop系统
一、所用软件版本
虚拟机:VMware_workstation_full_12.5.2
操作系统:ubuntu-16.04.2-desktop-amd64
HADOOP:hadoop-2.7.3.tar
JDK: jdk-8u121-linux-x64.tar
二、JDK的配置
1.将/home/software/jdk-8u121-linux-x64.tar进行解压
2.将解压后的jdk1.8.0_121移动到/usr/local/java文件目录下 2.将解压后的jdk1.8.0_121移动到/usr/local/java文件目录下
3.输入命令:sudo gedit/etc/profile配置java环境变量如下:
4.使环境变量生效并验证java环境变量是否配置成功 4.使环境变量生效并验证java环境变量是否配置成功
三、SSH的配置 三、SSH的配置
1.安装SSH 1.安装SSH
2.安装成功后,尝试登陆本机,命令:ssh localhost 2.安装成功后,尝试登陆本机,命令:ssh localhost
3.设置ssh免密登陆,命令:ssh-keygen 3.设置ssh免密登陆,命令:ssh-keygen
四、创建hadoop用户 四、创建hadoop用户
1.创建hadoop用户:hadoop 1.创建hadoop用户:hadoop
2.使用hadoop登陆系统 2.使用hadoop登陆系统
五、Hadoop的安装
1.并将解压后的hadoop-2.7.3从下载中移至/usr/local/hadoop文件目录下并授予权限
2.同java一样,命令:sudo gedit /etc/profile配置环境变量后,查看hadoop是否安装配置成功,如下:
六、hadoop伪分布式配置
1.用下面命令修改配置文件core-site.xml如下图: 1.用下面命令修改配置文件core-site.xml如下图:
2. 用下面命令修改配置文件 hdfs-site.xml如下图: 2. 用下面命令修改配置文件 hdfs-site.xml如下图:
3. 用下面命令修改配置文件mapred-site.xml如下图: 3. 用下面命令修改配置文件mapred-site.xml如下图:
4. 用下面命令修改配置文件 yarn-site.xml如下图:
5. namenode格式化如下图所示,Exiting withstatus 0表示格式化成功
6. 启动进程,命令:./sbin/start-dfs.sh,第一次启动出现如下问题:
解决问题再次启动如下图,并用jps验证如下图:
7. 在网页查看 namenode 和 datanode 信息
七、WordCount实验
1.实验test.txt在/home/usr/lacal/hadoo文件目录下,实验具体步骤及结果如下: 1.实验test.txt在/home/usr/lacal/hadoo文件目录下,实验具体步骤及结果如下:
就这样环境搭好了,还跑了统计词频的小实验,需要细心、细心、再细心,再加点耐心,大功告成! 就这样环境搭好了,还跑了统计词频的小实验,需要细心、细心、再细心,再加点耐心,大功告成!