Hadoop完全分布集群搭建
完全分布集群和伪分布集群不同在于：
完全分布是有很多个节点组成 伪分布是只在一个节点上配置
- 完全分布集群的搭建 首先需要准备四台虚拟机，配置文件和伪分布相同 我们只需要在主节点上进行操作就可以
- 主节点的配置 四台虚拟机都要配置！！！ 设置的是Datanode的启动位置 Hadoop安装好后，找到etc目录下的hadoop vi slaves配置Datanode映射 把其余三台虚拟机的主机名写入保存退出即可 vi hdfs-site.xml配置备份个数和 vi core-site.xml配置主节点namenode和namenode启动信息的存放点
- 配置免密登陆 在cd /etc/hosts配置多个节点的网络映射，写自己四台虚拟机的网络IP和主机名 多节点之间免密配置 配置免密登录 在每一个节点上运行ssh-keygen -t rsa 产生他们自己的密钥 在主节点执行 ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名 ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名 ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名 ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名 注：将某一个节点的文件发送到其他的节点上 scp /etc/hosts :/etc 这里要写自己其他虚拟机的ip
- 将修改完成后的文件发送到其他的节点上 scp -r hadoop-cluster root@node02:/opt/software
- 格式化，让配置文件生效 在桌面启动要配置Hadoop环境变量！！！ 如果没有配置，去Hadoop下的bin去启动 hdfs namenode -format
- 启动集群
输入主节点的ip:50070出现页面搭建成功
