搭建hadoop分布式环境错误配置


首先是 日志异常 ( 用户权限)

hadoop111: ERROR: Unable to write in /opt/module/hadoop-3.1.4/logs. Aborting.
Starting datanodes
hadoop111: ERROR: Unable to write in /opt/module/hadoop-3.1.4/logs. Aborting.
hadoop112: datanode is running as process 10105.  Stop it first.
hadoop113: datanode is running as process 19312.  Stop it first.
Starting secondary namenodes [hadoop113]
hadoop113: secondarynamenode is running as process 19380.  Stop it first.
[hadoop101@axcmsm111 hadoop-3.1.4]$ sudo chown hadoop101:hadoop101 ./logs
[hadoop101@axcmsm111 hadoop-3.1.4]$ sudo chown hadoop101:hadoop101 ./data

没看用户一直用root搞冲突了 改一下所有者 ,给我整迷糊了。

弄完然后又出现了另一个权限问题。。。

Starting namenodes on [hadoop111] 
hadoop111: /opt/module/hadoop-3.1.4/libexec/hadoop-functions.sh:行1842: /tmp/hadoop-hadoop101-namenode. pid: 权限不够 
hadoop111: ERROR:  Cannot write namenode pid /tmp/hadoop-hadoop101-namenode.pid.

然后继续改权限

[hadoop101@axcmsm111 tmp]$ sudo chown hadoop101:hadoop101 /tmp/hadoop-hadoop101-namenode.pid 

好了,当我以为搞完了,启动时突然发现。

然后我的一个namenode没起来,然后又一直折腾好像没找出来问题,然后我又重装了一遍。发现配置hdfs-site.xml配错了个数字...

第一次搭建,搭了三次。好家伙!

这套操作下来让下次搭建时不熟悉都不行. 最后还有一点是要对配置文件细心一点拉。 啊! 我为什么用绿色?当然是为要保护眼睛拉!
经验分享 程序员 微信小程序 职场和发展