安装Hadoop中遇见的问题及解决方法

1.在安装java环境和hadoop解压缩过程中遇见gzip:stdin : not in gzip format 问题

试了多种解压缩方法仍然报错,后来重新下载文件重新解压缩就成功了,应该是文件下载不完整导致的。

2.配置java环境的时候在执行source ~/.bashrc 命令时显示没有权限,后来尝试加上sudo 就执行了

3.安装hadoop后查看hadoop是否可用,执行./bin/hadoop version命令时显示JAVA_HOME is not found 报错,但是java环境是已经配置好了的。

又回头重新执行vim编辑器配置java环境,检查 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162命令是否正确,继续执行source ~/.bashrc使配置生效,再次查询hadoop是否可用。

4.启动hadoop时显示secondrynamenode is running 等报错

这是因为hadoop进程没有关闭导致的,执行 ./sbin/stop-all.sh命令后再执行./sbin/start-dfs.sh即可

5.执行jps命令没有显示namenode

执行jps后如果启动成功会显示namenode datanode 和secondrynode进程,但是现在只有datanode jps和secondrynode ,此时需要删除logs的log文件,执行操作如下:

之后执行格式化hdfs namenode -format

就可以了

经验分享 程序员 微信小程序 职场和发展