Hadoop:INFO mapreduce.Job: Running job
(-1)把Yarn运行的内存搞成8g,4g也行,如果是开的虚拟机,这个好办,如果是用云服务器搭建的,那就换个运存大点的服务器,不想换那就参照(0),上最细致的。
(0)最细致解决办法,涉及到本质,其他都是不让MapReduce运行在Yran上,这个是真正修改了Yran与运行所需要的内存包括物理内存和虚拟内存
参考尚硅谷的Yarn的配置,这个很有用,这里用的是4G的,如果虚拟机或者云服务器是2G的建议等比例缩小
(1)查看所有的结点的NodeManager开启情况
典型代表:
(2)查看所有workers情况
典型代表:
(3)配置yarn-site-xml中的8030 8031 和8032(这三个地址要配置在部署yarn的那台上)
(4)配置yarn的虚拟内存等
典型代表:
(5)把mapred-site-xml中的运行在yarn去掉(治标不治本,此项会把yarn运行情况弄没)
(6)修改Yarn的内存,原理同(4),但是只修改一项
上一篇:
JS实现多线程数据分片下载