Hadoop的三种运行模式(启动模式)

1单机模式(独立模式) -默认情况下Hadoop即为该模式,用于开发和调试 -不对配置文件进行修改 -使用本地的文件系统,而不是分布式的文件系统。 -Hadoop不会启动NameNode(名称节点)、DataNode(用于存储数据)JobTracker、TaskTracker等守护进程、Map和Redu()任务作为同一个进程的不同部分来执行的。 -用于对Map程序的逻辑进行调试,确保程序的正确。

2.伪分布式模式(Pseudo-Distrubuted Mode) -Hadoop的守护进程运行在本机机器上,模拟一个小规模的集群 -Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行,是互相独立的JAVA进程。 -在这种模式下,Hadoop使用的是分布式文件系统,各个作业也是由JobTraker服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使用情况,HDFS输入输出,  以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常用来开发测试Hadoop程序的执行是否正确。 -修改3个配置文件:core-site.xml(Hadoop集群的特性,作用于全部进程及客户端)、hdfs-site.xml(配置HDFS集群的工作属性)、mapred-site.xml(配置MapReduce集群的属性)

3.分布式 略

经验分享 程序员 微信小程序 职场和发展