windows下搭建hadoop+eclipse开发环境

我的环境:windows8+hadoop1.1.2+eclipse4.3(linux为centerOS6.4)

实现步骤

  1. 下载eclipse、hadoop,提取hadoop中的hadoop-eclipse-plugin-1.1.2.jar将其拷贝到eclipse中的plugins中(注 :如果没有找到hadoop-eclipse-plugin-1.1.2.jar,可以到网上下载对应的版本,也可以使用ant编译工具编译一个,此处不讲解怎样编译)
  2. 启动eclipse,添加hadoop的路径
  3. 打开mapReduce视图
  4. 如图
  5. 新建New Hadoop location
  6. 编辑连接属性
  7. 完成配置,显示连接信息
  8. 如图(只有hadoop集群启动了才能连接成功哦)
  9. 连接成功!可以新建项目了咯
  10. 如图
  11. 至此配置已完成!
注:

Location Name:可以任意其,标识一个"Map/Reduce Location"

Map/Reduce Master Host:192.168.0.9(Master.Hadoop的IP地址, 与linux集群的mapred-site.xml文件中配置的一样) Port:9001 (与linux集群的mapred-site.xml文件中配置的一样)

· DFS Master Use M/R Master host:前面的勾上。(因为我们的NameNode和JobTracker都在一个机器上。) Port:9000(与linux集群的core-site.xml文件中配置的一样)

注意:hadoop集群的linux机器必须开9000和9001端口

注: Location Name:可以任意其,标识一个"Map/Reduce Location" Map/Reduce Master Host:192.168.0.9(Master.Hadoop的IP地址, 与linux集群的mapred-site.xml文件中配置的一样) Port:9001 (与linux集群的mapred-site.xml文件中配置的一样) · DFS Master Use M/R Master host:前面的勾上。(因为我们的NameNode和JobTracker都在一个机器上。) Port:9000(与linux集群的core-site.xml文件中配置的一样) 注意:hadoop集群的linux机器必须开9000和9001端口
下载eclipse、hadoop,提取hadoop中的hadoop-eclipse-plugin-1.1.2.jar将其拷贝到eclipse中的plugins中(注 :如果没有找到hadoop-eclipse-plugin-1.1.2.jar,可以到网上下载对应的版本,也可以使用ant编译工具编译一个,此处不讲解怎样编译) 启动eclipse,添加hadoop的路径 打开mapReduce视图 如图 新建New Hadoop location 编辑连接属性 完成配置,显示连接信息 如图(只有hadoop集群启动了才能连接成功哦) 连接成功!可以新建项目了咯 如图 至此配置已完成! 注: Location Name:可以任意其,标识一个"Map/Reduce Location" Map/Reduce Master Host:192.168.0.9(Master.Hadoop的IP地址, 与linux集群的mapred-site.xml文件中配置的一样) Port:9001 (与linux集群的mapred-site.xml文件中配置的一样) · DFS Master Use M/R Master host:前面的勾上。(因为我们的NameNode和JobTracker都在一个机器上。) Port:9000(与linux集群的core-site.xml文件中配置的一样) 注意:hadoop集群的linux机器必须开9000和9001端口
经验分享 程序员 微信小程序 职场和发展