windows下搭建hadoop+eclipse开发环境
我的环境:windows8+hadoop1.1.2+eclipse4.3(linux为centerOS6.4)
实现步骤
- 下载eclipse、hadoop,提取hadoop中的hadoop-eclipse-plugin-1.1.2.jar将其拷贝到eclipse中的plugins中(注 :如果没有找到hadoop-eclipse-plugin-1.1.2.jar,可以到网上下载对应的版本,也可以使用ant编译工具编译一个,此处不讲解怎样编译)
- 启动eclipse,添加hadoop的路径
- 打开mapReduce视图
- 如图
- 新建New Hadoop location
- 编辑连接属性
- 完成配置,显示连接信息
- 如图(只有hadoop集群启动了才能连接成功哦)
- 连接成功!可以新建项目了咯
- 如图
- 至此配置已完成!
注:
下载eclipse、hadoop,提取hadoop中的hadoop-eclipse-plugin-1.1.2.jar将其拷贝到eclipse中的plugins中(注 :如果没有找到hadoop-eclipse-plugin-1.1.2.jar,可以到网上下载对应的版本,也可以使用ant编译工具编译一个,此处不讲解怎样编译) 启动eclipse,添加hadoop的路径 打开mapReduce视图 如图 新建New Hadoop location 编辑连接属性 完成配置,显示连接信息 如图(只有hadoop集群启动了才能连接成功哦) 连接成功!可以新建项目了咯 如图 至此配置已完成! 注: Location Name:可以任意其,标识一个"Map/Reduce Location" Map/Reduce Master Host:192.168.0.9(Master.Hadoop的IP地址, 与linux集群的mapred-site.xml文件中配置的一样) Port:9001 (与linux集群的mapred-site.xml文件中配置的一样) · DFS Master Use M/R Master host:前面的勾上。(因为我们的NameNode和JobTracker都在一个机器上。) Port:9000(与linux集群的core-site.xml文件中配置的一样) 注意:hadoop集群的linux机器必须开9000和9001端口
Location Name:可以任意其,标识一个"Map/Reduce Location"
Map/Reduce Master Host:192.168.0.9(Master.Hadoop的IP地址, 与linux集群的mapred-site.xml文件中配置的一样) Port:9001 (与linux集群的mapred-site.xml文件中配置的一样)
· DFS Master Use M/R Master host:前面的勾上。(因为我们的NameNode和JobTracker都在一个机器上。) Port:9000(与linux集群的core-site.xml文件中配置的一样)
注意:hadoop集群的linux机器必须开9000和9001端口
注: Location Name:可以任意其,标识一个"Map/Reduce Location" Map/Reduce Master Host:192.168.0.9(Master.Hadoop的IP地址, 与linux集群的mapred-site.xml文件中配置的一样) Port:9001 (与linux集群的mapred-site.xml文件中配置的一样) · DFS Master Use M/R Master host:前面的勾上。(因为我们的NameNode和JobTracker都在一个机器上。) Port:9000(与linux集群的core-site.xml文件中配置的一样) 注意:hadoop集群的linux机器必须开9000和9001端口