首页 > 代码库 > Hadoop在eclipse中的配置
Hadoop在eclipse中的配置
在安装完linux下的hadoop框架,实现完所现有的wordCount程序,能够完美输出结果之后,我们开始来搭建在window下的eclipse的环境,进行相关程序的编写。
在网上有很多未编译版本,需要手动进行相关编辑,所以特地找了一个已经编译完好的插件
eclipse版本:SR2-kepler
java版本:1.8.101
Hadoop 版本:hadoop2.5.2.tar.gz
需要hadoop的插件:eclipse-hadoop-2.5.2-plugin http://pan.baidu.com/s/1qYMtefq
安装步骤:
一、首先将hadoop-2.5.2.tar.gz解压,作为Hadoop的安装目录。
设置Hadoop的环境变量。在环境变量中,添加HADOOP_HOME=安装目录,然后在PATH的变量中增加%HADOOP_HOME%\bin
二、修改电脑中hosts文件。
进入到c:/window/system32/drive/etc 文件夹中,可以找到hosts文件。在hosts文件中添加相关的IP设置(主要是虚拟机的IP地址,进行相关的配置,可以将文件进行互相传递)
三、讲下载的hadoop插件复制到eclipse安装目录中的plugin文件夹中,重启eclipse,然后打开window->preferences中可以看到增加了Hadoop mapreduced的选项。结果如图所示:
点击该选项后,出现右侧内容,添加hadoop的安装路径。
四、进行hadoop在eclipse中的相关端口配置。
点击window->open perspective->other中,出现如下内容:
点击Map/Reduce,之后eclipse中的右侧边栏中,会出现DFS locations的选择,然后左键,之后在下方的控制栏中会出现一个Map/Reduced location的控制窗口,点击,在控制窗口下方右键,创建new hadoop location,
出现如图所示的编辑配置,然后填入你在hadoop中的配置的IP地址和端口号。
直到现在,所有的有关的eclipse的配置已经完成。如果在DFS location 中显示了原有Hadoop集群上的文件个数,那么说明连接是成功,如果没有出现,说明连接是失败的,需要进行相关的查询。纠正错误。
下面需要进入测试阶段。
①、创建新的项目
选择Map/Reduce Project项目,进行相关的项目创建。
Hadoop在eclipse中的配置