首页 > 代码库 > win系统下的eclipse连接和使用linux上的hadoop集群
win系统下的eclipse连接和使用linux上的hadoop集群
准备工作
先在win系统的hosts文件中加入下面内容
10.61.6.164master //hadoop集群的master节点
一、首先在eclipse上安装hadoop插件
下载hadoop-eclipse-plugin-1.1.2.jar。将其复制到eclipse 安装文件夹下的plugins,再启动eclispe。这时在eclipse的File/New/other下会看到一下的内容,证明插件成功安装
二、在Window/show view/other里打开Map/Reduce Locations
打开后会有下图所看到的的窗体。点击右側的紫色小象
会弹出下图所看到的的窗体
然后配置你的连接信息:
Location name:自己能够定义为不论什么名字
Host:是你的hadoop集群的master节点的ip地址
Port:必需按上图配置,当然假设你配置hadoop集群时将默认port换了,此处则为你自己改动的port号
配置完以后会在左側文件夹栏里看到
三、配置程序执行參数(你的项目必需是mapreduce项目,而且已经加入hadoop里的全部jar包)
先在你的项目下建立一个in文件夹,并将data数据文件复制到当中,再将你的项目导出问jar文件。然后在你的项目的main函数里加入下面代码
conf.set("mapred.jar", "E://FreqItemSet.jar");//mapred.jar不能更改
右击你的项目。选择Run as/Run Configurations
点击Arguments
在里面加入上图中的内容
Lee 文件在HDFS上的存储路径<dfs_path>
in/data 输入文件(本地路径)<input>
3 项集的大小k
1 支持度阈值<spt_dg>
out 输出文件<本地路径><output>
点击ok你的项目就可以连接和使用你的hadoop集群了
win系统下的eclipse连接和使用linux上的hadoop集群