首页 > 代码库 > eclipse下hadoop应用开发有感
eclipse下hadoop应用开发有感
最近在学习hadoop,首先通过网上大把的教程搭建好了完全分布式环境,在分布式环境上运行wordcount也成功,接下来就打算自己写mr来处理实际的业务了,在真正的开发开始之前首先要搭建好开发环境啊,所以就想到了eclipse,可接下来遇到了好多的问题:
1、首先是考虑到找一个hadoop的插件,安装好后可以直接建立mr工程也可以运行,可是没想到在windows下用hadoop的插件配合进行开发,可是遇到的2个问题是对应版本的插件比较难找,自己编译也比较麻烦,但是如果可以自己编译成功那是最好;后来自己就安装了一台ubuntu的桌面版,然后在这台服务器上安装了eclipse,但是由于插件问题,安装完插件不能建立连接。
2、不能用插件,也不用windows环境后,我在linux下的eclipse下自己新建立了java工程导入了所有的包和服务器端的配置文件,但是发现自带的wordcount可以运行,自己写的mr程序就运行不了,后来才发现是自己对于远程开发和调试理解的不对,要想运行mr首先要把他打包成jar然后上传到分布式环境中然后才可以在eclipse上运行,查看运行日志等。主要是参考了下面这篇文章
http://qindongliang1922.iteye.com/blog/2036619
本文出自 “seavar” 博客,请务必保留此出处http://4397407.blog.51cto.com/4387407/1435289
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。