首页 > 代码库 > 使用Vagrant搭建Hadoop集群踩过的坑
使用Vagrant搭建Hadoop集群踩过的坑
最近使用Vagrant搭建了一个有3台主机的Hadoop集群,使用的是Cloudera Manager来管理,最初在我的笔记本上虚拟了4台主机,一台最为cloudera Manager Server,其他几台运行cloudera Manager Agent,在本机运行正常后,发现内存占用太厉害,我打算迁移两台运行Agent的到另外一台工作电脑,于是使用Vagant Package打包,并在另外一台机器上Vagrant Box Add和Vagrant up,启动后,登录cloudera manager管理界面查看,结果发现迁移的两台主机找不到,而不停的刷新页面的话,显示是原来运行Agent的三台机器,除vm-cluster-node1外,另外一个主机刷新一次便在node2,node3和node4之间轮流出现,而不能4台机器同时出现,初步怀疑是因为用node1进行的package,所以agent已经包含为node1的agent配置信息。
于是我运行一下脚本将node3和node4中的agent service都删除了
1 sudo /usr/sbin/service cloudera-scm-agent hard_stop_confirmed2 sudo apt-get purge ‘cloudera-manager-*‘3 sudo apt-get clean
然后从cloudera manager管理界面重新加入node3和node4,在加入之前,我又把清理掉agent的机器又从新package,希望能以后重复利用
重新加入的过程又很漫长,得下载400多M的manager agent包,能有朋友遇到同样问题吗?如何能够不卸载包,只修改配置使迁移成功??
使用Vagrant搭建Hadoop集群踩过的坑
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。