首页 > 代码库 > 阿里云EMR集群初始化后的开发准备工作

阿里云EMR集群初始化后的开发准备工作

    
     前言:EMR的集群使用越来越普遍,但是每一次的集群释放到集群的重新创建,期间总有一些反复的工作需要查询与配置。为方便后续工作查阅,现在对集群初始化后的工作进行大概的梳理如下。
 

step1:  登录阿里云查看集群主节点分配的公网IP

    技术分享
 
技术分享

 

 

step2: 若之前有进行外网访问权限的设置,设置安全组白名单 (while-list)

 
技术分享

 

技术分享

step3:登录EMR节点,更改hadoop用户的登录密码(建议用部署用户进行emr任务的操作,root用户慎用!)

 
 

 
[hadoop@emr-header-1 emr]$ hadoop fs -ls /
 
Found 3 items
drwxr-xr-x   - hadoop hadoop          0 2017-05-20 11:02 /apps
drwxr-xr-x   - hadoop hadoop          0 2017-05-20 16:18 /spark-history
drwxrwxrwx   - hadoop hadoop          0 2017-05-20 11:03 /tmp
 

 
 

step4: 查询或修改集群的配置信息

 
$ ll /etc/emr/
技术分享

 

技术分享
 
$ ll /opt/apps/
 技术分享

 

 
技术分享

阿里云EMR集群初始化后的开发准备工作