首页 > 代码库 > Hadoop Job 按组分资源池执行的方式

Hadoop Job 按组分资源池执行的方式

 hive在生产环境中由于用户数量和身份的不同,难免会对用户按组进行划分,根据不同组的优先级划分hadoop资源,hadoop fairscheduler支持按用户组划分资源池,每个group对应一个组pool,然后根据pool优先级划分mapreduce资源,在map-site.xml中添加以下配置即可实现按组划分:

  <property>
    <name>mapred.jobtracker.taskScheduler</name>
    <value>org.apache.hadoop.mapred.FairScheduler</value>
  </property>
  <property>
    <name>mapred.fairscheduler.poolnameproperty</name>
    <value>group.name</value>
  </property>
  <property>
    <name>mapred.fairscheduler.allocation.file</name>
    <value>/home/jjt/platform/config/hadoop/pools.xml</value>
  </property>

在pools.xml中可定义了各个组可分配的资源情况:

<?xml version="1.0"?>
<allocations>
<pool name="web">
  <minMaps>100</minMaps>
  <minReduces>50</minReduces>
  <maxMaps>20</maxMaps>
  <maxReduces>20</maxReduces>
  <weight>10.0</weight>
  <minSharePreemptionTimeout>300</minSharePreemptionTimeout>
</pool>
<pool name="client">
  <minMaps>20</minMaps>
  <minReduces>15</minReduces>
  <maxMaps>400</maxMaps>
  <maxReduces>200</maxReduces>
  <weight>1.0</weight>
  <minSharePreemptionTimeout>300</minSharePreemptionTimeout>
</pool>

</allocations>

这样用户在提交job执行时即可根据所在group从所属的pool获取mapreduce资源,那么hadoop是如何确定用户所属的group呢?

hadoop的core-defauft.xml配置中hadoop.security.group.mapping:

<property>

<name>hadoop.security.group.mapping</name>

<value>org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback</value>

</property>

指明是通过JNI的方式获取用户所属的组,也可以指定value为org.apache.hadoop.security.ShellBasedUnixGroupsMapping通过shell命令id -Gn username的方式获取group.

然而现实中用户可能属于多个组,hadoop默认以返回值中的第一个组作为分配资源的依据,如果我们想指定用户group不是第一个怎么办了?

第一种解决方式是提供自己的id命令,将自己的id所在的PATH路径放在系统id命令PATH之前,让id -Gn username 返回的的第一个组为我们需要的特定组,这种方式相当于覆盖了系统id命令,可能影响系统中依赖id命令的部分。

第二种方式则是修改org.apache.hadoop.security.ShellBasedUnixGroupsMapping.java源码,在代码中对group进行过滤,这种方式需要每次cdh升级时替换hadoop-common.jar,hadoop cdh4.5采用maven管理,本人在编译过程中也遇到一些麻烦。

下载含有源码的cdh4.5 hadoop, 进入src,跳过可能出错的test,执行mvn install -Dmaven.test.skip=true即可进行所有项目的编译,cdh4.5 hadoop RPC依赖于protobuf2.4, 因此需要先安装protobuf2.4。本人在windows下通过Cygwin编译成功,然而替换掉测试环境中Linux 集群上的hadoop-common.jar后,出现了jobtracker无法启动、rpc异常错误,因此还必须在Linux平台上进行编译。

 在Linux上通过源码安装protobuf2.4, 执行  make install 时 出现了错误:

             /usr/bin/ld: /usr/local/lib/libz.a(deflate.o): relocation R_X86_64_32S against `a local symbol‘ can not be used when making a shared object; recompile with -fPIC
             /usr/local/lib/libz.a: could not read symbols: Bad value
             collect2: ld returned 1 exit status
             libtool: install: error: relink `libprotoc.la‘ with the above command before installing it

在挣扎搜索了半天后通过重新安装执行./configure --enable-lib64  --libdir=/usr/lib64 解决了,因为编译系统是64位RedHat Linux。

这样通过以上方式就可以指定hadoop job所属用户组了。




Hadoop Job 按组分资源池执行的方式