首页 > 代码库 > hadoop-ha配置
hadoop-ha配置
HADOOP HA配置
hadoop2.x的ha配置，此文档中描述有hdfs与yarn的ha配置。
此文档的假定条件是zk已经安装并配置完成,其实也没什么安装的。
hdfs ha配置
首先，先配置core-site.xml配置文件：
<property>
在老版本中使用mr1时,还可能使用fs.default.name来进行配置
<name>fs.defaultFS</name>
此处配置的mycluster目前还没有定义，我们需要记住这个值,
这个表示此namenode的nameServiceId,在hdfs-site中定义,此处进行引用
<value>hdfs://mycluster</value>
</property>
接下来，配置当namenode发生切换时的检查方法，当NAMENODE切换时，
需要检查并确保只有一个active节点。
因此会通过SHELL或SSH的方式过去强制中止或执行检查
<property> <name>dfs.ha.fencing.methods</name>此处的可配置值sshfence/shell
<value>sshfence</value></property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_rsa</value>
</property>配置ha连接的zk的连接地址，
<property> <name>ha.zookeeper.quorum</name><value>one.cluster:2181,two.cluster:2181,three.cluster:2181</value>
</property>还可以有如下几个配置：
ha.zookeeper.session-timeout.ms，zk的session超时时间，默认是5000ms
ha.zookeeper.parent-znode，hdfs的ha在zk上的存储路径 ,默认是/hadoop-ha
接下来对hdfs-site.xml进行配置
定义上面提到过的nameserviceid的值，
<property> <name>dfs.nameservices</name>此处对当前配置的ha的nameserviceid进行定义,此处的mycluster中间不能使用"_"线
<value>mycluster</value></property>
接下来定义nameserviceid中需要使用到的namenode的id,
<property> <name>dfs.ha.namenodes.mycluster</name>此处定义了两个namenode的id,也就是需要配置两具namenode,id分别是nn1与nn2
<value>nn1,nn2</value></property>在定义完成需要的namenode id后，
需要针对每一个namenode,定义其相关的rpc,http地址。
如果有启用https,还需要设置https-address
此处的配置通过nameserviceid.namenodeid来进行配置。
<property> <name>dfs.namenode.rpc-address.mycluster.nn1</name><value>one.cluster:8020</value>
</property><property> <name>dfs.namenode.rpc-address.mycluster.nn2</name><value>two.cluster:8020</value>
</property><property> <name>dfs.namenode.http-address.mycluster.nn1</name><value>one.cluster:50070</value>
</property><property> <name>dfs.namenode.http-address.mycluster.nn2</name><value>two.cluster:50070</value>
</property>
接下来配置namenode edits的共享存储，在这里使用QJM来进行配置：
qjm是一个很轻量的进程，可以直接部署到namenode或datanode中。
qjm的默认rpc端口是8485,默认http端口是8480,
可通过配置dfs.journalnode.rpc-address，dfs.journalnode.http-address来修改端口。
qjm必须配置为单数个(N)，可以保证在(N-1)/2个正常运行时，能够正常提供服务。
<property> <name>dfs.namenode.shared.edits.dir</name><value>qjournal://one.cluster:8485;two.cluster:8485;three.cluster:8485/mycluster</value>
</property>配置QJM的存储路径 ：
<property> <name>dfs.journalnode.edits.dir</name> <value>/data/1/dfs/jn</value></property>设置针对此nameserviceid的客户端代理：
client请求时通过nameserviceid来做请求，
nameserviceid解析出对应的active namenode就通过此配置中的java类来完成。
<property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property>
接下来配置namenode的自动故障转换。
<property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value></property>
把配置文件 复制到所有的节点中。这个不能忘呀。
在配置有QJM的节点中启动QJM.
进入hadooop_home/sbin目录
./hadoop-daemon.sh start journalnode
进入hadoop_home/bin目录下，执行./hdfs zkfc -formatZK在zk上进行格式化
对namenode进行format操作：
进入hadoop_home/bin目录，并执行如下命令
执行./hadoop namenode -format -clusteridhacluster命令。
./hdfs namenode-initializeSharedEdits
接下来启动主的namenode, 进入hadooop_home/sbin目录,执行如下命令
./hadoop-daemon.sh start namenode
赶往standby的namenode节点，
进入hadoop_home/bin目录，执行如下命令：
./hdfs namenode -bootstrapStandby
启动standby 的namenode,进入hadooop_home/sbin目录,执行如下命令
./hadoop-daemon.sh start namenode
接下来启动各个datanode节点。
./hadoop-daemon.sh start datanode
最后一步，启动zkfc,自动切换namenode节点的服务。
因为此时两个namenode都是standby的状态，需要启动zkfc来实现切换。
在主namenode与standby的namenode中进行hadoop_home/sbin目录。并执行如下命令
./hadoop-daemon.sh start zkfc
the end.
YARN RM的HA配置
配置yarn中resourcemanager的HA只有在hadoop2.3.x后才引进，
yarn的ha配置相对简单，直接配置yarn-site.xml文件
<property>rm连接失败的重试间隔
<name>yarn.resourcemanager.connect.retry-interval.ms</name> <value>2000</value> </property><property>是否启用ha配置，默认是false.
<name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property><property>启动自动故障转移,默认为false
<name>yarn.resourcemanager.ha.automatic-failover.enabled</name> <value>true</value> </property><property>启用一个内嵌的故障转移，与ZKRMStateStore一起使用。
<name>yarn.resourcemanager.ha.automatic-failover.embedded</name> <value>true</value> </property><property> <name>yarn.resourcemanager.cluster-id</name> <value>rm-cluster</value> </property><property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property><property>配置当前的rm节点，这个地方要注意，在rm1这个机器上时，配置为rm1
在rm2这台机器上时，需要配置为rm2.它们之间通过zk来实现active操作
<name>yarn.resourcemanager.ha.id</name> <value>rm1</value> </property><property> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property><property>HA时，RMStateStore需要配置为这个值。
<name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> </property><property>配置与zk的连接地址
<name>yarn.resourcemanager.zk.state-store.address</name> <value>localhost:2181</value> </property><property> <name>yarn.resourcemanager.zk-address</name> <value>localhost:2181</value></property><!-- RM1 configs --> <property> <name>yarn.resourcemanager.address.rm1</name> <value>host1:23140</value> </property> <property> <name>yarn.resourcemanager.scheduler.address.rm1</name> <value>host1:23130</value> </property> <property> <name>yarn.resourcemanager.webapp.https.address.rm1</name> <value>host1:23189</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm1</name> <value>host1:23188</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address.rm1</name> <value>host1:23125</value> </property> <property> <name>yarn.resourcemanager.admin.address.rm1</name> <value>host1:23141</value> </property><!-- RM2 configs --> <property> <name>yarn.resourcemanager.address.rm2</name> <value>host2:23140</value> </property> <property> <name>yarn.resourcemanager.scheduler.address.rm2</name> <value>host2:23130</value> </property> <property> <name>yarn.resourcemanager.webapp.https.address.rm2</name> <value>host2:23189</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm2</name> <value>host2:23188</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address.rm2</name> <value>host2:23125</value> </property> <property> <name>yarn.resourcemanager.admin.address.rm2</name> <value>host2:23141</value> </property> 启动yarn的各节点，
在主的resourcemanager与standby的resourcemanager中执行
yarn-daemon.sh start resourcemanager
在nodemanager中执行
yarn-daemon.sh start nodemanager