首页 > 代码库 > 【HA】RHCS + IB + ISCSI+ext4/gfs2

【HA】RHCS + IB + ISCSI+ext4/gfs2

封装虚拟机BASE(母机):
 1. 删除自启动项 /etc/udev/rules.d/70-persistent-net.rules  这样网络设备就为eth0,而不是eth1
 2. 更改网络配置文件  vi /etc/sysconfig/selinux   设置为不启用
 3. 禁止网络功能    chkconfig iptables off
    3.1 网络启动方式:/etc/init.d/iptavlesstop|start|restart
                      service iptablesstop|start|*
 4.配置 yum源并下载ssh
 5.更改名称 hostnameXXX.example.com   文件更改 vi /etc/sysconfig/network
 6.删除ssh公钥          rm -fr/ssh_host_*
 7.删除缓存         rm -fr /tmp/*   rm -fr /var/cache/*
 8.切记 关闭后不再启动

     ***********************************************
一. ****************   HA(高可用架构)  *************
   ************** RHCS + IB  高可用+负载均衡 ************
 *******************************************************

   简介:该高可用构架使用的RHCS套件,其中服务设定为httpd。启用了fence,并使用ISCSI存储。文件共享机制使用的是ext4 或 gfs2,两种方式有操作和演示。在文档中即有原理解释,而且还有细节操作。


(一)

1.          M
          /   \
         /     \
        /       \
 HA1  <--------->  HA2

1.配置好yum,通过iso(rhel6.5)将yum中的组件,Server,HighAvailability,LoadBalancer,ResilientStorage,ScalableFileSystem,写入yum源。 【每个集群机器都要 配置好,包括管理机】

      [Server]
    name=Red Hat Enterprise LinuxServer
    baseurl=http://172.25.254.251/pub/rhel6.5
    enabled=1
    gpgcheck=0

      [HighAvailability]
    name=Red Hat Enterprise LinuxHighAvailability
    baseurl=http://172.25.254.251/pub/rhel6.5/HighAvailability
    enabled=1
    gpgcheck=0


      [LoadBalancer]
    name=Red Hat Enterprise LinuxLoadBalancer
    baseurl=http://172.25.254.251/pub/rhel6.5/LoadBalancer
    enabled=1
    gpgcheck=0
    
     [ScalableFileSystem]
    name=Red Hat Enterprise LinuxScalableFileSystem
    baseurl=http://172.25.254.251/pub/rhel6.5/ScalableFileSystem
    enabled=1
    gpgcheck=0
   
     [ResilientStorage]
    name=Red Hat Enterprise LinuxResilientStorage
    baseurl=http://172.25.254.251/pub/rhel6.5/ResilientStorage
    enabled=1
    gpgcheck=0

2. 集群机 HA1,HA2
   (1)下载 yuminstall -y ricci
   (2)设置 ricci 密码,ricci端口(11111)
   (3)启动服务/etc/init.d/ricci  start;    chkconfig ricci on
   (4)clustat 命令可以查看 集群上的运行点

3. 管理机
   (1)下载 yuminstall -y luci(8084)
   (2)启动luci
        使用Conga 管理
4. 域名对应 写在/etc/hosts中  (把所用的HA1,HA2,管理机的ip和hostname相对性)
   172.25.254.161  server1.example.com
   172.25.254.162  server2.example.com
   172.25.254.163  server3.example.com
   172.25.254.60   foundation60.ilt.example.com
5. 用浏览器访问管理机的8084端口
   https://server3.example.com:8084
     (1)用root用户登录
         (2)create集群,把HA1,HA2添加进去  (在创建HA1,HA2用的是相应 ricci 的密码)
6.所有的操作都在文件记录下
    /etc/cluster/cluster.conf

(二)配置Fence守护进程属性
    Fence守护程序,防止Storage(存储)损坏,由于机群中某节点异常,处于不能完全断开网络转入其它节点的状态。至此,添加Fance,防止节点异常影响Storage发生错误崩溃。
1.在Fance Devices中添加 Fencevirt(Multicast Mode)(虚拟Fence多波设备),并且添加相应的名称。
   设置的信息会自动载入/etc/cluster

2.在主机上下载fence软件,即用来控制虚拟机的状态
   基本软件: fence-virtd-multicast-0.3.2-2.el7.x86_64
           fence-virtd-libvirt-0.3.2-2.el7.x86_64
           fence-virtd-0.3.2-2.el7.x86_64

3.初始化 fence_virtd -c      【其它的默认,但在网络设备设置时使用主机的话就要设置 br0】

4.开启服务 libvirtd 和 fence_virtd

5.在主机中创建 /etc/cluster  目录。
  制作一个 key 发送给自己的 HA1 和 HA2,以保护 HAcluster
   dd if=/dev/urandomof=/etc/cluster/fence_xvm.key bs=128 count=1

6.着手在 HA1 和 HA2 中添加 fence设备,分别命名为 fence-1,fence-2。

7.查看虚拟机的 uuid 并且写入Add FenceDevice 信息中。
    查看uuid的方法,(1)打开虚拟管理软件 查看虚拟机信息
                  (2)virsh list --uuid   (应该是按照启动的机器顺序所显示的)
  【切记添加完成之后 重启fence_virtd 服务】

8.关闭节点机器方式 fence_node + 主机名称
  fence_node server1.example.com

 (三)Add FailoverDomain to Cluster  添加机群机组
   Prioritized     优先级
  
   Restricted      只在指定节点切换
  
   NO Failback     (恢复回切)[节点fence启动后,是否将服务换回来]
  
   Run Exclusive   独占(上面只能运行一个服务)
  
   启动:先启动IP 再启动服务,若是启动服务里有存储,先启动存储再启动服务。

 (1) 填写名称,
      勾选,Prioritized(数字越小越高,正整数),Restricted,NO Failback。
      却认选择节点,并且设置优先级。

(四)Add Resource to Cluster,向集群添加资源
    (1)添加 IP Address和掩码,  添加同网段IP。选择sleep重启时间(小点也可以)。
    (2)添加服务,(测试选择 Script),在节点上下载(httpd服务),
         Name:httpd
         Full Path to ScriptFile:/etc/init.d/httpd
  (5)Add Service Group to Cluster,添加服务
              Name : web
     ~Service(自启): 勾选
   ~Exclusive(独占): 勾选
           ~Domain:webfail
      ~Policy(策略):Relocate 

     【在下面的添加里 再添加自己设定的 *IP 和 *服务】
    *用命令在有服务的节点中启动  clusvcadm -e web  [关闭命令是 -d]
 
 (6)测试,在节点中写 .html 文件,看浏览器访问到的内容;人为停止服务,测试fence是否其效果,切换时长等。
     方法: echo c> /proc/sysq-trigger   用夯主服务器的方式使得fence起效果,并查看集群是否成功切换节点服务。
 

(五)增加 ISCSI存储
   (1)在管理机上添加一个虚拟存储设备
   (2)在管理机上:yum install -y scsi-target-utils.~
         节点机上:yuminstall -y iscis-initiator-utils.~
   (3)在管理机/etc/tgt/targets.conf 配置文件,并开启/etc/init.d/tgtd 服务。
             38 <target iqn.2017-02.com.example:server.target1>
             39     backing-store /dev/vdb
         40    initiator-address 172.25.254.161
             41     initiator-address 172.25.254.162
             42 </target>   
      测试:tgt-admin-s    [查看,载入配置文件信息]   
   (4)在节点机上,iscsiadm -m discovery -t st -p172.25.254.163,同步163机上分享的设备块。
        iscsiadm -m node -l   连接到分享的设备节点上,供其使用
   (5)创建存储(LVM)分区在一个节点机上  fdisk -cu /dev/sda,在分区类型选择时,选择8e(LVM类型)。
   (6)需要在两台节点机都同步分区表(partprobe),并且可以 cat /proc/partitions 可以查看设备是否同步。
(六)在ISCSI上面附加Apache服务,存储方式位ext4,使用clvmd,自动挂载
     (1)/etc/init.d/clvmd status    (这个应该在上述操作中默认开启)
     (2)/etc/lvm/lvm.conf    (其中类型变成3)
     (3)制作lvm(一个节点机就可):
             pvcreate /dev/sda1 (pvs查看)
             vgcreate clustervg /dev/sda1(vgs查看)
             lvcreate -L 4G -n demo clustervg (lvs查看)
             mkfs.ext4/dev/clustervg/demo
     (4)Add Resource to Cluster
                  添加: Filesystem
                  Name: webdate
                ~ Type:ext4
           MountPoint:/var/www/html
              ~or UUID:/dev/clustervg/demo
             ..
~ Unmount(允许强制卸载):勾选
             ..
              ~ Checks:勾选
              ~ Fails :勾选          
      (5)关闭服务,并把Filesystem加入策略中,先加入这个存储(webdate),再加入服务(Script)
          clusvcadm -d web   关闭服务
          clusvcadm -e web   开启服务
      (6)做切换节点机测试(查看服务是否可以在两个节点机同时进行)
         1.在此之前你可以在挂载点 写一个index.html文件
     2.切换命令    clusvcadm -r web -mserver2.example.com
      (7)LVM扩容文件系统
          lvextend -L +4G/dev/clustervg/demo
          resize2fs /dev/clustervg/demo

 (七)在机群上使用gfs2(共享文件系统)做存储
      (1)首先关闭服务
      (2)在Service Groups中 移除Filesystem,并且在 Resources 中 删除webdate
      (3)卸载并移除lvremove /dev/clustervg/demo,将其制作为gfs2文件系统(所用协议为:lock_dlm;日志为3个,日志个数=集群节点+1,名称=集群名称+文件系统名)
             mkfs.gfs2 -p lock_dlm -j 3-t hxl_HA:mygfs2 /dev/clustervg/demo
       (4)两台机器都挂载: mount /dev/clustervg/demo /mnt/
          确保开启clvmd服务。
          开机自动挂载(/etc/fstab)【网络文件类型:_netdev】
              /dev/clustervg/demo     /var/www/html   gfs2   _netdev 0 0
       (5)测试,在此挂载点/mnt/写的文件 两个节点机 是相同的。
          关闭web。
          gfs2_tool sb/dev/clustervg/demo all  [查看信息]
          gfs2_tool journals/dev/clustervg/demo [查看日志信息]
          gfs2_jad -j 3/dev/clustervg/demo [再添加3个日志文件]
          mount -a [重新加在]
          df -h [查看,近尺寸单位有问题]
         这个文件系统也支持 lvextend扩充,用gfs_grow扩充 




【常见问题归纳】
1.tgt首先启动在管理机上 , 这样集群的 iscsi(iscsid是它的后台系统)才能起来。
2.cman即是“心跳传递(corosync)”  
    corosync -> heartbeat v1 v2 v3keepalived(vrrp协议) [“心跳版本”]

【总结】
1.cman(corosync)    (ccsd保证配置文件一至)/etc/cluster/cluster.conf
2.存储iscsi,文件系统 afs2,ext4
3.fence
4.faildomain(故障切换域)

CCS命令 也可以命令操作配置文件的更改(详情请看RedHat6.5 Cluster官方文档)。




 


本文出自 “千年之树,修得一木” 博客,请务必保留此出处http://onehxl.blog.51cto.com/12099672/1899144

【HA】RHCS + IB + ISCSI+ext4/gfs2