首页 > 代码库 > CentOS6.6的ClusterHA下的GFS2

CentOS6.6的ClusterHA下的GFS2

GFS有两种缩写,既然是说centos,Google的就不提了。

说的是Redhat 的GFS(Global File System)

其实就是多个机器,共享同一块磁盘,正式应用来说,比如光纤接入,或者iscsi。

在windows下,同时访问同一块磁盘会出问题,第一个接入的磁盘的机器,写入的文件,其它机器看不见。

Linux的GFS系统就是解决这个问题。

目前GFS已经是GFS2了。

它必须运行在集群下,所以先要搞好一个集群的环境。

先做好2台机器,编写好/etc/hosts文件,域名和IP的两台机器的解析都写入进去。


然后开始安装

之前要把所以机器的防火墙关闭

iptables -F

service iptables save

关闭selinux

vim /etc/sysconfig/selinux

把SELINUX这个项目改成disbaled  SELINUX=disabled


为了简化操作,用ricci操控,每台机器上安装ricci

yum -y install ricci

开机运行

chkconfig ricci on

运行

ricci start

给ricci账户配密码为shenxu

echo shenxu | passwd --stdin ricci

关闭NetworkManager

chkconfig NetworkManager off


安装luci在作为控制界面,只安装一台即可

yum -y install luci

开机运行

chkconfig luci on

通过浏览器访问

https://IP:8084

login:root 密码就是root的

进入界面后点击Manage Clusters点击creat,创建一个新的集群,名字随便这我建立一个叫cluster1214,Use the Same Password for All Nodes这个点击上,Node Name就是每台机器的域名,password就是刚才为ricci设置的密码,刚才设的shenxu,然后选择Download Packages,用最新的嘛,

Reboot Nodes Before Joining ClusterEnable Shared Storage Support也选上

然后ricci就开始安装集群的各个组件cmanrgmanagermodclusterdclvmd,安装完了就会把所有节点的机器都重启。

我刚开始一直都起不来,直接去启动cman失败,提示是NetworkManager问题,stop也不行,后来必须chkconfig NetworkManager off才起动起来。

然后我启动了rgmanagerclvmd,当然查看一下chkconfig --list,看看是否都配置成了自动启动,没有的话手动配置一下。

另外要确认一下cat /etc/lvm/lvm.conf | grep locking_type是不是已经配置成了3,修改fallback_to_local_locking=0,以禁止回写。

看看所有机器的/etc/cluster/cluster.conf 是否已经同步了,正常情况ricci会完成cluster.conf以及 lvm.conf里locking_type的修改,fallback_to_local_locking=0不会改。

没有配置Fence,是个硬件的东西,就是机器失败了给踢出集群去的一个东西,以后再说吧。



下面说一下GFS2文件系统的建立。

我用虚拟机ESXi建立的两个虚拟机,一个硬盘是普通安装系统的,另外一个盘是共享的,追加一个盘,scsi的接口,一定要和第一个盘总线分离,比如第一个是0:0,那么追加的共享盘一定要1:0,然后找到接共享盘的scsi控制器,选scsi的bus共享,可以选虚拟和物理,虚拟的意思是所有要共享的虚拟机都在同一台ESXi上,如果是vcenter控制的多台ESXi,虚拟机分布在多个物理的ESXi上,那么选物理。

在每台机器上fdisk -l看看,是不是都是/dev/sda,或许是sdb,然后在一台机器上

建立物理券

pvcreate /dev/sda

建立名字为gfs2cluster卷组

vgcreate gfs2cluster /dev/sda

看看出来了没

pvs

  PV         VG          Fmt  Attr PSize  PFree
  /dev/sda   gfs2cluster lvm2 a--u  2.00g    0

建立名为gfs2data的逻辑券,并把gfs2cluster卷组加入,分配100%的容量

lvcreate -n gfs2data -l 100%FREE gfs2cluster

查看一下

lvs

  LV       VG          Attr       LSize  Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  gfs2data gfs2cluster -wi-ao----  2.00g
  lv_root  vg_gfs1     -wi-ao---- 13.91g
  lv_swap  vg_gfs1     -wi-ao----  1.60g

查看一下挂载点的名字

ll /dev/mapper/

total 0
crw-rw---- 1 root root 10, 58 Dec 19 23:14 control
lrwxrwxrwx 1 root root      7 Dec 19 23:14 gfs2cluster-gfs2data -> ../dm-2
lrwxrwxrwx 1 root root      7 Dec 19 23:14 vg_gfs1-lv_root -> ../dm-0
lrwxrwxrwx 1 root root      7 Dec 19 23:14 vg_gfs1-lv_swap -> ../dm-1

 gfs2cluster-gfs2data就是刚做出来的

建立gfs2的文件系统

mkfs.gfs2 -j 2 -p lock_dlm -t cluster1214:gfs2data /dev/mapper/gfs2cluster-gfs2data

-j 2是两个节点, -p lock_dlm是锁定方式,cluster1214是集群的名字,gfs2data是逻辑券,好像这个不这么写也可以,重要的是挂在点不能搞错了/dev/mapper/gfs2cluster-gfs2data

clustat看看集群的情况

做一目录,好挂载

mkdir /mnt/gfs2

写入fstab,自动挂载

echo "/dev/mapper/gfs2cluster-gfs2data /mnt/gfs2 gfs2 defaults,noatime,nodiratime,noquota 0 0" >> /etc/fstab

启动gfs2,挂载

service gfs2 start


然后就到/mnt/gfs2下面做个文件看看,在其它机器上是否也能看见,在其它机器上修改了,这边的机器是否能看见修改过的内容。

本文出自 “天才没有那1%是万万不行的” 博客,请务必保留此出处http://xushen.blog.51cto.com/1673219/1884276

CentOS6.6的ClusterHA下的GFS2