首页 > 代码库 > mogilefs详解

mogilefs详解

分布式:

分布式存储或分布式文件系统的概念:

多台计算机每一台提供一定的存储空间存储数据,通过元数据服务器将数据均匀的存储在各个节点上

元数据:描述数据的数据,主要是描述数据属性,用来支持如指示存储位置、资源查找、文件记录等功能

分布式文件系统:可以直接挂载在系统上进行访问

分布式存储:只能通过API进行访问

有元数据节点服务器:元数据节点存储元数据,数据节点存储数据

无元数据节点服务器:每个数据节点保存完整的元数据和部分数据

常见软件:

GFS:google file system

HDFS:Hadoop file system

TFS:taobao(淘宝) file system

ceph:linux内核中实现的分布式文件系统

MooseFS:轻量级分布式文件系统

MogileFS:轻量级分布式文件系统,比moosefs的性能高


MogileFS

MogileFS有3个组件:


Tracker:是文件系统集群的核心节点,基于数据库保存元数据,主要用于监控、指示storage节点完成数据的添加、删除、查询,及节点之间数据的复制等,Tracker节点通常有多个,以实现负载均衡和高可用

storage:实际存储数据的位置,能完成文件创建、删除、重命名等操作

database:存储Tracker节点的元数据及全局信息


实现原理: 在MogileFS中,每一个数据块都会有多个副本,存放于多个storage上(一般是3份),在Tracker上会分别每一个数 据块的存储位置。若某个storage节点不在线了,客户端向Tracker节点请求获取数据时,Tracker节点会返回副本的存储位置给客户端。这样就保证了整个集群高可用性。当有数据存储至某一storage节点后,各storage节点会根据Tracker的指示通过节点间通信将副本发送至其他节点上。若某一storage下线了,该节点上的副本会由其他节点重新提供,保证副本的个数不少于指定的值



安装配置:

环境准备:
	[epel]					
	nama=epel package
	baseurl=http://mirrors.aliyun.com/epel/6/x86_64/	#阿里yum源
	gpgcheck=1
	enabled=1
	gpgkey=http://mirrors.aliyun.com/epel/RPM-GPG-KEY-EPEL-6
		
	yum -y install Perlbal				#安装perl包管理工具
	yum -y install perl-DBI				#安装其他依赖包
	yum -y install perl-DBD-MySQL			#连接数据库模块
	yum -y install perl-Danga-Socket
	yum -y install perl-IO-AIO
	yum -y install perl-Net-Netmask
	yum -y install cpan				#perl模块管理工具
	yum -y install mysql mysql-server		#安装数据库
	
	cpan		#第一次使用perl包管理工具需要输入yes进行环境配置
		cpan[1]> install MogileFS::Client   #使用cpan安装MogileFS::Client
		cpan[1]> install MogileFS::Utils
安装mogilefs:
   wget http://search.cpan.org/CPAN/authors/id/D/DO/DORMANDO/MogileFS-Server-2.44.tar.gz    
	tar zxvf MogileFS-Server-2.44.tar.gz -C /usr/src/
	cd /usr/src/MogileFS-Server-2.44
	perl Makefile.PL 		#检查环境	
	make && make install		#编译  安装
配置mysql数据库:
	chkconfig --add mysqld
	chkconfig mysqld on
	service mysqld start			#启动mysql
	mysqladmin -uroot password 123.com	#设置root密码
	mysql -uroot -p			        #连接数据库
	   create database mogilefs;	       	#创建数据库
	   grant all on mogilefs.* to ‘mogilefs‘@‘192.168.%.%‘ identified by ‘456.com‘;	
	       #授权用户
	   flush privileges;
         mogdbsetup --dbhost=192.168.0.10 --dbrootpass=‘123.com‘ --dbuser=mogilefs --dbpass=‘456.com‘
		 --dbhost=	     	#数据库地址,默认为localhost
		 --dbport=	       	#端口,默认3306
		 --dbname=		#连接的库名,默认mogilefs
		 --dbrootuser=		#初始化库的用户,默认root
		 --dbrootpass=	        #root的密码,默认为空
		 --dbuser=	        #连接初始化库的用户,默认mogilefs
		 --dbpass=      	#初始用户的密码,默认为空


配置mogilefs:
	useradd -r mogilefs			#创建运行用户,mogilefs不能以root用户运行
	mkdir /etc/mogilefs		
	mkdir /var/run/mogilefsd		#pid文件存放位置
	vim /etc/mogilefs/mogilefsd.conf 	#创建配置文件
		pidfile = /var/run/mogilefsd/mogilefsd.pid	#pid文件位置
		db_dsn = DBI:mysql:mogilefs:host=192.168.0.10;port=3306;mysql_connect_timeout=5   
		     #连接数据库的信息
		daemonize = 1		    #运行为守护进程
		db_user = mogilefs          #数据库上的用户名
		db_pass = 456.com 	    #用户名对应的密码
		listen = 0.0.0.0:7001       #监听的地址和端口
		conf_port = 7001 
		query_jobs = 10             #用于查询的进程数
		delete_jobs = 1             #用于删除操作的进程数
		replicate_jobs = 5          #用于复制的进程数
		reaper_jobs = 1             #用于回收资源的进程数
	
	chown -R mogilefs:mogilefs /etc/mogilefs	    #修改属主属组
	chown -R mogilefs:mogilefs /var/run/mogilefsd		
	su - mogilefs -c "mogilefsd -c /etc/mogilefs/mogilefsd.conf --daemon"	
	    #启动服务
	ss -tnl	| grep 7001			#查看服务是否启动	
storage配置:安装和Tracker一样的包,如果不作为Tracker则不需要配置安装数据库
	useradd -r mogilefs		#创建运行用户
	mkdir -pv /mogilefs/data/dev1  #创建数据存储目录,dev1必须有代表第一个storage的设备
	mkdir /etc/mogilefs	
	vim /etc/mogilefs/mogstored.conf 
		maxconns = 1000               #最大并发连接数
		httplisten = 0.0.0.0:7500     #http监听的地址
		mgmtlisten = 0.0.0.0:7501     #管理接口监听地址
		docroot = /mogilefs/data      #用于存储的目录
	
	chown -R mogilefs:mogilefs /etc/mogilefs    #修改属主属组
	chown -R mogilefs:mogilefs /mogilefs/	
	su - mogilefs -c "mogstored -c /etc/mogilefs/mogstored.conf --daemon"
	        #启动服务
	ss -ntl | grep 7500 
	ss -ntl | grep 7501
mogilefs管理:	
	mogadm check			#检查状态
	mogadm device list		#查看各节点设备情况
	mogadm host list		#查看各节点情况
	mogadm host add 192.168.0.10 --ip=192.168.0.10 --status=alive	
	        #添加节点,192.168.0.10标示名称
	mogadm host add 192.168.0.50 --ip=192.168.0.50 --status=alive		
	        #添加节点,192.168.0.50标示名称
	mogadm device add 192.168.0.10 1		#添加第一个节点
	mogadm device add 192.168.0.50 2		#添加第二个节点
	mogadm domain list			#查看域
	mogadm domain add www			#添加www域
	mogadm --trackers=192.168.0.10:7001 class add www user --mindevcount=2	
	#在www域内添加user类,mindevcount:最小复制文件的份数  replpolicy :复制份数
		
	mogupload --trackers=192.168.0.10:7001 --domain=www --key=‘pwd‘ --file=‘/etc/passwd‘
		#上传文件  key:上传保存位置,以dev为根   file:本地文件
	mogfileinfo --trackers=192.168.0.10:7001 --domain=www --key=‘pwd‘  #查看文件
	moglistkeys --trackers=192.168.0.10 --domain=www		#列出所有key


配置实例:

实验环境:centos6.5
    192.168.0.10  Nginx  	 192.168.0.20  mysql
    192.168.0.30  mogilefs   192.168.0.40  mogilefs  192.168.0.50  mogilefs
		
  1、配置mogilefs:
    mogadm --trackers=192.168.0.30 host add 192.168.0.30 --ip=192.168.0.30 --status=alive
    mogadm --trackers=192.168.0.30 host add 192.168.0.40 --ip=192.168.0.40 --status=alive
    mogadm --trackers=192.168.0.30 host add 192.168.0.50 --ip=192.168.0.50 --status=alive
    mogadm domain add www
    mogupload --trackers=192.168.0.10:7001 --domain=www --key=‘pwd‘ --file=‘/etc/passwd‘
			
			
    2、编译安装nginx:
	groupadd -r nginx
	useradd -r -g nginx nginx
	yum -y install pcre-devel
	tar zxvf nginx-1.8.1.tar.gz -C /usr/src/		
	tar zxvf nginx_mogilefs_module-1.0.4.tar.gz -C /usr/src/   #支持mogilefs的第三方模块
	 ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --add-module=/usr/src/nginx_mogilefs_module-1.0.4/
	--add-module:指定第三方模块位置
	make && make install
		
    3、配置nginx:
	http {
	    include       mime.types;
	    default_type  application/octet-stream;
	
	    upstream mogfs{			#tracker地址
	        server 192.168.0.30:7001;
		server 192.168.0.40:7001;
		server 192.168.0.50:7001;
		} 

	    sendfile        on;
	    keepalive_timeout  65;

	    server {
		    listen       80;
		    server_name  localhost;

		    location /img/ {    	#启用mogilefs集群
		        mogilefs_tracker mogfs;    #tracker地址
			    mogilefs_domain www;	#指定域
			    mogilefs_noverify on;	#不做校验
			    mogilefs_methods GET;	#请求方法
					
			    mogilefs_pass {
			        proxy_pass $mogilefs_path;
			            #必须这样写,$mogilefs_path模块内置变量	
				proxy_hide_header Content-Type;		
			            #隐藏Content-Type
				proxy_buffering off;		#关闭缓存
				}
			}   
		}
	}

		4、验证
			1、访问http://192.168.0.10/img/pwd
			2、关闭192.168.0.30继续访问,查看访问是否正常		




本文出自 “自动化运维” 博客,请务必保留此出处http://hongchen99.blog.51cto.com/12534281/1923213

mogilefs详解