首页 > 代码库 > Amoeba+Mysql 实现读写分离
Amoeba+Mysql 实现读写分离
About Amoeba
Amoeba可译为阿米巴、变型虫
Amoeba是一个开源项目，致力于Mysq的分布式数据库前端代理层
Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。
Amoeba相当于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。用户需要结合使用MySQL的Replication等机制来实现副本同步等功能
通过Amoeba可以实现数据源的高可用、负载均衡、数据切片等功能
与MySQL官方的MySQL Proxy相比，amoeba配置更方便（基于XML的配置文件，用SQLJEP语法书写规则，比基于lua脚本的MySQL Proxy简单）
Amoeba对底层数据库连接管理和路由实现也采用了可插拨的机制，第三方可以开发更高级的策略类来替代作者的实现，这个程序总体上比较符合KISS原则的思想。
Amoeba主要的解决的问题有：
• 降低 数据切分带来的复杂多数据库结构
• 提供切分规则并降低 数据切分规则 给应用带来的影响
• 降低db 与客户端的连接数
• 读写分离
实验架构图
实验环境
| 主机名 | 操作系统版本 | Mysql版本 | 主机IP | 其他版本说明 |
| lyj1(Master) | Red Hat release 6.5 | Mysql5.6.31 | 10.0.100.201 | |
| lyj2(Slave) | Red Hat release 6.5 | Mysql5.6.31 | 10.0.100.202 | |
| lyj3(Amoeda) | Red Hat release 6.5 | Mysql5.6.31 | 10.0.100.204 | jdk-8u101-linux-i586.tar.gz、amoeba-mysql-1.3.1-BETA.zip |
安装jdk(Amoeba是基于JavaSE1.5开发的因此需要Java环境)
//要看清系统的位数下载对应版本# getconf LONG_BIT32//下载地址http://www.oracle.com/technetwork/java/javase/downloads/index.html# tar xvf jdk-8u101-linux-i586.tar.gz# cp jdk1.8.0_101/ /Amoeba -r# vim /etc/profile export JAVA_HOME=/Amoeba/jdk1.8.0_101 export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH export PATH=$JAVA_HOME/bin:$PATH# source /etc/profile# java -version java version "1.8.0_101" Java(TM) SE Runtime Environment (build 1.8.0_101-b13) Java HotSpot(TM) Client VM (build 25.101-b13, mixed mode)
安装Amoeba
//Amoeba安装非常简单，解压即可使用# mkdir /usr/local/amoede# unzip amoeba-mysql-1.3.1-BETA.zip -d /usr/local/amoeba/# chmod -R +x /usr/local/amoeba/bin/
Amoeba的配置
1. 为Amoeba访问集群中所有Mysql数据库节点新建用户与授权
//注意每个Mysql服务器都要设置有 -> grant all privileges on *.* to ‘amoeba‘@‘%‘ identified by ‘amoeba123‘;-> flush privileges;
2. Amoeba For MySQL 的使用非常简单，所有的配置文件都是标准的XML 文件，总共有四个配置文件。分别为：
- amoeba.xml：主配置文件，配置所有数据源以及Amoeba 自身的参数设置(实现主从的话配置这个文件就可以了)
- rule.xml：配置所有Query 路由规则的信息
- functionMap.xml：配置用于解析Query 中的函数所对应的Java 实现类
- rullFunctionMap.xml：配置路由规则中需要使用到的特定函数的实现类
3. 书写Amoeba.xml配置文件
<?xml version="1.0" encoding="gbk"?><!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd"><amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/"> <server> <!-- proxy server绑定的端口 --> <property name="port">9006</property> <!-- proxy server绑定的IP --> <property name="ipAddress">10.0.100.204</property> <!-- proxy server net IO Read thread size --> <property name="readThreadPoolSize">20</property> <!-- proxy server client process thread size --> <property name="clientSideThreadPoolSize">30</property> <!-- mysql server data packet process thread size --> <property name="serverSideThreadPoolSize">30</property> <!-- socket Send and receive BufferSize(unit:K) --> <property name="netBufferSize">128</property> <!-- Enable/disable TCP_NODELAY (disable/enable Nagle‘s algorithm). --> <property name="tcpNoDelay">true</property> <!-- 对外验证的用户名 --> <property name="user">root</property> <!-- 对外验证的密码 --> <property name="password">123456</property> <!-- query timeout( default: 60 second , TimeUnit:second) --> <property name="queryTimeout">60</property> </server> <!-- 每个ConnectionManager都将作为一个线程启动。 manager负责Connection IO读写/死亡检测 --> <connectionManagerList> <connectionManager name="defaultManager" class="com.meidusa.amoeba.net.MultiConnectionManagerWrapper"> <property name="subManagerClassName">com.meidusa.amoeba.net.AuthingableConnectionManager</property> <!-- default value is avaliable Processors <property name="processors">5</property> --> </connectionManager> </connectionManagerList> <dbServerList> <!-- 一台mysqlServer 需要配置一个pool， 如果多台 平等的mysql需要进行loadBalance， 平台已经提供一个具有负载均衡能力的objectPool：com.meidusa.amoeba.mysql.server.MultipleServerPool 简单的配置是属性加上 virtual="true",该Pool 不允许配置factoryConfig 或者自己写一个ObjectPool。 --> <dbServer name="server1"> <!-- PoolableObjectFactory实现类 --> <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory"> <property name="manager">defaultManager</property> <!-- 真实mysql数据库端口 --> <property name="port">3306</property> <!-- 真实mysql数据库IP --> <property name="ipAddress">10.0.100.201</property> <property name="schema">test</property> <!-- 用于登陆mysql的用户名 --> <property name="user">amoeba</property> <!-- 用于登陆mysql的密码 --> <property name="password">amoeba123</property> </factoryConfig> <!-- ObjectPool实现类 --> <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool"> <property name="maxActive">200</property> <property name="maxIdle">200</property> <property name="minIdle">10</property> <property name="minEvictableIdleTimeMillis">600000</property> <property name="timeBetweenEvictionRunsMillis">600000</property> <property name="testOnBorrow">true</property> <property name="testWhileIdle">true</property> </poolConfig> </dbServer> <dbServer name="server2"> <!-- PoolableObjectFactory实现类 --> <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory"> <property name="manager">defaultManager</property> <!-- 真实mysql数据库端口 --> <property name="port">3306</property> <!-- 真实mysql数据库IP --> <property name="ipAddress">10.0.100.202</property> <property name="schema">test</property> <!-- 用于登陆mysql的用户名 --> <property name="user">amoeba</property> <!-- 用于登陆mysql的密码 --> <property name="password">amoeba123</property> </factoryConfig> <!-- ObjectPool实现类 --> <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool"> <property name="maxActive">200</property> <property name="maxIdle">200</property> <property name="minIdle">10</property> <property name="minEvictableIdleTimeMillis">600000</property> <property name="timeBetweenEvictionRunsMillis">600000</property> <property name="testOnBorrow">true</property> <property name="testWhileIdle">true</property> </poolConfig> </dbServer> <dbServer name="master" virtual="true"> <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool"> <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA--> <property name="loadbalance">1</property> <!-- 参与该pool负载均衡的poolName列表以逗号分割 --> <property name="poolNames">server1</property> </poolConfig> </dbServer> <dbServer name="slave" virtual="true"> <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool"> <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA--> <property name="loadbalance">1</property> <!-- 参与该pool负载均衡的poolName列表以逗号分割 --> <property name="poolNames">server1,server2</property> </poolConfig> </dbServer> </dbServerList> <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter"> <property name="ruleConfig">${amoeba.home}/conf/rule.xml</property> <property name="functionConfig">${amoeba.home}/conf/functionMap.xml</property> <property name="ruleFunctionConfig">${amoeba.home}/conf/ruleFunctionMap.xml</property> <property name="LRUMapSize">1500</property> <property name="defaultPool">master</property> <property name="writePool">master</property> <property name="readPool">slave</property> <property name="needParse">true</property> </queryRouter></amoeba:configuration>
4. 启动Amoeba与常见报错说明
# cd /usr/local/amoeba/bin/# nohup bash -x amoeba &# cat nohup.out 2016-08-18 22:37:27,675 INFO net.ServerableConnectionManager - Server listening on /10.0.100.204:9006. ->出现这条说明成功
# netstat -tulnp|grep java
tcp 0 0 ::ffff:10.0.100.204:9006 :::* LISTEN 10664/java ->关闭Amoeba就是kill这个进程即可
常见报错1：The stack size specified is too small, Specify at least 228kError: Could not create the Java Virtual Machine.Error: A fatal exception has occurred. Program will exit.解决1：# vim /usr/local/amoeba/bin/amoeba#DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss128k" 注释掉这行DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss256k" 增加并修改这行常见错误2:org.xml.sax.SAXParseException; lineNumber: 406;columnNumber: 6; 注释中不允许出现字符串 "--"解决2：要注意注释两边注释两边要有空格才行<!-- 实体类路径和名 -->此外的报错应该思考：先尝试着用amoeba是不是可以登录Mysql、权限设置是否正确等配置文件中要注意细节不要出错
Amoeba+Mysql 实现读写分离
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。