首页 > 代码库 > mysql+myca搭建稳定高可用集群，负载均衡，主备复制，读写分离

mysql+myca搭建稳定高可用集群，负载均衡，主备复制，读写分离

2024-08-16 22:56:47   218人阅读

1、主要思路

简单说，实现mysql主备复制-->利用mycat实现负载均衡。

比较了常用的读写分离方式，推荐mycat，社区活跃，性能稳定。

 

2、测试环境

MYSQL版本：Server version: 5.5.53，到官网可以下载WINDWOS安装包。注意：确保mysql版本为5.5以后，以前版本主备同步配置方式不同。

linux实现思路类似，修改my.cnf即可。

1）A主mysql。192.168.110.1:3306, 用户root，密码root。操作系统：win7 x64，内存：4g

安装路径：C:\Program Files\MySQL\MySQL Server 5.5\bin

2）B备mysql。192.168.110.2:3306, 用户root，密码root。操作系统：win2003 x64，内存：1g

安装路径：C:\Program Files\MySQL\MySQL Server 5.5\bin

3）A主、B备的mysql中创建sync_test数据库。 

 

3、实现mysql主备复制

主要思路：A主mysql开启日志，B备mysql读取操作日志，同步执行。

一般为主备同步，主主同步不推荐使用。

 

3.1  配置A主mysql。

1）修改my.ini。需要在log-bin="C:/Program Files/MySQL/MySQL Server 5.5/log/mysql-bin.log"的相关位置创建log目录，以及mysql-bin.log文件。下载

Txt代码  技术分享

  1. [mysqld]  

  2. server-id=1 #主机标示，整数  

  3. port=3306      

  4. log-bin="C:/Program Files/MySQL/MySQL Server 5.5/log/mysql-bin.log"  #确保此文件可写  

  5. read-only=0   #主机，读写都可以  

  6. binlog-do-db=sync_test   #需要备份数据库，多个写多行  

  7. binlog-ignore-db=mysql #不需要备份的数据库，多个写多行  

2）允许MYSQL远程访问

 

Html代码  技术分享

  1. #登录mysql console  

  2. 进入%home%/bin，执行mysql -uroot -proot  

  3.   

  4. #授权。允许root用户，从192.168.110.*的IP范围 远程访问A主mysql  

  5. mysql>GRANT ALL PRIVILEGES ON *.* TO ‘root‘@‘192.168.110.*‘ IDENTIFIED BY ‘root‘ WITH GRANT OPTION;  

  6.   

  7. #生效。该操作很重要！！！  

  8. mysql>FLUSH PRIVILEGES;  

 3）重启A主mysql数据库

Html代码  技术分享

  1. 进入%home%/bin，执行mysql -uroot -proot  

  2. mysql>net stop mysql;  

  3. mysql>net start mysql;  

 4）查看主mysql日志状态下载

 

Html代码  技术分享

  1. mysql> show master status\G;  

  2. *************************** 1. row ***************************  

  3.             File: mysql-bin.000003  

  4.         Position: 107  

  5.     Binlog_Do_DB: sync_test  

  6. Binlog_Ignore_DB: mysql  

  7. 1 row in set (0.00 sec)  

  8.   

  9. ERROR:  

  10. No query specified  

  

3.2  配置B备mysql

 1）修改my.ini。需要在log-bin="C:/Program Files/MySQL/MySQL Server 5.5/log/mysql-bin.log"的相关位置创建log目录，以及mysql-bin.log文件。下载

Xml代码  技术分享

  1. [mysqld]  

  2. # add for sycn test  

  3. server-id=2                     #从机标识  

  4. log-bin="C:/Program Files/MySQL/MySQL Server 5.5/log/mysql-bin.log" #确保此文件可写  

  5. #master-host="192.168.110.1" #主机Ip  

  6. #master-user=root               #数据库访问用户名  

  7. #master-pass=root                   #数据库访问密码  

  8. #master-port=3306          #主机端口  

  9. #master-connect-retry=60    #如果从服务器发现主服务器断掉，重新连接的时间差(秒)  

  10. replicate-do-db=sync_test   #只复制某个库  

  11. replicate-ignore-db=mysql   #不复制某个库  

2）重启B备mysql数据库

Html代码  技术分享

  1. 进入%home%/bin，执行mysql -uroot -proot  

  2. mysql>net stop mysql;  

  3. mysql>net start mysql;  

3）配置B备数据库的数据来源，核实高亮处的状态是否正常。

 

Html代码  技术分享

  1. mysql>change master to master_host=‘192.168.110.1‘,master_port=‘3306‘,master_user=‘root‘,master_password=‘root‘;  

  2. mysql>slave start;  

  3. mysql>show slave status\G;  

  4. *************************** 1. row ***************************  

  5.                Slave_IO_State: Waiting for master to send even  

  6.                   Master_Host: 192.168.110.1  

  7.                   Master_User: root  

  8.                   Master_Port: 3306  

  9.                 Connect_Retry: 60  

  10.               Master_Log_File: mysql-bin.000003  

  11.           Read_Master_Log_Pos: 107  

  12.                Relay_Log_File: wjt-1c698d8a032-relay-bin.00001  

  13.                 Relay_Log_Pos: 253  

  14.         Relay_Master_Log_File: mysql-bin.000003  

  15.              Slave_IO_Running: Yes  

  16.             Slave_SQL_Running: Yes  

  17.               Replicate_Do_DB: sync_test  

  18.           Replicate_Ignore_DB: mysql  

  19.            Replicate_Do_Table:  

  20.        Replicate_Ignore_Table:  

  21.       Replicate_Wild_Do_Table:  

  22.   Replicate_Wild_Ignore_Table:  

  23.                    Last_Errno: 0  

  24.                    Last_Error:  

  25.                  Skip_Counter: 0  

  26.           Exec_Master_Log_Pos: 107  

  27.               Relay_Log_Space: 565  

  28.               Until_Condition: None  

  29.                Until_Log_File:  

  30.                 Until_Log_Pos: 0  

  31.            Master_SSL_Allowed: No  

  32.            Master_SSL_CA_File:  

  33.            Master_SSL_CA_Path:  

  34.               Master_SSL_Cert:  

  35.             Master_SSL_Cipher:  

  36.                Master_SSL_Key:  

  37.         Seconds_Behind_Master: 0  

  38. Master_SSL_Verify_Server_Cert: No  

  39.                 Last_IO_Errno: 0  

  40.                 Last_IO_Error:  

  41.                Last_SQL_Errno: 0  

  42.                Last_SQL_Error:  

  43.   Replicate_Ignore_Server_Ids:  

  44.              Master_Server_Id: 1  

  45. 1 row in set (0.00 sec)  

  46.   

  47. ERROR:  

  48. No query specified  

 

3.3 验证同步配置结果。

1）A主mysql：使用navicat工具，在sync_test库中创建sync_table表，并添加一些数据。

 

2）B备mysql：使用navicat工具，查看sync_test库，可以看到sync_table表和数据已被同步。

 

 4、实现读写分离

主要思路：使用mycat中间件，转发sql指令到后端mysql节点。mycat不负责数据库同步。

 4.1 安装mycat

1）mycat是什么？可以认为它是一个数据库访问中间件，但更像f5、ngnix等产品，具备访问路由、多表分表分片操作等功能。总之很强大

下载，本文使用的是：1.6-RELEASE

mycat使用java编写，因此可以有linux、windows等多个版本可下载。

2）解压Mycat-server-1.6-RELEASE-20161012170031-win.tar，到D:\dev-bin\mycat目录

3）确保java环境为jdk1.7以上，否则mycat将不支持。

4）安装完毕

 

4.2 配置mycat

1）server.xml。配置访问用户及权限。修改高亮处信息，其中admin、user为访问mycat的用户，TESTDB为mycat虚拟的数据库，供上层应用访问。

 

Html代码  技术分享

  1. <user name="admin">  

  2.         <property name="password">admin</property>  

  3.         <property name="schemas">TESTDB</property>  

  4.           

  5.         <!-- 表级 DML 权限设置 -->  

  6.         <!--           

  7.         <privileges check="false">  

  8.             <schema name="TESTDB" dml="0110" >  

  9.                 <table name="tb01" dml="0000"></table>  

  10.                 <table name="tb02" dml="1111"></table>  

  11.             </schema>  

  12.         </privileges>       

  13.          -->  

  14.     </user>  

  15.   

  16.     <user name="user">  

  17.         <property name="password">user</property>  

  18.         <property name="schemas">TESTDB</property>  

  19.         <property name="readOnly">true</property>  

  20.     </user>  

 2）schema.xml。这部分不太好理解，精简了一下，主要分schema、dataNode、dataHost三个主要配置。

 

    <scheme>节点定义了mycat的虚拟数据库为TESTDB，    balance="1"：write操作路由到A机，读操作路由到B。

 下载

 

Html代码  技术分享

  1. <?xml version="1.0"?>  

  2. <!DOCTYPE mycat:schema SYSTEM "schema.dtd">  

  3. <mycat:schema xmlns:mycat="http://io.mycat/">  

  4.   

  5.     <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">  

  6.         <!-- 这里不配置，代表所有的表分片到dn1节点-->  

  7.     </schema>  

  8.   

  9.     <dataNode name="dn1" dataHost="localhost1" database="sync_test" />  

  10.   

  11.     <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"  

  12.               writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">  

  13.         <heartbeat>select user()</heartbeat>  

  14.         <!-- can have multi write hosts -->  

  15.         <writeHost host="hostM1" url="192.168.110.1:3306" user="root"  password="root">  

  16.             <!-- can have multi read hosts -->  

  17.             <readHost host="hostS2" url="192.168.110.2:3306" user="root" password="root" />  

  18.         </writeHost>  

  19.     </dataHost>  

  20.       

  21. </mycat:schema>  

 

 

4.3 启动mycat

1）启动mycat

 

Html代码  技术分享

  1. D:\dev-bin\mycat\bin>startup_nowrap.bat  

    后台信息如下：

 

 

Html代码  技术分享

  1. D:\dev-bin\mycat\bin>startup_nowrap.bat  

  2.   

  3. D:\dev-bin\mycat\bin>REM check JAVA_HOME & java  

  4.   

  5. D:\dev-bin\mycat\bin>set "JAVA_CMD=C:\Program Files (x86)\Java\jdk1.7.0_13/bin/java"  

  6.   

  7. D:\dev-bin\mycat\bin>if "C:\Program Files (x86)\Java\jdk1.7.0_13" == "" goto noJavaHome  

  8.   

  9. D:\dev-bin\mycat\bin>if exist "C:\Program Files (x86)\Java\jdk1.7.0_13\bin\java.exe" goto mainEntry  

  10.   

  11. D:\dev-bin\mycat\bin>REM set HOME_DIR  

  12.   

  13. D:\dev-bin\mycat\bin>set "CURR_DIR=D:\dev-bin\mycat\bin"  

  14.   

  15. D:\dev-bin\mycat\bin>cd ..  

  16.   

  17. D:\dev-bin\mycat>set "MYCAT_HOME=D:\dev-bin\mycat"  

  18.   

  19. D:\dev-bin\mycat>cd D:\dev-bin\mycat\bin  

  20.   

  21. #如果启动失败，请修改D:\dev-bin\mycat\bin\startup_nowrap.bat文件中的以下参数。默认占用内存为2G  

 

 

Html代码  技术分享

  1.   

 

 

Html代码  技术分享

  1. D:\dev-bin\mycat\bin>"C:\Program Files (x86)\Java\jdk1.7.0_13/bin/java" -server -Xms512m -Xmx512m -XX:MaxPermSize=64M  -XX:+AggressiveOpts -XX:MaxDirectMemorySize=768m -DMYCAT_HOME=D:\  

  2. p "..\conf;..\lib\*" io.mycat.MycatStartup  

  3. 。。。。。。。。。。。。。。。。。。。。。。。。。。。  

  4. MyCAT Server startup successfully. see logs in logs/mycat.log   #启动成功将看到如下信息。  

    如日志中出现192.168.110.2 not connected 等信息，请允许B备mysql远程访问。

 

Html代码  技术分享

  1. #登录mysql console  

  2. 进入%home%/bin，执行mysql -uroot -proot  

  3.   

  4. #授权。允许root用户，从192.168.110.*的IP范围 远程访问Bmysql  

  5. mysql>GRANT ALL PRIVILEGES ON *.* TO ‘root‘@‘192.168.110.*‘ IDENTIFIED BY ‘root‘ WITH GRANT OPTION;  

  6.   

  7. #生效。该操作很重要！！！  

  8. mysql>FLUSH PRIVILEGES;  

 

4.4 测试读写分离。

1、验证是否同步

1）使用navicat连接mycat，操作方式和连接物理mysql库一致，用户admin，密码admin，端口8066。

2）在TESTDB虚拟库中，创建新表test2，增加一些数据

3）查看A节点、B节点数据已同步。

 

2、关闭B备mysql的同步，验证读写分离。下载

Html代码  技术分享

  1. mysql> slave stop;  

  2. Query OK, 0 rows affected (0.00 sec)  

  3.   

  4. mysql> show slave status\G;  

  5. *************************** 1. row ***************************  

  6.                Slave_IO_State:  

  7.                   Master_Host: 192.168.110.1  

  8.                   Master_User: root  

  9.                   Master_Port: 3306  

  10.                 Connect_Retry: 60  

  11.               Master_Log_File: mysql-bin.000003  

  12.           Read_Master_Log_Pos: 478  

  13.                Relay_Log_File: wjt-1c698d8a032-relay-bin.00001  

  14.                 Relay_Log_Pos: 624  

  15.         Relay_Master_Log_File: mysql-bin.000003  

  16.              Slave_IO_Running: No  

  17.             Slave_SQL_Running: No  

  18.               Replicate_Do_DB: sync_test  

  19.           Replicate_Ignore_DB: mysql  

  20.            Replicate_Do_Table:  

  21.        Replicate_Ignore_Table:  

  22.       Replicate_Wild_Do_Table:  

  23.   Replicate_Wild_Ignore_Table:  

  24.                    Last_Errno: 0  

  25.                    Last_Error:  

  26.                  Skip_Counter: 0  

  27.           Exec_Master_Log_Pos: 478  

  28.               Relay_Log_Space: 936  

  29.               Until_Condition: None  

  30.                Until_Log_File:  

  31.                 Until_Log_Pos: 0  

  32.            Master_SSL_Allowed: No  

  33.            Master_SSL_CA_File:  

  34.            Master_SSL_CA_Path:  

  35.               Master_SSL_Cert:  

  36.             Master_SSL_Cipher:  

  37.                Master_SSL_Key:  

  38.         Seconds_Behind_Master: NULL  

  39. Master_SSL_Verify_Server_Cert: No  

  40.                 Last_IO_Errno: 0  

  41.                 Last_IO_Error:  

  42.                Last_SQL_Errno: 0  

  43.                Last_SQL_Error:  

  44.   Replicate_Ignore_Server_Ids:  

  45.              Master_Server_Id: 1  

  46. 1 row in set (0.00 sec)  

  47.   

  48. ERROR:  

  49. No query specified  

 

3）使用navicat连接mycat，操作方式和连接物理mysql库一致，用户admin，密码admin，端口8066。

a.连接成功后，将看到TESTDB数据库和test数据表。

b.在test表中添加一些数据，保存。

c.执行select * from test查看test操作，将看到数据未更新。

原因：mycat将查询sq路由到B，因此读取的结果集不一致。


mysql+myca搭建稳定高可用集群，负载均衡，主备复制，读写分离


联系
我们