Amoeba For MySQL入门:实现数据库水平切分

当系统数据量发展到一定程度后,往往需要进行数据库的垂直切分和水平切分,以实现负载均衡和性能提升,而数据切分后随之会带来多数据源整合等等问题。如果仅仅从应用程序的角度去解决这类问题,无疑会加重应用程度的复杂度,因此需要一个成熟的第三方解决方案。

Amoeba正是解决此类问题的一个开源方案,Amoeba位于应用程序和数据库服务器之间,相当于提供了一个代理,使得应用程序只要连接一个Amoeba,相当于只是在操作一个单独的数据库服务器,而实际上却是在操作多个数据库服务器,这中间的工作全部交由Amoeba去完成。

本文针对基于MySQL的水平切分的实现机制,讲解Amoeba For MySQL的简单应用。

 

一、背景介绍

使用数据库:MySQL

数据库节点1:127.0.0.1

数据库节点2:10.167.157.176

 

数据库名:yunzhu

切分的表:用户表(user_info)

切分的参数:用户ID(USERID)

 

切分规则:

用户ID小于等于100的数据存到数据库节点1,

用户ID大于100的数据存到数据库节点2

 

user_info表结构如下:

Sql代码  收藏代码
  1. CREATE TABLE `user_info` (  
  2.     `USERID` INT(10) NOT NULL DEFAULT '0',  
  3.     `USERNAME` VARCHAR(50) NULL DEFAULT NULL,  
  4.     PRIMARY KEY (`USERID`)  
  5. )  

数据库节点1中user_info表中的数据:

+--------+-----------+
| USERID | USERNAME  |
+--------+-----------+
|     73 | Chen Feng |
|     88 | China     |
+--------+-----------+

数据库节点1中user_info表中的数据:

+--------+----------+
| USERID | USERNAME |
+--------+----------+
|    108 | Jiang Su |
|    200 | NanJing  |
+--------+----------+

 

Amoeba版本:

amoeba-mysql-binary-2.2.0

 

下载地址:

http://nchc.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/2.2.x/amoeba-mysql-binary-2.2.0.tar.gz

下载后直接解压即可使用

 

二、配置Amoeba

配置文件全部位于conf目录下

1、amoeba.xml

配置连接Amoeba程序的用户名和密码:

Xml代码  收藏代码
  1. <property name="user">root</property>  
  2. <property name="password">chenfeng123</property>  

2、dbServers.xml

先配置一个抽象的父节点,定义多个数据库节点的共通的信息,包括数据库节点的端口、schema、用户名和密码:

Xml代码  收藏代码
  1. <dbServer name="abstractServer" abstractive="true">  
  2.     <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">  
  3.         ......  
  4.               
  5.         <!-- mysql port -->  
  6.         <property name="port">3306</property>  
  7.           
  8.         <!-- mysql schema -->  
  9.         <property name="schema">yunzhu</property>  
  10.           
  11.         <!-- mysql user -->  
  12.         <property name="user">root</property>  
  13.           
  14.         <!--  mysql password -->  
  15.         <property name="password">chenfeng</property>  
  16.     </factoryConfig>  
  17.       ......  
  18. </dbServer>  

  再配置两个数据库节点,继承上面的父节点,然后配置各自的IP地址即可:

Xml代码  收藏代码
  1. <dbServer name="server1"  parent="abstractServer">  
  2.     <factoryConfig>  
  3.         <!-- mysql ip -->  
  4.         <property name="ipAddress">127.0.0.1</property>  
  5.     </factoryConfig>  
  6. </dbServer>  
  7.   
  8. <dbServer name="server2"  parent="abstractServer">  
  9.     <factoryConfig>  
  10.         <!-- mysql ip -->  
  11.         <property name="ipAddress">10.167.157.176</property>  
  12.     </factoryConfig>  
  13. </dbServer>  

3、rule.xml

  配置切分规则:

     1、schema指定数据库名,name指定表名,defaultPools指定关联的数据库节点(指定哪几个节点就从哪几个节点里面查数据)

     2、切分规则:

         1)用户ID小于100的数据存到数据库节点1

         2)用户ID大于100的数据存到数据库节点2

Xml代码  收藏代码
  1. <amoeba:rule xmlns:amoeba="http://amoeba.meidusa.com/">  
  2.     <tableRule name="user_info" schema="yunzhu" defaultPools="server1,server2">  
  3.         <rule name="rule1">  
  4.             <parameters>USERID</parameters>  
  5.             <expression><![CDATA[ USERID <= 100]]></expression>  
  6.             <defaultPools>server1</defaultPools>  
  7.             <readPools>server1</readPools>  
  8.             <writePools>server1</writePools>  
  9.         </rule>  
  10.         <rule name="rule2">  
  11.             <parameters>USERID</parameters>  
  12.             <expression><![CDATA[ USERID > 100 ]]></expression>  
  13.             <defaultPools>server2</defaultPools>  
  14.             <writePools>server2</writePools>  
  15.             <readPools>server2</readPools>  
  16.         </rule>  
  17.     </tableRule>        
  18. </amoeba:rule>  

 

三、运行及验证

1、启动Amoeba

通过bin目录下的amoeba.bat启动:

 

Dos代码  收藏代码
  1. amoeba start  

 

启动后控制台打印如下信息,可以看到:

Dos代码  收藏代码
  1. log4j:WARN log4j config load completed from file:D:\JavaTools\amoeba-mysql-binar  
  2. y-2.2.0\bin\..\conf\log4j.xml  
  3. 2013-01-08 09:32:27,765 INFO  context.MysqlRuntimeContext - Amoeba for Mysql cur  
  4. rent versoin=5.1.45-mysql-amoeba-proxy-2.2.0  
  5. log4j:WARN ip access config load completed from file:D:\JavaTools\amoeba-mysql-b  
  6. inary-2.2.0\bin\../conf/access_list.conf  
  7. 2013-01-08 09:32:27,921 INFO  net.ServerableConnectionManager - Amoeba for Mysql  
  8.  listening on 0.0.0.0/0.0.0.0:8066.  
  9. 2013-01-08 09:32:27,921 INFO  net.ServerableConnectionManager - Amoeba Monitor S  
  10. erver listening on /127.0.0.1:40170.  

2、连接Amoeba

通过mysql客户端连接Amoeba,端口指定为8066,然后还像以前操作MySQL一样进行操作:

Dos代码  收藏代码
  1. D:\>mysql -P8066 -uroot -pchenfeng123  
  2. Welcome to the MySQL monitor.  Commands end with ; or \g.  
  3. Your MySQL connection id is 21616774 to server version: 5.1.45-mysql-amoeba-prox  
  4. y-2.2.0  
  5.   
  6. Type 'help;' or '\h' for help. Type '\c' to clear the buffer.  
  7.   
  8. mysql>  

3、验证数据的查询

查询yunzhu库下的user_info表的数据,如下:

Sql代码  收藏代码
  1. mysql> select * from yunzhu.user_info;  
  2. +--------+-----------+  
  3. | USERID | USERNAME  |  
  4. +--------+-----------+  
  5. |    108 | Jiang Su  |  
  6. |    200 | NanJing   |  
  7. |     73 | Chen Feng |  
  8. |     88 | China     |  
  9. +--------+-----------+  
  10. 4 rows in set (0.02 sec)  

可以看到,现在查到了两个数据库节点中的user_info表中的所有记录。

 

4、验证数据的插入

这里插入两条数据,一条USERID为55,另一条USERID为155,如下:

Dos代码  收藏代码
  1. mysql> insert into yunzhu.user_info(USERID,USERNAME) values(55,'test55');  
  2. Query OK, 1 row affected (0.13 sec)  
  3.   
  4. mysql> insert into yunzhu.user_info(USERID,USERNAME) values(155,'test155');  
  5. Query OK, 1 row affected (0.05 sec)  

 

查询数据库节点1:

Dos代码  收藏代码
  1. D:\>mysql -uroot -pchenfeng  
  2. Welcome to the MySQL monitor.  Commands end with ; or \g.  
  3. Your MySQL connection id is 33 to server version: 5.0.18-nt  
  4.   
  5. Type 'help;' or '\h' for help. Type '\c' to clear the buffer.  
  6.   
  7. mysql> select * from yunzhu.user_info;  
  8. +--------+-----------+  
  9. | USERID | USERNAME  |  
  10. +--------+-----------+  
  11. |     55 | test55    |  
  12. |     73 | Chen Feng |  
  13. |     88 | China     |  
  14. +--------+-----------+  
  15. 3 rows in set (0.00 sec)  

 

查询数据库节点2:

Dos代码  收藏代码
  1. D:\>mysql -uroot -pchenfeng -h10.167.157.176  
  2. Welcome to the MySQL monitor.  Commands end with ; or \g.  
  3. Your MySQL connection id is 34 to server version: 5.0.18-nt  
  4.   
  5. Type 'help;' or '\h' for help. Type '\c' to clear the buffer.  
  6.   
  7. mysql> select * from yunzhu.user_info;  
  8. +--------+----------+  
  9. | USERID | USERNAME |  
  10. +--------+----------+  
  11. |    108 | Jiang Su |  
  12. |    155 | test155  |  
  13. |    200 | NanJing  |  
  14. +--------+----------+  
  15. 3 rows in set (0.00 sec)  

可以发现USERID为55的记录插入到了数据库节点1中,USERID为155的记录插入到了数据库节点2中。

因为根据rule.xml中的切分规则,USERID小于等于100的的记录存在数据库节点1中,而大于100的则存在数据库节点2中。

 

四、注意一些限制

这是我在实践中发现的,刚开始不知道存在这样的限制,以致于浪费了很多时间,以为配置有问题,搞了很久才发现原来是因为这些限制才导致没有出现预期的结果,所以必须要注意:

1、不管是查询和插入,每条都必须显式地指定数据库名(yunzhu),否则只会从一个数据库节点中查询数据,或者所有数据全部会插入一个数据库节点中。

2、插入数据时,必须显式地指定列名,如“insert into yunzhu.user_info(USERID,USERNAME)”,否则切分规则不会生效,所有记录都会插入到一个数据库节点中。

 

文章来源: Amoeba For MySQL入门:实现数据库水平切分

人吐槽 人点赞

猜你喜欢

发表评论

用户名: 密码:
验证码: 匿名发表

你可以使用这些语言

查看评论:Amoeba For MySQL入门:实现数据库水平切分