MySQL-Cluster 详解

文章分类

技术相关

随笔

随笔

专题文章

微信公众平台

文章存档

热门标签

分类：数据库 2013-09-29 20:50:01 颜色：橙色　默认　　字号：大中小阅读(2809) | 评论(0)

　　一、MySQL Cluster概述

　　MySQL Cluster 是一种技术，该技术允许在无共享的系统中部署“内存中”数据库的 Cluster 。通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。　

　　MySQL簇由一组计算机构成，每台计算机上均运行着多种进程，包括MySQL服务器，NDB簇的数据节点，管理服务器，以及（可能）专门的数据访问程序。关于簇中这些组件的关系，请参见下图：

　　“NDB” 是一种“内存中”的存储引擎，它具有可用性高和数据一致性好的特点。

　　MySQL Cluster 能够使用多种故障切换和负载平衡选项配置NDB存储引擎，但在 Cluster 级别上的存储引擎上做这个最简单。MySQL Cluster的NDB存储引擎包含完整的数据集，仅取决于 Cluster本身内的其他数据。

　　目前，MySQL Cluster的 Cluster部分可独立于MySQL服务器进行配置。在MySQL Cluster中， Cluster的每个部分被视为1个节点。

　　管理(MGM)节点：这类节点的作用是管理MySQL Cluster内的其他节点，如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置，应在启动其他节点之前首先启动这类节点。MGM节点是用命令“ndb_mgmd”启动的。

　　数据节点：这类节点用于保存 Cluster的数据。数据节点的数目与副本的数目相关，是片段的倍数。例如，对于两个副本，每个副本有两个片段，那么就有4个数据节点。不过没有必要设置多个副本。数据节点是用命令“ndbd”启动的。

　　SQL节点：这是用来访问 Cluster数据的节点。对于MySQL Cluster，客户端节点是使用NDB Cluster存储引擎的传统MySQL服务器。通常，SQL节点是使用命令“mysqld –ndbcluster”启动的，或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。

　　管理服务器(MGM节点)负责管理 Cluster配置文件和 Cluster日志。 Cluster中的每个节点从管理服务器检索配置数据，并请求确定管理服务器所在位置的方式。当数据节点内出现新的事件时，节点将关于这类事件的信息传输到管理服务器，然后，将这类信息写入 Cluster日志。

Mysql Cluster 需要各个节点都进行启动后才可以工作，节点的启动顺序为管理节点->数据节点->SQL节点。

　　二、服务器准备：

　　现在，我们计划建立有5个节点的MySQL CLuster体系，因此需要用到5台机器，分别做如下用途：　　

　　管理节点ndb_mgmd 192.168.5.101

　　数据节点1ndb1 192.168.5.102

　　数据节点2ndb2 192.168.5.103

　　sql节点1mysqld1 192.168.5.104

　　sql节点2mysqld2 192.168.5.105　

系统：Cent Os
软件：mysql-cluster-gpl-7.3.2-linux-glibc2.5-i686.tar.gz（注意：需用Cluster版本)

　　三、软件安装

　　1、每个节点做相同的操作

　　# groupadd mysql

　　# useradd -g mysql mysql

　　# tar xvf mysql-cluster-gpl-7.3.2-linux-glibc2.5-i686.tar.gz

　　# mv mysql-cluster-gpl-7.3.2-linux-glibc2.5-i686 /usr/local/mysql

　　2、安装管理节点

作为管理节点服务器，不需要安装mysql服务，只需要ndb_mgm和ndb_mgmd两个文件

# cd /usr/local/mysql 
# chmod +x bin/ndb_mg* 
# mv ndb_mg* /usr/bin/ 

#建立配置文件
mkdir /usr/local/mysql-cluster
cd /usr/local/mysql-cluster
vi config.ini

config.ini文件应类似于：


[NDBD DEFAULT]
NoOfReplicas=1    #每个数据节点的镜像数量
DataMemory=500M   #每个数据节点中给数据分配的内存
IndexMemory=300M  #每个数据节点中给索引分配的内存

[TCP DEFAULT]
#portnumber=2202   #数据节点的默认连接端口

[NDB_MGMD]        #配置管理节点
hostname=192.168.5.101
datadir=/usr/local/mysql/logs  #管理节点数据(日志)目录

[NDBD]            #数据节点配置
hostname=192.168.5.102
datadir=/usr/local/mysql/data/   #数据节点目录

[NDBD]
hostname=192.168.5.103
datadir=/usr/local/mysql/data/

[MYSQLD]   #SQL节点目录
hostname=192.168.5.104

[MYSQLD]
hostname=192.168.5.105


2.1启动管理节点

cd /usr/bin

./ndb_mgmd -f /var/lib/mysql-cluster/config.ini

命令行中的ndb_mgmd是mysql cluster的管理服务器，后面的-f表示后面的参数是启动的参数配置文件。如果在启动后过了几天又添加了一个数据节点，这时修改了配置文件启动时就必须加上--initial参数，不然添加的节点不会作用在mysql cluster中。该参数会使节点删除由早期ndbd实例创建的、用于恢复的任何文件，包括用于恢复的日志文件。

./ndb_mgmd -f /var/lib/mysql-cluster/config.ini --initial

启动时可能会报个WARNING,如WARNING -- at line 7: [TCP] portnumber is deprecated，这个不用管。可以正常工作的。

检查工作状态 
# /usr/bin/ndb_mgm 
键入show命令查看当前工作状态

3、安装SQL节点和存储节点(NDB节点)(即4个机器重复执行以下步骤)

# cd mysql
# chown -R mysql .
# chgrp -R mysql .
# scripts/mysql_install_db --user=mysql
# chown -R root .
# chown -R mysql data
# cp support-files/my-medium.cnf /etc/my.cnf

此时不要启动MySQL！

3.1、配置存储节点(NDB节点)

　　# vi /etc/my.cnf

　　然后输入如下内容：

　　[mysqld]

　　ndbcluster

　　ndb-connectstring=192.168.5.101 #管理节点IP

　　[mysql_cluster]

　　ndb-connectstring=192.168.5101 #管理节点IP

3.1.1 启动数据节点

　　安装后第一次启动数据节点时要加上--initial参数，其它时候不要加，除非是在备份、恢复或配置变化后重启时。

 # /usr/local/mysql/bin/ndbd --initial

如果不是第一次启动，直接运行命令即可：# /usr/local/mysql/bin/ndbd

　　3.2、配置SQL节点

　　# vim /etc/my.cnf

　　然后输入如下内容：

　　[mysqld]

　　basedir = /usr/local/mysql/

　　datadir = /usr/local/mysql/data/

　　port = 3306　　

　　ndbcluster

　　ndb-connectstring=192.168.5.101 #管理节点IP

　　[mysql_cluster]

　　ndb-connectstring=192.168.5.101 #管理节点IP　　

　　3.2.1 启动SQL节点服务器：

　　 # /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my.cnf &　　

　　如果一切顺利，也就是启动过程中没有任何错误信息出现，那么就在管理节点服务器上运行如下命令：

　　# /usr/bin/ndb_mgm

再执行show 将看到连接信息

　　六、环境测试

　　与没有使用 Cluster的MySQL相比，在MySQL Cluster内操作数据的方式没有太大的区别。执行这类操作时应记住两点：

　　表必须用ENGINE=NDB或ENGINE=NDBCLUSTER选项创建，或用ALTER TABLE选项更改，以使用NDB Cluster存储引擎在 Cluster内复制它们。如果使用mysqldump的输出从已有数据库导入表，可在文本编辑器中打开SQL脚本，并将该选项添加到任何表创建语句，或用这类选项之一替换任何已有的ENGINE(或TYPE)选项。

　　另外还请记住，每个NDB表必须有一个主键。如果在创建表时用户未定义主键，NDB Cluster存储引擎将自动生成隐含的主键。(注释：该隐含键也将占用空间，就像任何其他的表索引一样。由于没有足够的内存来容纳这些自动创建的键，出现问题并不罕见)。

　　(1)确认NDB引擎是否已经正常工作

　　在mysqld1节点上，用root在test数据库上新建一个t1的表

　　mysql> use test;

　　Database changed

　　mysql> show tables;

　　Empty set (0.11 sec)

　　mysql> create table t1(a int) engine=ndb;

　　Query OK, 0 rows affected (0.74 sec)

　　mysql> insert into t1 values(100);

　　Query OK, 1 row affected (0.32 sec)

　　在mysqld2节点2上，用root查看效果

　　mysql> show tables;

　　+----------------+

　　| Tables_in_test |

　　+----------------+

　　| t1 |

　　+----------------+

　　1 row in set (0.00 sec)

　　(2)检测冗余环境的单点故障问题

　　a、模拟NDB节点崩溃;

　　b、模拟SQL节点崩溃;

　　c、由于管理节点是最容易控制的，可以将配置文件和二个可执行程序(ndb_mgmd和ndb_mgm)存放在多台机器上即可，无须太考虑单点故障。

　　(3)性能测试方面:内部测试环境我们增加了二台ndbd服务器，即集群方案采用的是1ndbd_mgmd+2mysqld+4ndbd(四台作ndbd的好处是如果二台服务器同时宕机了，也有一定机率不损失数据;但在生产环境下，二台服务器同时宕机的机率是微乎期乎的);目前公司测试组的同事在进行压力测试和性能测试，尝试大量数据的写入和插入等;初期打算内部测试进行一个月，一个月后正式上线。

　　七、安全关闭

　　要想关闭 Cluster，可在MGM节点所在的机器上，在Shell中简单地输入下述命令：

　　[ndb_mgmd] # /usr/bin/ndb_mgm -e shutdown

　　运行以下命令关闭SQL节点的mysqld服务：

　　[ndb_mgmd]# /usr/bin/mysqladmin -uroot shutdown

上一篇：json_decode解码失败　　下一篇：Javascript函数声明与函数表达式的区别

最新评论查看所有评论>>