MySQL 高可用搭建方案之（MMM）

有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步, 认准https://blog.zysicyj.top

注意：这篇转载文章，非原创

全网最细面试题手册，支持艾宾浩斯记忆法。这是一份最全面、最详细、最高质量的 java
面试题，不建议你死记硬背，只要每天复习一遍，有个大概印象就行了。 https://store.amazingmemo.com/chapterDetail/1685324709017001

原文地址

前言

MySQL 的高可用有很多种，有我们经常说的 MMM 架构、MHA 架构、MGR 架构。在这一篇文章中我们先讨论 MMM 架构的高可用，后续在分析 MHA 和 MGR，其中的 MGR 有点类似于 percona 推出的 PXC 集群

集群 VS 高可用

在 MySQL 数据库中，什么是集群？什么是高可用？最早我理解的是只要有了读写分离的组从集群架构，就是拥有高可用的架构了。现在想想，当初的想法是多么的天真。MySQL 集群和 MySQL 的高可用是两个概念，我们不能把他们混为一谈。

集群是指你多台 MySQL 数据库实例，有一个可以提供写，多个提供读、或者有多个可以写，多个可以读。比如我们配置了读写分离的一主多从的集群架构，或者双主多从的集群架构。此时，我们只是有了 MySQL 的集群，在读写性能上有锁提升，但是此时并不是一个高可用的 MySQL 架构。

高可用是指在任意一个时刻，我们的 MySQL 都可以提供读写的服务，不会因为某一个 MySQL 数据库实例宕机而导致 MySQL 数据不能正常读写，此时才是高可用。从某种意义上来说，高可用要在集群的基础上才可以实现，也就是说，要想高可用，必须先把集群搭建起来。有了 MySQL 的集群，才可以谈论 MySQL 的高可用，没有 MySQL 的集群，谈 MySQL 的高可用犹如空中楼阁。

拿我们前面说的双主多从的 MySQL 集群架构来说，两个主在同一个时间点，若只有一个主对外提供写的服务，此时如果其中一个主宕机，另外一个主可以顶替原先的主对外提供写的服务，同时其他的从可以把同步的数据源切换到新的主上面来，这样的一个集群就是一个高可用的架构。

有了 MySQL 的集群，并不一定就有 MySQL 的高可用。但是如果有了 MySQL 的高可用，那么此时它一定是一个 MySQL 集群。高可用需要在集群的基础上来配合其他组件才能实现。

MMM 高可用架构

什么是 MMM

所谓的 MMM 只是：Multi-Master Replication Manager for
MySQL，取其中的三个 M 开头的单词简写。它是 mysql 多主复制管理器，基于 perl 实现，关于 mysql 主主复制配置的监控、故障转移和管理的一套可伸缩的脚本套件（在任何时候只有一个节点可以被写入），MMM 也能对从服务器进行读负载均衡，所以可以用它来在一组用于复制的服务器启动虚拟 ip，除此之外，它还有实现数
据备份、节点之间重新同步功能的脚本。

MySQL 本身没有提供 replication failover 的解决方案，通过 MMM 方案
能实现服务器的故障转移，从而实现 mysql 的高可用。MMM 不仅能提供浮动 IP 的功能，如果当前的主服务器挂掉后，会将你后端的从服务器自动转向新的主服务器进行同步复制，不用手工更改同步配置。

从字面来理解就是它有两个 master 节点，并且实现了这两个 master 节点的高可用。它的架构如下所示：

MMM 主要功能，由下面三个脚本提供：

  • mmm_mond 负责所有的监控工作的监控守护进程，决定节点的移除(mmm_mond 进程定 时心跳检测，失败则将 write
    ip 浮动到另外一台 master)

  • mmm_agentd 运行在 mysql 服务器上的代理守护进 程，通过简单远程服务集提供给监控节点

  • mmm_control 通过命令行管理 mmm_mond 进程 在整个监管过程中，
    需要在 mysql 中添加相关授权用户，授权的用户包括一个 mmm_monitor 用户和一个 mmm_agent 用户，如果想使用 mmm 的备份工具则还要添加一个 mmm_tools 用户。

MMM 架构的优点

  • 可以兼容不同系列的 MySQL 来做高可用。比如有 MySQL 官方社区版本，有 percona 版本的，有 MariaDB 版本的 MySQL。这样的集群可以可以使用 MMM 架构来做高可用。

  • 高可用性，扩展性好，出现故障自动切换，对于主主同步，在同一时间只提供一台数据库写操作，保证 的数据的一致性。

  • 当主服务器挂掉以后，另一个主立即接管，其他的从服务器能自动切换，不用人工干预。

MMM 架构的缺点

  • 是一种比较老的 MySQL 高可用实现方式，因为社区不活跃，所以目前已经没有人在维护这个组件了。

  • 只能基于日之点的主从复制集群架构来做高可用，不支持基于 GTID 的主从复制集群架构。这也是因为社区活跃，没有维护这个组件导致不支持 GTID。

  • 数据不能保证 100% 的一致性，这个是以为它在做故障转移的时候实现的方式所导致的。如果对于数据需要强一致性，则不能选择 MMM 高可用架构，可以考虑 MHA 高可用架构。

  • monitor 节点是单点，不过这个可以结合 keepalived 或者 haertbeat 做成高可用。

  • 至少三个节点，2 个 master，1 个 slave，对主机的数量有要求，

  • 在读写非常繁忙的业务系统下表现不是很稳定，可能会出现复制延时、切换失效等问题。

  • MMM 方案并不太适应于对数据安全性要求很高，并且读、写 繁忙的环境中。

  • 需要实现读写分离，还需要在前端编写读写分离程序，或者结合数据库中间件如 mycat 来解决。

如何搭建 MMM 高可用架构

要想实现 MMM 高可用架构，我们先来搭建一个双主双从的 MySQL 集群，然后在这个集群的基础上来完成 MMM 高可用的架构。

我们准备搭建的 MySQL-MMM 高可用架构的网络拓扑如下所示：需要注意的是其中的 VIP，这几个 IP 不需要我们自己创建，MMM 服务会自动的在各个节点分配这些 VIP。其中的绿色字体 read
vip，它并不会严格的按照我们下图中分配是主机来分配，而是随机的将这 4 个 read vip 分布到 4 个数据库节点上，但是红色字体的 write
vip 只会在 master1 或 master2 上面随着 master1 和 master2 节点宕机和恢复来回切换。

搭建双主双从的 MySQL 集群

准备 MySQL 数据库环境

我们使用 docker 来启动 4 个 MySQL 容器，作为双主双从的四个 MySQL 数据库实例。容器镜像的名称为 mysql:5.7.31
，这个镜像是 docker hub 上面 MySQL 官方提供的镜像，它是基于Debian buster
版本制作的 MySQL 容器镜像。所以，我们的 MySQL 数据库服务器，可以任务是一个 minimal 版本的 Debian 系统。

为了方便管理，我们先创建一个 docker 虚拟网段，然后在启动四个 MySQL 数据库的时候，指定数据库服务器的 IP 地址并且使用这个网段。创建网段的命令如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
docker network create --subnet=172.20.0.0/24 mysql-ha-mmm-network

我们使用下面的四条命令，启动 4 个 MySQL 数据库实例。这里我们把每一个数据库的 `my.cnf`  
配置文件已经在本地配置好，然后通过数据卷的方式挂载到 MySQL 容器中，这样我们启动的 MySQL 数据库实例就会按照我们配置的 `my.cnf`  
配置文件来启动并配置我们的 MySQL 数据库实例。

# 启动 master1 节点   
docker run --net=mysql-ha-mmm-network --hostname master1.mysql --ip 172.20.0.11 --cap-add NET\_ADMIN --name
mysql-ha-mmm-master1 -d -v Users/coder-home/docker\_mysql\_ha/mmm/master1:/etc/mysql/conf.d -e MYSQL\_ROOT_PASSWORD=root
-e TZ="Asia/Shanghai" -p 33011:3306 mysql:5.7.31

#  启动 slave1 节点   
docker run --net=mysql-ha-mmm-network --hostname slave1.mysql --ip 172.20.0.12 --cap-add NET\_ADMIN --name
mysql-ha-mmm-slave1 -d -v Users/coder-home/docker\_mysql\_ha/mmm/slave1:/etc/mysql/conf.d -e MYSQL\_ROOT_PASSWORD=root
-e TZ="Asia/Shanghai" -p 33012:3306 mysql:5.7.31

#  启动 master2 节点   
docker run --net=mysql-ha-mmm-network --hostname master2.mysql --ip 172.20.0.21 --cap-add NET\_ADMIN --name
mysql-ha-mmm-master2 -d -v Users/coder-home/docker\_mysql\_ha/mmm/master2:/etc/mysql/conf.d -e MYSQL\_ROOT_PASSWORD=root
-e TZ="Asia/Shanghai" -p 33021:3306 mysql:5.7.31

#  启动 slave2 节点  
docker run --net=mysql-ha-mmm-network --hostname slave2.mysql --ip 172.20.0.22 --cap-add NET\_ADMIN --name
mysql-ha-mmm-slave2 -d -v Users/coder-home/docker\_mysql\_ha/mmm/slave2:/etc/mysql/conf.d -e MYSQL\_ROOT_PASSWORD=root
-e TZ="Asia/Shanghai" -p 33022:3306 mysql:5.7.31

这里解释一下 docker run
后面几个重要的参数和含义。

  • –net=mysql-ha-mmm-network：指定容器运行的时候使用的网段。

  • –hostname slave2.mysql：指定容器的主机名称。

  • –ip 172.20.0.22：指定容器使用的 IP 地址。

  • –cap-add NET_ADMIN：默认容器运行的时候，没有增加额外的 Linux 的功能，这里我们要增加上 NET_ADMIN 的功能，否则我们不能再启动后的容器内使用 ifconfig 命令增加虚拟 IP。否则会有如下错误提示：

1
2
3
4
5
root@test:/etc/network# ifconfig eth0:0 192.168.1.100 up  
SIOCSIFADDR: Operation not permitted  
SIOCSIFFLAGS: Operation not permitted  
SIOCSIFFLAGS: Operation not permitted  
root@test:/etc/network#

  • –name mysql-ha-mmm-slave2：指定容器的名称为mysql-ha-mmm-slave2
    ，后面我们在停止或重启容器的时候，可以通过这个名称来操作容器。

  • -d：以 demon 进程的方式运行容器。

  • -v Users/coder-home/docker_mysql_ha/mmm/slave2:
    /etc/mysql/conf.d：把本地的 /Users/coder-home/docker_mysql_ha/mmm/slave2
    目录挂载到容器中的 /etc/mysql/conf.d
    目录下。

  • -e MYSQL_ROOT_PASSWORD=root：向容器内传入参数，我们指定 MySQL 数据库 root 用户的密码也为 root。

  • -e TZ=”Asia/Shanghai”：向容器内传入参数，这里我们指定的容器中使用的系统的时区为上海时间。

  • -p 33022:3306：我们指定容器中的 3306 端口，映射到我们本地为 33022。这样我们在本地访问 MySQL 服务的时候，就可以通过 33022 端口来访问。

  • mysql:5.7.31：这个是我们要运行的容器的名称和版本。如果本地没有这个容器名称和版本，则会从 docker
    hub 中自动拉取这个镜像名称和版本到本地，然后再启动这个镜像。

容器启动后，我们可以查看启动后的结果如下：

1
2
3
4
5
6
7
8
9
10
11
➜  ~ docker ps  
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES  
5207089da9a5 mysql:5.7.31        "docker-entrypoint.s…"   About a minute ago Up About a minute 33060/tcp, 0.0.0.0:
33022->3306/tcp mysql-ha-mmm-slave2  
1c8ff5960272 mysql:5.7.31        "docker-entrypoint.s…"   About a minute ago Up About a minute 33060/tcp, 0.0.0.0:
33021->3306/tcp mysql-ha-mmm-master2  
d8d646ba25f1 mysql:5.7.31        "docker-entrypoint.s…"   About a minute ago Up About a minute 33060/tcp, 0.0.0.0:
33012->3306/tcp mysql-ha-mmm-slave1  
d3d75d9cd930 mysql:5.7.31        "docker-entrypoint.s…"   About a minute ago Up About a minute 33060/tcp, 0.0.0.0:
33011->3306/tcp mysql-ha-mmm-master1  
➜  ~

下面我们查看每一个 MySQL 数据库容器的 host 文件中的 IP 地址：

  • master1 的 host 文件如下：
1
2
3
4
5
6
7
8
9
10
➜ ~ docker exec -it mysql-ha-mmm-master1 bin/bash  
root@master1:/# cat etc/hosts  
127.0.0.1 localhost  
::1 localhost ip6-localhost ip6-loopback  
fe00::0 ip6-localnet  
ff00::0 ip6-mcastprefix  
ff02::1 ip6-allnodes  
ff02::2 ip6-allrouters  
172.20.0.11 master1.mysql master1  
root@master1:/#
  • master2 的 host 文件如下：
1
2
3
4
5
6
7
8
9
10
➜  ~ docker exec -it mysql-ha-mmm-master2 bin/bash  
root@master2:/# cat etc/hosts  
127.0.0.1 localhost  
::1 localhost ip6-localhost ip6-loopback  
fe00::0 ip6-localnet  
ff00::0 ip6-mcastprefix  
ff02::1 ip6-allnodes  
ff02::2 ip6-allrouters  
172.20.0.21 master2.mysql master2  
root@master2:/#
  • slave1 的 host 文件如下：
1
2
3
4
5
6
7
8
9
10
➜  ~ docker exec -it mysql-ha-mmm-slave1 bin/bash  
root@slave1:/# cat etc/hosts  
127.0.0.1 localhost  
::1 localhost ip6-localhost ip6-loopback  
fe00::0 ip6-localnet  
ff00::0 ip6-mcastprefix  
ff02::1 ip6-allnodes  
ff02::2 ip6-allrouters  
172.20.0.12 slave1.mysql slave1  
root@slave1:/#
  • slave2 的 host 文件如下：
1
2
3
4
5
6
7
8
9
10
➜  ~ docker exec -it mysql-ha-mmm-slave2 bin/bash  
root@slave2:/# cat etc/hosts  
127.0.0.1 localhost  
::1 localhost ip6-localhost ip6-loopback  
fe00::0 ip6-localnet  
ff00::0 ip6-mcastprefix  
ff02::1 ip6-allnodes  
ff02::2 ip6-allrouters  
172.20.0.22 slave2.mysql slave2  
root@slave2:/#

上面我们启动的四个 MySQL 数据库实例，我们还需要一个监控节点，下面启动一个监控节点，用于安装 MMM 的监控服务。

为了和其他环境一致，这里我们也使用上面 MySQL 的镜像。如下是启动一个新的 MySQL 容器，这个容器，我们不在挂载 MySQL 的 my.cnf 配置文件了，因为这个 MySQL 数据库我们不会使用，我们只是在这个容器中安装 MMM 的监控服务，我们此时把这个 MySQL 数据库容器当成一个 Debian 版本的虚拟机来使用。

启动监控节点

1
2
docker run --net=mysql-ha-mmm-network --hostname monitor.mysql --ip 172.20.0.10 --cap-add NET\_ADMIN --name
mysql-ha-mmm-monitor -d -e MYSQL\_ROOT_PASSWORD=root -e TZ="Asia/Shanghai" -p 33010:3306 mysql:5.7.31

查看这个监控节点的 host 文件如下：

1
2
3
4
5
6
7
8
9
10
➜  ~ docker exec -it mysql-ha-mmm-monitor bin/bash  
root@monitor:~# cat etc/hosts  
127.0.0.1 localhost  
::1 localhost ip6-localhost ip6-loopback  
fe00::0 ip6-localnet  
ff00::0 ip6-mcastprefix  
ff02::1 ip6-allnodes  
ff02::2 ip6-allrouters  
172.20.0.10 monitor.mysql monitor  
root@monitor:~#

创建主从同步的数据库用户

在组从同步的时候，从需要使用一个指定的用户去连接到主上面同步主上面的 binlog 日志。所以，我们需要在我们的主上面创建好这样的一个用户。因为在 master1 宕机之后，MMM 组件会将 master2 提升为新的主库，所以需要在 master1 和 master2 上面都创建一个这样的用户，也就是下的命令需要在两个 master 节点上都执行一下。

1
2
create user 'repl_user'@'172.20.0.%' identified by 'repl_user';  
grant replication slave on *.* to 'repl_user'@'172.20.0.%';

历史数据的同步

如果我们并不是基于一个新的集群环境来搭建，而是基于一个已经运行了一段时间的 MySQL 数据库来做集群，此时我们需要把选定的 master 节点上面的数据，先使用 mysqldump
命令导出为 .sql
文件，然后再把这个 .sql
文件导入到所有的 slave 节点上去。然后在可以开始下面的任务。

在 master 上面执行的导出的命令示例如下：

1
2
3
4
5
6
7
8
mysqldump -uroot -proot \  
--master-data=2 \  
--single-transaction \  
--flush-logs \  
--triggers \  
--routines \  
--events \  
-B mydb1 > mydb1.sql

在所有的 slave 节点上执行的导入数据的命令示例如下：

1
mysql -uroot -proot < mydb1.sql

但是，我们是基于一个崭新的环境来做的，不涉及到历史数据的问题。所以，这一步我们可以省略。

开启组从同步

在所有的 slave 上面执行如下命令，此时的 binlog 文件和日志点的位置，可以在 master1 上面使用 show master status
命令查看，或者查看导出数据的时候，生成的 .sql
文件。在 master1 节点上执行 mysqldump
导出命令的时候，我们指定的 --master-data=2
，这个参数会在导出的.sql
文件中标记当前 master1 节点上 binlog 日志的文件名称和日志偏移量。

1
2
change master to master_host='172.20.0.11', master_user='repl_user', master_password='repl_user',
MASTER\_LOG\_FILE='mysql-bin.000003', MASTER\_LOG\_POS=1034;

开启组从同步：

1
start slave;

查看同步状态：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
mysql> show slave status\\G  
*************************** 1. row ***************************  
Slave\_IO\_State: Waiting for master to send event  
Master_Host: 172.20.0.11  
Master\_User: repl\_user  
Master_Port: 3306  
Connect_Retry: 60  
Master\_Log\_File: mysql-bin.000003  
Read\_Master\_Log_Pos: 1034  
Relay\_Log\_File: mysql-relay.000002  
Relay\_Log\_Pos: 320  
Relay\_Master\_Log_File: mysql-bin.000003  
Slave\_IO\_Running: Yes  
Slave\_SQL\_Running: Yes  
Replicate\_Do\_DB:  
Replicate\_Ignore\_DB:  
Replicate\_Do\_Table:  
Replicate\_Ignore\_Table:  
Replicate\_Wild\_Do_Table:  
Replicate\_Wild\_Ignore_Table:  
Last_Errno: 0  
Last_Error:  
Skip_Counter: 0  
Exec\_Master\_Log_Pos: 1034  
Relay\_Log\_Space: 523  
Until_Condition: None  
Until\_Log\_File:  
Until\_Log\_Pos: 0  
Master\_SSL\_Allowed: No  
Master\_SSL\_CA_File:  
Master\_SSL\_CA_Path:  
Master\_SSL\_Cert:  
Master\_SSL\_Cipher:  
Master\_SSL\_Key:  
Seconds\_Behind\_Master: 0  
Master\_SSL\_Verify\_Server\_Cert: No  
Last\_IO\_Errno: 0  
Last\_IO\_Error:  
Last\_SQL\_Errno: 0  
Last\_SQL\_Error:  
Replicate\_Ignore\_Server_Ids:  
Master\_Server\_Id: 11  
Master_UUID: 047bcc07-7424-11eb-96b4-0242ac14000b  
Master\_Info\_File: mysql.slave\_master\_info  
SQL_Delay: 0  
SQL\_Remaining\_Delay: NULL  
Slave\_SQL\_Running_State: Slave has read all relay log; waiting for more updates  
Master\_Retry\_Count: 86400  
Master_Bind:  
Last\_IO\_Error_Timestamp:  
Last\_SQL\_Error_Timestamp:  
Master\_SSL\_Crl:  
Master\_SSL\_Crlpath:  
Retrieved\_Gtid\_Set:  
Executed\_Gtid\_Set:  
Auto_Position: 0  
Replicate\_Rewrite\_DB:  
Channel_Name:  
Master\_TLS\_Version:  
1 row in set (0.00 sec)

mysql>

配置主与主的同步

上面我们配置好了 master1->slave1，master1->slave2
的同步。我们还需要在 master1 和 master2 直接配置互相同步对方。

现在 master2 上面配置 master1 作为它的主库。参考上面 slave1 和 slave2 上面的配置。执行如下命令：

1
2
3
4
5
change master to master_host='172.20.0.11', MASTER\_LOG\_FILE='mysql-bin.000003', MASTER\_LOG\_POS=1034;

start slave user='repl_user' password='repl_user';

show slave status\\G

然后再配置 master2 到 master1 的同步。此时我们需要查看一下 master2 上面的 binlog 日志名称和日志偏移量是多少。使用如下命令查看：

1
2
3
4
5
6
7
8
9
mysql> show master status\\G  
*************************** 1. row ***************************  
File: mysql-bin.000003  
Position: 623  
Binlog\_Do\_DB:  
Binlog\_Ignore\_DB:  
Executed\_Gtid\_Set:  
1 row in set (0.00 sec)
mysql>

然后我们登录到 master1 上面，执行如下命令，配置 master2 作为 master1 的主库。

1
2
3
4
5
change master to master_host='172.20.0.21', MASTER\_LOG\_FILE='mysql-bin.000003', MASTER\_LOG\_POS=623;

start slave user='repl_user' password='repl_user';

show slave status\\G

验证双主双从同步的效果如下：

安装 MMM

修改 apt-get 源

在下载 MMM 之前，我们先修改一下 apt-get
源，然后更新一下 apt-get
源。如下所示，因为此时的容器中，没有 vim
命令，所以我们使用 echo "xxx" >/etc/apt/sources.list
的方式去更新 apt-get
的源。

1
2
3
4
5
6
7
8
9
10
11
echo "  
deb http://mirrors.aliyun.com/debian/ buster main non-free contrib  
deb http://mirrors.aliyun.com/debian-security buster/updates main  
deb http://mirrors.aliyun.com/debian/ buster-updates main non-free contrib  
deb http://mirrors.aliyun.com/debian/ buster-backports main non-free contrib

deb-src http://mirrors.aliyun.com/debian-security buster/updates main  
deb-src http://mirrors.aliyun.com/debian/ buster main non-free contrib  
deb-src http://mirrors.aliyun.com/debian/ buster-updates main non-free contrib  
deb-src http://mirrors.aliyun.com/debian/ buster-backports main non-free contrib  
" > etc/apt/sources.list

注意，在更新镜像源的时候，要根据自己的 Debian 系统的版本，我的 Debian 系统的版本是 buster
版本，所以你要根据自己的系统版本网上找到对应的镜像地址。接着，我们更新一下系统。

1
2
3
4
5
6
7
8
9
10
11
12
root@master1:/etc/apt# apt-get update  
Get:1 http://security.debian.org/debian-security buster/updates InRelease \[65.4 kB\]  
Get:2 http://repo.mysql.com/apt/debian buster InRelease \[21.5 kB\]  
Get:3 http://mirrors.ustc.edu.cn/debian buster InRelease \[122 kB\]  
Get:4 http://security.debian.org/debian-security buster/updates/main amd64 Packages \[267 kB\]  
Get:5 http://mirrors.ustc.edu.cn/debian buster-updates InRelease \[51.9 kB\]  
Get:6 http://mirrors.ustc.edu.cn/debian buster/main amd64 Packages \[7907 kB\]  
Get:7 http://repo.mysql.com/apt/debian buster/mysql-5.7 amd64 Packages \[5693 B\]  
Get:8 http://mirrors.ustc.edu.cn/debian buster-updates/main amd64 Packages \[9504 B\]  
Fetched 8450 kB in 10s (871 kB/s)  
Reading package lists... Done  
root@master1:/etc/apt#

更新完成之后，我们先安装一下我们经常用到的几个命令：

1
apt-get install net-tools wget vim make cmake inetutils-ping iproute2 iproute2-doc -y

下载 MMM

推荐使用源码来安装，这样可以在任何 Linux 系统版本上面进行安装，例如：Ubuntu、Debian、CentOS、Redhat 等等。不用因为系统版本的问题找对应的 rpm
包，找对应的 deb
包。

通过如下步骤来获取 MMM 的源码。

登录 Debian 的官方网站：https://www.debin.org，然后点击跟多关于下载与软件介绍的连接。

此时我们会进入如下页面：https://www.debian.org/intro/index#software，然后点击软件包连接。

接着，我们会进入如下页面：https://www.debian.org/distrib/packages#search_packages，根据选项输入 `mysql-mmm`
，点击搜索按钮。

点击上面的搜索按钮后，进入如下页面：https://packages.debian.org/search?keywords=mysql-mmm&searchon=names&suite=oldstable&section=all，然后我们点击页面中的 Debian 系统的版本，选择 `jessie`
版本，因为 mysql-mmm
是比较老的一种 MySQL 考可用架构，在最新的 Debian 系统中，已经没有这样的软件包了，所以我们选择老版本的 jessie
版本，这个版本中包含 mysql-mmm
的源码。

点击完成 jessie
之后，进入如下页面：https://packages.debian.org/search?suite=jessie&searchon=names&keywords=mysql-mmm，此时我们已经搜索到了 `mysql-mmm`
的软件。点击其中任何一个链接，进入详细页面。

进入如下的页面：https://packages.debian.org/jessie/mysql-mmm-tools，我们选择下载源码文件。

或者我们可以右键复制下载地址：http://deb.debian.org/debian/pool/main/m/mysql-mmm/mysql-mmm_2.2.1.orig.tar.gz，使用 wget 命令下载源码到 MySQL 服务器上。

1
wget http://deb.debian.org/debian/pool/main/m/mysql-mmm/mysql-mmm_2.2.1.orig.tar.gz

如果要下载.deb 文件，可以点击上面图片中的硬件架构下面的 all
连接，进入下面页面后，选择对应的距离我们最近镜像地址，我选择的为 ftp.cn.debian.org
这个镜像地址，然后复制下载链接地址，使用 wget 下载即可。这里贴出如下的下载示例：

1
2
3
4
wget http://ftp.cn.debian.org/debian/pool/main/m/mysql-mmm/mysql-mmm-tools\_2.2.1-1.1\_all.deb  
wget http://ftp.cn.debian.org/debian/pool/main/m/mysql-mmm/mysql-mmm-monitor\_2.2.1-1.1\_all.deb  
wget http://ftp.cn.debian.org/debian/pool/main/m/mysql-mmm/mysql-mmm-common\_2.2.1-1.1\_all.deb  
wget http://ftp.cn.debian.org/debian/pool/main/m/mysql-mmm/mysql-mmm-agent\_2.2.1-1.1\_all.deb

编译安装 MMM

我们是使用的 MySQL 的容器镜像来启动的 MySQL 集群，而这个从 docker
hub 上面拉取的 MySQL5.7 官方版本的镜像是基于 Debian 系统来制作的，所以我们此次安装 MMM 软件需要基于 Debian 系统来安装。

下载好的 mysql-mmm
如下所示：

1
2
3
4
5
root@test:~# ls -lstr  
total 60  
56 -rw-r--r-- 1 root root 55278 Feb 21 16:22 mysql-mmm_2.2.1.orig.tar.gz  
4 drwxr-xr-x 2 root root 4096 Feb 21 16:24 deb  
root@test:~#

解压并且安装，但是在安装 MMM 之前，先安装一下它的依赖包，使用如下命令来安装：

1
2
apt-get install liblog-log4perl-perl libmailtools-perl liblog-dispatch-perl libclass-singleton-perl libproc-daemon-perl
libalgorithm-diff-perl libdbi-perl libdbd-mysql-perl -y

安装 MMM 的命令和过程如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
root@test:~# tar -zxf mysql-mmm_2.2.1.orig.tar.gz  
root@test:~# ls -lstr  
total 64  
4 drwxr-xr-x 6 root root 4096 May 7 2010 mysql-mmm-2.2.1  
56 -rw-r--r-- 1 root root 55278 Feb 21 16:22 mysql-mmm_2.2.1.orig.tar.gz  
4 drwxr-xr-x 2 root root 4096 Feb 21 16:24 deb  
root@test:~# cd mysql-mmm-2.2.1/  
root@test:~/mysql-mmm-2.2.1# make install  
mkdir -p usr/share/perl5/MMM usr/lib/mysql-mmm usr/sbin var/log/mysql-mmm etc etc/mysql-mmm etc/init.d/  
cp -r lib/Common/ usr/share/perl5/MMM  
\[-f etc/mysql-mmm/mmm_common.conf \] || cp etc/mysql-mmm/mmm_common.conf etc/mysql-mmm/  
mkdir -p usr/lib/mysql-mmm/agent/  
cp -r lib/Agent/ usr/share/perl5/MMM  
cp -r bin/agent/* usr/lib/mysql-mmm/agent/  
cp -r etc/init.d/mysql-mmm-agent etc/init.d/  
cp sbin/mmm_agentd usr/sbin  
\[-f etc/mysql-mmm/mmm_agent.conf \] || cp etc/mysql-mmm/mmm_agent.conf etc/mysql-mmm/  
mkdir -p usr/lib/mysql-mmm/monitor/  
cp -r lib/Monitor/ usr/share/perl5/MMM  
cp -r bin/monitor/* usr/lib/mysql-mmm/monitor/  
cp -r etc/init.d/mysql-mmm-monitor etc/init.d/  
cp sbin/mmm\_control sbin/mmm\_mond usr/sbin  
\[-f etc/mysql-mmm/mmm_mon.conf \] || cp etc/mysql-mmm/mmm_mon.conf etc/mysql-mmm/  
mkdir -p usr/lib/mysql-mmm/tools/  
cp -r lib/Tools/ usr/share/perl5/MMM  
cp -r bin/tools/* usr/lib/mysql-mmm/tools/  
cp sbin/mmm\_backup sbin/mmm\_clone sbin/mmm_restore usr/sbin  
\[-f etc/mysql-mmm/mmm_tools.conf \] || cp etc/mysql-mmm/mmm_tools.conf etc/mysql-mmm/  
root@test:~/mysql-mmm-2.2.1#

如果在安装 mmm
的时候，提示没有 make
命令，则需要先安装 make
命令，安装的时候如果是 Debian 或 Ubuntu 系统，使用如下 apt-get 命令安装：

1
apt-get install make cmake -y

如果是 CentOS 或 Redhat 系统，则使用如下的 yum 命令来安装：

1
yum install make cmake -y

以上编译安装 MMM 需要在每一个节点都执行，包括两个 master 节点和两个 slave 节点，还有 monitor 监控节点也要安装。

安装完 MMM 之后，我们需要注意一下几个目录，这是我们使用 MMM 服务的基础。

1
2
3
4
5
6
7
8
9
10
11
12
# MMM 各种配置文件所在目录   
/etc/mysql-mmm
# MMM 服务日志文件所在目录  
/var/log/mysql-mmm/mmm_mond.log # MMM 的 monitor 服务的日志文件  
/var/log/mysql-mmm/mmm_agentd.log # MMM 的 agent 服务的日志文件
#  各种 perl 脚本所在目录   
/usr/lib/mysql-mmm/agent # agent 客户端各种脚本所在目录  
/usr/lib/mysql-mmm/monitor # monitor 监控端各种脚本所在目录  
/usr/lib/mysql-mmm/tools # 工具包脚本所在目录
#  启动和关闭 MMM 服务的脚本文件  
/etc/init.d/mysql-mmm-agent  
/etc/init.d/mysql-mmm-monitor

创建 MMM 使用的 MySQL 用户

监控用和客户端用户，在所有的节点上都要创建这两个用户。如果已经配置组从同步，在 master1 上创建就 OK，其他节点会自动同步这两个创建好的用户到其他节点。

1
2
3
4
5
create user 'mmm_monitor'@'172.20.0.%' identified by 'mmm_monitor';  
grant replication client on *.* to 'mmm_monitor'@'172.20.0.%';

create user 'mmm_agent'@'172.20.0.%' identified by 'mmm_agent';  
grant super, replication client, process on *.* to 'mmm_agent'@'172.20.0.%';

需要注意的是这两个用户的权限不同，结合前面我们配置组从同步的哪一个用户，我们来对比一下：

  • monitor：MMM 监控使用的用户，拥有 replication client 权限就可以。

  • agent：MMM 客户单使用的用，拥有 super、replication client、process 权限。

  • replication：组从同步使用的用户，拥有 replication slave 权限即可。

最后的用户在四个节点上面的结果如下图所示：

修改 MMM 的配置文件

MMM 所有的配置文件都在如下目录中：

1
2
3
4
5
6
7
8
9
10
root@master1:/etc/mysql-mmm# ls -lstr etc/mysql-mmm/*  
4 -rw-r
----- 1 root root 321 Feb 22 21:46 etc/mysql-mmm/mmm_mon.conf  
4 -rw-r
----- 1 root root 1293 Feb 22 21:46 etc/mysql-mmm/mmm_tools.conf  
4 -rw-r
----- 1 root root 37 Feb 22 22:21 etc/mysql-mmm/mmm_agent.conf  
4 -rw-r
----- 1 root root 789 Feb 22 23:20 etc/mysql-mmm/mmm_common.conf  
root@master1:/etc/mysql-mmm#

mmm_comm.conf 配置文件

所有 5 个节点中的 /etc/mysql-mmm/mmm_common.conf
配置文件都修改为如下所示的内容。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
root@master1:/etc/mysql-mmm# cat mmm_common.conf

active\_master\_role writer
<host default>  
# 网卡的名称，各个主机上面网络设备的名称   
	cluster_interface		eth0

	pid\_path			/var/run/mmm\_agentd.pid  
	bin_path			/usr/lib/mysql-mmm/
#  主从复制用户名和密码   
replication\_user repl\_user  
replication\_password repl\_user
# MMM 服务使用的 anget 用户名和密码  
agent\_user mmm\_agent  
agent\_password mmm\_agent
</host>
# master1 的配置信息  
<host master1>  
ip 172.20.0.11  
mode master  
peer master2  
</host>

# master2 的配置信息  
<host master2>  
ip 172.20.0.21  
mode master  
peer master1  
</host>

# slave1 的配置信息  
<host slave1>  
ip 172.20.0.12  
mode slave  
</host>

# slave2 的配置信息  
<host slave2>  
ip 172.20.0.22  
mode slave  
</host>

#  写虚拟 IP 的配置信息，指定可写的主机名称   
<role writer>  
hosts master1, master2  
ips 172.20.0.100  
mode exclusive  
</role>

#  读虚拟 IP 的配置信息，指定可以提供读服务的主机名称。下面的 VIP 和主键名称不一定是一一对应的，VIP 是随机分布到各个可读节点的。  
# 如果提供多个 VIP，有可能一个节点被分配多个 VIP，这样也是支持的。  
<role reader>  
hosts master1, master2, slave1, slave2  
ips 172.20.0.111, 172.20.0.211, 172.20.0.122, 172.20.0.222  
mode balanced  
</role>
root@master1:/etc/mysql-mmm#

上面的 role reader
中配置的可读节点，可以根据自己的需求来配置，这里我把 master1, master2, slave1, slave2
都作为可读的节点，当然可以把主节点 master1
去掉，只配置 master2, slave1, slave2
三个节点。这里的 ips
也是我们指定的 VIP 的值，我们可以配置多个 VIP，最好是 VIP 的个数和上面的 host 的数目一致，表示每一个提供读的节点分配一个 VIP。

mmm_agent.conf 配置文件

每一个节点上面的 /etc/mysql-mmm/mmm_agent.conf
配置文件中，都在第 2 行中，修改一下主机名称。下面给出 master1 节点的配置如下：

1
2
3
4
root@master1:/etc/mysql-mmm# cat mmm_agent.conf  
include mmm_common.conf  
this master1  
root@master1:/etc/mysql-mmm#

其他 master2、slave1、slave2 各个节点也需要作出对应的修改。只要把 master1 改为对应的主机名称即可。

mmm_mon.conf 配置文件

在 monitor 节点上，修改 /etc/mysql-mmm/mmm_mon.conf
配置文件，修改内容如下所示，其他四个节点不需要对这个文件做修改。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
root@monitor:/etc/mysql-mmm# cat mmm_mon.conf  
include mmm_common.conf

<monitor>  
	ip					127.0.0.1  
	pid\_path				/var/run/mmm\_mond.pid  
	bin_path				/usr/lib/mysql-mmm/  
	status\_path				/var/lib/misc/mmm\_mond.status  
	ping_ips				172.20.0.1, 172.20.0.11, 172.20.0.21, 172.20.0.12, 172.20.0.22 # 网关 IP 地址，和各个节点的物理 IP 地址，用于监控各个节点的状态是否可用  
</monitor>

# MMM 服务使用 MySQL 中的 monitor 用户名称和密码  
<host default>  
monitor\_user mmm\_monitor  
monitor\_password mmm\_monitor  
</host>

#
debug 值为 0 非 debug 模式，为 1 的时候表示 debug 模式，debug 模式下，会在 /var/log/mysql-mmm/mmm_mond.log 日志文件中生成更多日志信息。  
debug 0  
root@monitor:/etc/mysql-mmm#

启动 MMM 服务

客户端 agent 服务相关命令如下，客户端 agent 启动后日志存放在 /var/log/mysql-mmm/mmm_agentd.log
文件中。

1
2
3
4
/etc/init.d/mysql-mmm-agent start  
/etc/init.d/mysql-mmm-agent status  
/etc/init.d/mysql-mmm-agent stop  
/etc/init.d/mysql-mmm-agent restart

监控端 monitor 服务相关命令如下，监控端 monitor 启动后日志存放在 /var/log/mysql-mmm/mmm_mond.log
文件中。

1
2
3
4
/etc/init.d/mysql-mmm-monitor start  
/etc/init.d/mysql-mmm-monitor status  
/etc/init.d/mysql-mmm-monitor stop  
/etc/init.d/mysql-mmm-monitor restart

MMM 监控状态有一个管理命令mmm_control
，它的使用帮助如下所示：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
root@monitor:/# mmm_control --help  
Invalid command '--help'

Valid commands are:  
help \- show this message  
ping \- ping monitor  
show - show status  
checks \[<host>|all \[<check>|all\]\] - show checks status  
set_online <host>                 \- set host <host> online  
set_offline <host>                \- set host <host> offline  
mode - print current mode.  
set_active - switch into active mode.  
set_manual - switch into manual mode.  
set_passive - switch into passive mode.  
move_role \[--force\] <role> <host> \- move exclusive role <role> to host <host>  
(Only use --force if you know what you are doing!)  
set_ip <ip> <host>                \- set role with ip <ip> to host <host>

root@monitor:/#

常用的维护节点状态的命令如下：

1
2
3
4
5
6
7
mmm_control show  
mmm_control checks all  
mmm\_control set\_online master1  
mmm\_control set\_online master2  
mmm\_control set\_online slave1  
mmm\_control set\_online slave2

下面分别在四个 MySQL 节点上执行如下命令启动并查看 MMM 的客户端服务

  • master1 主节点上，启动和查看 MMM 的客户端服务如下：
1
2
3
4
5
6
7
8
9
10
root@master1:/etc/mysql-mmm# etc/init.d/mysql-mmm-agent start  
Daemon bin: '/usr/sbin/mmm_agentd'  
Daemon pid: '/var/run/mmm_agentd.pid'  
Starting MMM Agent daemon... Ok

root@master1:/etc/mysql-mmm# etc/init.d/mysql-mmm-agent status  
Daemon bin: '/usr/sbin/mmm_agentd'  
Daemon pid: '/var/run/mmm_agentd.pid'  
Checking MMM Agent process: running.  
root@master1:/etc/mysql-mmm#
  • master2 主节点上，启动和查看 MMM 的客户端服务如下：
1
2
3
4
5
6
7
8
9
10
root@master2:/etc/mysql-mmm# etc/init.d/mysql-mmm-agent start  
Daemon bin: '/usr/sbin/mmm_agentd'  
Daemon pid: '/var/run/mmm_agentd.pid'  
Starting MMM Agent daemon... Ok

root@master2:/etc/mysql-mmm# etc/init.d/mysql-mmm-agent status  
Daemon bin: '/usr/sbin/mmm_agentd'  
Daemon pid: '/var/run/mmm_agentd.pid'  
Checking MMM Agent process: running.  
root@master2:/etc/mysql-mmm#
  • slave1 主节点上，启动和查看 MMM 的客户端服务如下：
1
2
3
4
5
6
7
8
9
10
root@slave1:/etc/mysql-mmm# etc/init.d/mysql-mmm-agent start  
Daemon bin: '/usr/sbin/mmm_agentd'  
Daemon pid: '/var/run/mmm_agentd.pid'  
Starting MMM Agent daemon... Ok

root@slave1:/etc/mysql-mmm# etc/init.d/mysql-mmm-agent status  
Daemon bin: '/usr/sbin/mmm_agentd'  
Daemon pid: '/var/run/mmm_agentd.pid'  
Checking MMM Agent process: running.  
root@slave1:/etc/mysql-mmm#
  • slave2 主节点上，启动 MMM 的客户端服务如下：
1
2
3
4
5
6
7
8
9
10
11
root@slave2:/etc/mysql-mmm# etc/init.d/mysql-mmm-agent start  
Daemon bin: '/usr/sbin/mmm_agentd'  
Daemon pid: '/var/run/mmm_agentd.pid'  
Starting MMM Agent daemon... Ok

root@slave2:/etc/mysql-mmm# etc/init.d/mysql-mmm-agent status  
Daemon bin: '/usr/sbin/mmm_agentd'  
Daemon pid: '/var/run/mmm_agentd.pid'  
Checking MMM Agent process: running.  
root@slave2:/etc/mysql-mmm#

下面在监控节点上执行如下命令启动并查看 MMM 的监控服务

  • monitor 节点上，启动和查看 MMM 的监控端服务如下：
1
2
3
4
5
6
7
8
9
10
root@monitor:/etc/mysql-mmm# etc/init.d/mysql-mmm-monitor start  
Daemon bin: '/usr/sbin/mmm_mond'  
Daemon pid: '/var/run/mmm_mond.pid'  
Starting MMM Monitor daemon: Ok

root@monitor:/etc/mysql-mmm# etc/init.d/mysql-mmm-monitor status  
Daemon bin: '/usr/sbin/mmm_mond'  
Daemon pid: '/var/run/mmm_mond.pid'  
Checking MMM Monitor process: running.  
root@monitor:/etc/mysql-mmm#
  • 在 monitor 节点，查看监控的状态：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
root@monitor:/etc/mysql-mmm# mmm_control show  
master1(172.20.0.11) master/AWAITING_RECOVERY. Roles:  
master2(172.20.0.21) master/AWAITING_RECOVERY. Roles:  
slave1(172.20.0.12) slave/AWAITING_RECOVERY. Roles:  
slave2(172.20.0.22) slave/AWAITING_RECOVERY. Roles:

root@monitor:/etc/mysql-mmm# mmm\_control set\_online master1;  
OK: State of 'master1' changed to ONLINE. Now you can wait some time and check its new roles!  
root@monitor:/etc/mysql-mmm# mmm\_control set\_online master2  
OK: State of 'master2' changed to ONLINE. Now you can wait some time and check its new roles!  
root@monitor:/etc/mysql-mmm# mmm\_control set\_online slave1  
OK: State of 'slave1' changed to ONLINE. Now you can wait some time and check its new roles!  
root@monitor:/etc/mysql-mmm# mmm\_control set\_online slave2  
OK: State of 'slave2' changed to ONLINE. Now you can wait some time and check its new roles!  
root@monitor:/etc/mysql-mmm# mmm_control show  
master1(172.20.0.11) master/ONLINE. Roles: reader(172.20.0.111), writer(172.20.0.100)  
master2(172.20.0.21) master/ONLINE. Roles: reader(172.20.0.211)  
slave1(172.20.0.12) slave/ONLINE. Roles: reader(172.20.0.122)  
slave2(172.20.0.22) slave/ONLINE. Roles: reader(172.20.0.222)

root@monitor:/etc/mysql-mmm#

问题排查 1：monitor 服务不能正常启动？

当在 monitor 节点启动监控服务后，监控服务一会就异常退出了。原因是在使用 docker 启动集群节点的时候没有使用 --cap-add NET_ADMIN
参数，没有这个参数就没有办法在容器只用使用虚拟 VIP 的功能。在删除容器后，增加参数重新运行后，才运行起来。

后来，又发现 monitor 节点启监控服务器仍然失败，查看日志/var/log/mysql-mmm/mmm_mond.log
，如下所示：

1
2
3
4
5
6
root@monitor:/etc/mysql-mmm# tail -f var/log/mysql-mmm/mmm_mond.log  
2021/02/22 23:26:27 INFO Waiting for network connection...  
2021/02/22 23:26:27 INFO Spawning checker 'ping_ip'...  
2021/02/22 23:26:27 INFO Shutting down checker 'ping_ip'...  
2021/02/22 23:26:27 INFO Network connection is available.  
2021/02/22 23:26:27 FATAL Child exited with exitcode 255, restarting after 10 second sleep

修改 /etc/mysql-mmm/mmm_mon.conf
配置文件中的 debug
的值为 1
，表示以debug
的模式运行 monitor 服务，此时我们再重新启动 monitor 服务，查看输出的详细错误日志如下：

1
2
3
4
5
6
7
8
9
10
11
12
root@monitor:/etc/mysql-mmm# etc/init.d/mysql-mmm-monitor start  
Daemon bin: '/usr/sbin/mmm_mond'  
Daemon pid: '/var/run/mmm_mond.pid'  
Starting MMM Monitor daemon: 2021/02/22 23:30:17 INFO STARTING...  
2021/02/22 23:30:17 DEBUG Created pid file '/var/run/mmm_mond.pid' with pid 5330  
2021/02/22 23:30:17 INFO Waiting for network connection...  
2021/02/22 23:30:17 INFO Spawning checker 'ping_ip'...  
2021/02/22 23:30:17 DEBUG IP '172.20.0.1' is reachable: OK  
2021/02/22 23:30:17 INFO Shutting down checker 'ping_ip'...  
2021/02/22 23:30:17 INFO Network connection is available.  
Use of uninitialized value $old_state in string ne at usr/share/perl5/MMM/Monitor/Agent.pm line 42.  
2021/02/22 23:30:17 FATAL Child exited with exitcode 255, restarting after 10 second sleep

于是去修改了 /usr/share/perl5/MMM/Monitor/Agent.pm
文件，在第 41 行增加如下内容，保存退出，重新启动 monitor 服务。

1
if (! defined($old\_state)) { $old\_state = 'certinally not new_state'; }

然后再次重启 monitor 服务，启动成功。然后把 /etc/mysql-mmm/mmm_mon.conf
配置文件中的 debug
的值再次修改为 0
，关闭debug
模式再次重启 monitor 服务。此时查看 monitor 服务的日志内容如下：

1
2
3
4
5
6
7
8
9
10
11
root@monitor:/# tail -f var/log/mysql-mmm/mmm_mond.log  
2021/02/22 23:42:43 INFO Check 'rep_backlog' on 'slave1' is ok!  
2021/02/22 23:42:43 INFO Check 'rep_backlog' on 'master2' is ok!  
2021/02/22 23:42:43 INFO Check 'rep_threads' on 'master1' is ok!  
2021/02/22 23:42:43 INFO Check 'rep_threads' on 'slave2' is ok!  
2021/02/22 23:42:43 INFO Check 'rep_threads' on 'slave1' is ok!  
2021/02/22 23:42:43 INFO Check 'rep_threads' on 'master2' is ok!  
2021/02/22 23:42:43 INFO Check 'ping' on 'master1' is ok!  
2021/02/22 23:42:43 INFO Check 'ping' on 'slave2' is ok!  
2021/02/22 23:42:43 INFO Check 'ping' on 'slave1' is ok!  
2021/02/22 23:42:43 INFO Check 'ping' on 'master2' is ok!

问题排查 2：虚拟 IP 不能再各个节点生成？

启动 MMM 后，发现不能通过 VIP 访问 MySQL 数据库，去各个节点使用 ifconfig -a
或者 ip addr
命令查看发现没有对应的 VIP 生成。查看了各个节点 MMM agent 服务的日志文件/var/log/mysql-mmm/mmm_agent.log
，发现如下错误信息：

1
2
3
4
5
root@master1:/# tail -f var/log/mysql-mmm/mmm_agentd.log  
2021/02/23 17:16:19 FATAL Couldn't configure IP '172.20.0.111' on interface 'eth0': undef  
2021/02/23 17:16:19 FATAL Couldn't allow writes: undef  
2021/02/23 17:16:22 FATAL Couldn't configure IP '172.20.0.111' on interface 'eth0': undef  
2021/02/23 17:16:22 FATAL Couldn't allow writes: undef

经过排查发现是在设置 VIP 的时候失败，设置客户端 VIP 的脚本如下：

1
/usr/lib/mysql-mmm/agent/configure_ip

执行上面的脚本发现如下错误：

提示我们，需要在 perl 中安装 arp.pm 包。安装的时候，为了提高速度，我们修改一下 perl 安装模块的时候使用的镜像源。

修改 perl 安装包的时候使用的镜像源，参考如下方式修改：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
root@master1:/# perl -MCPAN -e shell  
cpan\[5\]> o conf urllist  
urllist  
0 \[http://www.cpan.org/\] 
Type 'o conf' to view all configuration items

cpan\[6\]> o conf urllist push http://mirrors.aliyun.com/CPAN/  
Please use 'o conf commit' to make the config permanent!

cpan\[7\]> o conf commit  
commit: wrote '/root/.cpan/CPAN/MyConfig.pm'

cpan\[8\]> o conf urllist  
urllist  
0 \[http://www.cpan.org/\] 
1 \[http://mirrors.aliyun.com/CPAN/\] 
Type 'o conf' to view all configuration items

cpan\[9\]> install Net::ARP

cpan\[10\]>

其中各个命令的含义如下：

  • o conf urllist
    ：查看的当前的镜像源

  • o conf urllist push http://mirrors.aliyun.com/CPAN/
    ：添加阿里的 perl 镜像源

  • o conf commit
    ：提交对镜像源的修改

  • install Net::ARP
    ：安装 arp.pm 包。

经过上面的安装方式，发现安装失败。于是下载源码自己编译安装这个包。参考如下命令顺序来编译安装。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 下载源码文件   
wget https://cpan.metacpan.org/authors/id/C/CR/CRAZYDJ/Net-ARP-1.0.11.tgz

#  解压下载后的文件   
tar -zxvf Net-ARP-1.0.11.tgz

#  进入下载目录   
cd Net-ARP-1.0.11

#  执行编译   
perl Makefile.PL

#  执行安装  
make install

上面安装 Net-ARP 包的操作，需要在除了 monitor 节点的四个节点上都执行安装一下。

最后所有节点的 IP 地址和 VIP 地址如下所示：

验证 VIP 访问数据库

当我们的 MMM 客户段服务在四个 MySQL 数据库实例中启动，并且 MMM 监控服务在 monitor 节点启动之后。我们在 monitor 节点上面尝试使用各个 VIP 看能否正常连接到 MySQL 数据库。验证的结果如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
root@monitor:/etc/mysql-mmm#  
root@monitor:/etc/mysql-mmm# mmm_control show  
master1(172.20.0.11) master/ONLINE. Roles: reader(172.20.0.111), writer(172.20.0.100)  
master2(172.20.0.21) master/ONLINE. Roles: reader(172.20.0.122)  
slave1(172.20.0.12) slave/ONLINE. Roles: reader(172.20.0.211)  
slave2(172.20.0.22) slave/ONLINE. Roles: reader(172.20.0.222)

root@monitor:/etc/mysql-mmm# mysql -uroot -proot -h172.20.0.100 -e 'select @@hostname'  
mysql: \[Warning\] Using a password on the command line interface can be insecure.  
+
---+  
| @@hostname |  
+
---+  
| master1.mysql |  
+
---+  
root@monitor:/etc/mysql-mmm# mysql -uroot -proot -h172.20.0.111 -e 'select @@hostname'  
mysql: \[Warning\] Using a password on the command line interface can be insecure.  
+
---+  
| @@hostname |  
+
---+  
| master1.mysql |  
+
---+  
root@monitor:/etc/mysql-mmm# mysql -uroot -proot -h172.20.0.122 -e 'select @@hostname'  
mysql: \[Warning\] Using a password on the command line interface can be insecure.  
+
---+  
| @@hostname |  
+
---+  
| master2.mysql |  
+
---+  
root@monitor:/etc/mysql-mmm# mysql -uroot -proot -h172.20.0.211 -e 'select @@hostname'  
mysql: \[Warning\] Using a password on the command line interface can be insecure.  
+
-----+  
| @@hostname |  
+
-----+  
| slave1.mysql |  
+
-----+  
root@monitor:/etc/mysql-mmm# mysql -uroot -proot -h172.20.0.222 -e 'select @@hostname'  
mysql: \[Warning\] Using a password on the command line interface can be insecure.  
+
-----+  
| @@hostname |  
+
-----+  
| slave2.mysql |  
+
-----+  
root@monitor:/etc/mysql-mmm#

验证 MMM 的高可用

我们把 master1 节点上面的 MySQL 服务停止掉，来验证一下是否会把主从同步的源头从 master1 切换为 master2 上面，并且我们在 monitor 节点上，仍然可以通过 writer
vip 去连接到 MySQL 上。

停止 master1 节点上面的 MySQL 服务，在 master1 节点上，执行如下命令：

1
2
3
4
5
root@master1:~/Net-ARP-1.0.11# etc/init.d/mysql stop  
............  
\[info\] MySQL Community Server 5.7.31 is stopped.  
root@master1:~/Net-ARP-1.0.11# %   
➜  ~

接着，我们在 monitor 节点上，查看 MMM 监控各个节点服务的状态，发现 master1 节点以及下线了，并且我们的 writer
ip，已经从原先的 master1 节点迁移到 master2 节点上了。如下所示：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
root@monitor:/etc/mysql-mmm# mmm_control show  
# Warning: agent on host master1 is not reachable  
master1(172.20.0.11) master/HARD_OFFLINE. Roles:  
master2(172.20.0.21) master/ONLINE. Roles: reader(172.20.0.122), writer(172.20.0.100)  
slave1(172.20.0.12) slave/ONLINE. Roles: reader(172.20.0.111), reader(172.20.0.211)  
slave2(172.20.0.22) slave/ONLINE. Roles: reader(172.20.0.222)

root@monitor:/etc/mysql-mmm# mmm_control checks all  
slave2 ping \[last change: 2021/02/23 16:19:44\] OK  
slave2 mysql \[last change: 2021/02/23 16:19:44\] OK  
slave2 rep_threads \[last change: 2021/02/23 16:19:44\] OK  
slave2 rep_backlog \[last change: 2021/02/23 16:19:44\] OK: Backlog is null  
master1 ping \[last change: 2021/02/23 18:44:57\] ERROR: Could not ping 172.20.0.11  
master1 mysql \[last change: 2021/02/23 18:44:40\] ERROR: Connect error (host = 172.20.0.11:3306, user = mmm_monitor)!
Can't connect to MySQL server on '172.20.0.11' (115)  
master1 rep_threads \[last change: 2021/02/23 16:19:44\] OK  
master1 rep_backlog \[last change: 2021/02/23 16:19:44\] OK: Backlog is null  
slave1 ping \[last change: 2021/02/23 16:19:44\] OK  
slave1 mysql \[last change: 2021/02/23 16:19:44\] OK  
slave1 rep_threads \[last change: 2021/02/23 16:19:44\] OK  
slave1 rep_backlog \[last change: 2021/02/23 16:19:44\] OK: Backlog is null  
master2 ping \[last change: 2021/02/23 16:19:44\] OK  
master2 mysql \[last change: 2021/02/23 16:19:44\] OK  
master2 rep_threads \[last change: 2021/02/23 16:19:44\] OK  
master2 rep_backlog \[last change: 2021/02/23 16:19:44\] OK: Backlog is null

root@monitor:/etc/mysql-mmm#

此时我们看到 master2 上面的 IP 地址信息如下，writer vip 172.20.0.100
已经迁移到了 master2 主机上了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
root@master2:~/Net-ARP-1.0.11# ip addr  
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000  
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00  
inet 127.0.0.1/8 scope host lo  
valid\_lft forever preferred\_lft forever  
2: tunl0@NONE: <NOARP> mtu 1480 qdisc noop state DOWN group default qlen 1000  
link/ipip 0.0.0.0 brd 0.0.0.0  
3: ip6tnl0@NONE: <NOARP> mtu 1452 qdisc noop state DOWN group default qlen 1000  
link/tunnel6 :: brd ::  
12: eth0@if13: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default  
link/ether 02:42:ac:14:00:15 brd ff:ff:ff:ff:ff:ff link-netnsid 0  
inet 172.20.0.21/24 brd 172.20.0.255 scope global eth0  
valid\_lft forever preferred\_lft forever  
inet 172.20.0.122/32 scope global eth0  
valid\_lft forever preferred\_lft forever  
inet 172.20.0.100/32 scope global eth0  
valid\_lft forever preferred\_lft forever  
root@master2:~/Net-ARP-1.0.11#

在 monitor 节点上，查看 MMM 的监控服务器的日志信息如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
root@monitor:/etc/mysql-mmm# tail -20 /var/log/mysql-mmm/mmm_mond.log  
2021/02/23 16:19:49 INFO Check 'mysql' on 'slave2' is ok!  
2021/02/23 16:19:49 INFO Check 'mysql' on 'master1' is ok!  
2021/02/23 16:19:49 INFO Check 'mysql' on 'slave1' is ok!  
2021/02/23 16:19:49 INFO Check 'mysql' on 'master2' is ok!  
2021/02/23 18:44:30 WARN Check 'rep_threads' on 'master1' is in unknown state! Message: UNKNOWN: Connect error (host =
172.20.0.11:3306, user = mmm_monitor)! Can't connect to MySQL server on '172.20.0.11' (115)  
2021/02/23 18:44:30 WARN Check 'rep_backlog' on 'master1' is in unknown state! Message: UNKNOWN: Connect error (host =
172.20.0.11:3306, user = mmm_monitor)! Can't connect to MySQL server on '172.20.0.11' (115)  
2021/02/23 18:44:40 ERROR Check 'mysql' on 'master1' has failed for 10 seconds! Message: ERROR: Connect error (host =
172.20.0.11:3306, user = mmm_monitor)! Can't connect to MySQL server on '172.20.0.11' (115)  
2021/02/23 18:44:41 FATAL State of host 'master1' changed from ONLINE to HARD_OFFLINE (ping: OK, mysql: not OK)  
2021/02/23 18:44:41 INFO Removing all roles from host 'master1':  
2021/02/23 18:44:41 INFO Removed role 'reader(172.20.0.111)' from host 'master1'  
2021/02/23 18:44:41 INFO Removed role 'writer(172.20.0.100)' from host 'master1'  
2021/02/23 18:44:41 FATAL Can't reach agent on host 'master1'  
2021/02/23 18:44:41 ERROR Can't send offline status notification to 'master1' \- killing it!  
2021/02/23 18:44:41 FATAL Could not kill host 'master1' \- there may be some duplicate ips now! (There's no binary
configured for killing hosts.)  
2021/02/23 18:44:41 INFO Orphaned role 'writer(172.20.0.100)' has been assigned to 'master2'  
2021/02/23 18:44:41 INFO Orphaned role 'reader(172.20.0.111)' has been assigned to 'slave1'  
2021/02/23 18:44:57 ERROR Check 'ping' on 'master1' has failed for 11 seconds! Message: ERROR: Could not ping
172.20.0.11  
root@monitor:/etc/mysql-mmm#

我们在 monitor 节点上，再次尝试连接到 writer vip 172.20.0.100
上面，发现已经连接到 master2 上面了，如下所示：

1
2
3
4
5
6
7
8
9
10
11
root@monitor:/etc/mysql-mmm# mysql -uroot -proot -h172.20.0.100 -e 'select @@hostname'  
mysql: \[Warning\] Using a password on the command line interface can be insecure.  
+
---+  
| @@hostname |  
+
---+  
| master2.mysql |  
+
---+  
root@monitor:/etc/mysql-mmm#

下面我们看一下 slave1 和 slave2 节点主从同步的配置是否，自动切换到 master2 节点上。分别登录到 slave1 和 slave2 节点上执行如下 SQL 命令：

1
2
select * from mysql.slave\_master\_info\\G

查看结果如下：

通过下面的截图，可以看出在新的主节点上面执行的插入数据，是可以正常的同步到两个 slave 从节点上。

下面我们把 master1 节点重新启动，让 MySQL 数据库服务恢复。

1
2
3
4
5
6
7
8
# 启动 master1 容器   
docker start mysql-ha-mmm-master1

#  进入 master1 容器   
docker exec -it mysql-ha-mmm-master1 /bin/bash

#  启动 master1 上面的 MMM 的 agent 服务  
/etc/init.d/mysql-mmm-agent start

进入 monitor 节点上，查看各个节点的状态：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 在 master1 启动后，在 monitor 节点查看各个节点状态的时候，发现已经不再有 "Warning: agent on host master1 is not reachable"
 的警告了。  
root@monitor:/etc/mysql-mmm# mmm_control show  
master1(172.20.0.11) master/AWAITING_RECOVERY. Roles:  
master2(172.20.0.21) master/ONLINE. Roles: reader(172.20.0.122), writer(172.20.0.100)  
slave1(172.20.0.12) slave/ONLINE. Roles: reader(172.20.0.111), reader(172.20.0.211)  
slave2(172.20.0.22) slave/ONLINE. Roles: reader(172.20.0.222)

# 设置 master1 节点上线   
root@monitor:/etc/mysql-mmm# mmm\_control set\_online master1  
OK: State of 'master1' changed to ONLINE. Now you can wait some time and check its new roles!

#  再次查看各个节点的状态，发现 master1 已经上线了。但是它此时成立备用的主节点了，并且给他分配了一个 reader VIP 地址。  
root@monitor:/etc/mysql-mmm# mmm_control show  
master1(172.20.0.11) master/ONLINE. Roles: reader(172.20.0.211)  
master2(172.20.0.21) master/ONLINE. Roles: reader(172.20.0.122), writer(172.20.0.100)  
slave1(172.20.0.12) slave/ONLINE. Roles: reader(172.20.0.111)  
slave2(172.20.0.22) slave/ONLINE. Roles: reader(172.20.0.222)

root@monitor:/etc/mysql-mmm#

MMM 高可用验证结果小结：

  • master1 节点宕机之后，master2 节点会接管 master1 的所有任务。

  • writer VIP 会自动从 master1 上面转移到 master2 上面。

  • 两个从节点 slave1 和 slave2 会自动的把主从同步的链路从 master1 切换到 master2 上面。

  • 如果在 master1 上除了提供写的服务，还提供可读的服务，也就是为其分配了 reader VIP，那么当 master1 宕机后，这个 reader
    VIP 不会丢失，会被迁移到其他任意一个节点上。

  • 在 master1 重启后，在 monitor 节点通过命令 mmm_control set_online master1
    设置 master1 节点上线后，master1 节点不会接管现有 master2 的角色，而是作为一个备用主节点集群中提供服务。此时，只有 master2 节点宕机后，master1 节点才会重新成为主节点的角色。

  • 随着 master1 和 master2 节点的宕机和恢复，提供写的 VIP 会在两个节点上来回切换。

对于这个 5 个服务器组成的高可用集群，如果我们担心 MMM 的 monitor 节点是单节点，不是高可用的 monitor 服务，我们可以在选择一台服务器，在上面部署另外一个 monitor 服务，使用 keepalive 组件，保证两个 monitor 服务至少有一个可用。这样就更加完美了。

总结

上面就是关于 MySQL 高可用架构 -MMM 架构的搭建过程。期间涉及到了 MySQL 主从同步集群的搭建，我们搭建了一个双主双从的集群，然后基于这个集群，又在每一个节点上面编译安装了 MMM 插件，在每一个节点上启动了 MMM 的 agent 服务。还选择了一台服务器，安装 MMM 监控服务。

希望对你有所帮助，后续会分享其他高可用架构搭建的方式。