mysql5.7-基于docker-compose搭建主从同步
一、环境信息
- 系统版本：CentOS Linux release 7.9.2009 (Core)
- cat /etc/centos-release
- Docker版本：Docker version 20.10.6, build 370c289
- docker --version
- Docker-compose版本：Docker Compose version v2.10.2
- docker-compose --version
- MySQL版本：5.7
- mysql> select version()
- 主机两台 或者 单台部署两个容器
二、主从复制说明
1、简单了解下binlog
- binlog是记录所有数据库表结构变更（例如CREATE、ALTER TABLE…）以及表数据修改（INSERT、UPDATE、DELETE…）的二进制日志。
- binlog日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的DDL和DML(除了数据查询语句)语句事件。
- binlog有三种格式：statement基于sql语句复制、row基于行数据变更的复制、mixed混合前两种格式的复制。
2、主从复制原理
- Master将改变记录到二进制日志(binary log)中
- Slave将Master的二进制日志事件(binary log events)拷贝到它的中继日志(relay log)
- Slave重做中继日志(Relay Log)中的事件，将Master上的改变反映到它自己的数据库中
- 这些是由从库在做，所以是异步的数据同步
3、主从复制应用场景
- 主从服务器互为备份，加强数据库架构的健壮性
- 主从服务器读写分离，分担网站压力，从服务器只处理用户的查询请求
- 将从服务器，按照业务拆分，分担压力
三、master主节点配置
1、目录结构
.
├── docker-compose.yml
└── mysql└── conf│ └── my.cnf└── data└── log
需要
docker-compose.yml和my.cnf两个文件
2、my.cnf配置文件
创建文件夹
mkdir -p mysql/conf
配置文件
cat >> mysql/conf/my.cnf <<EOF# @Author: Johnny
# master[mysqld]# [必须]服务器唯一ID
server-id=104# [必须]启用二进制日志
log-bin=mysql-bin # 复制过滤：也就是指定哪个数据库不用同步（mysql库一般不同步）
binlog-ignore-db=mysql# 确保binlog日志写入后与硬盘同步
sync_binlog = 1# 跳过所有的错误，继续执行复制操作
slave-skip-errors = all # default
skip-host-cache
skip-name-resolve
datadir=/var/lib/mysql
socket=/var/run/mysqld/mysqld.sock
secure-file-priv=/var/lib/mysql-files
user=mysql# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0#log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
[client]
socket=/var/run/mysqld/mysqld.sock!includedir /etc/mysql/conf.d/
!includedir /etc/mysql/mysql.conf.d/EOF3、docker-compose.yml
# @Author: Johnnyversion: '3'
services:mysql:container_name: mysql-masterimage: mysql:5.7restart: alwaysvolumes:- $PWD/mysql/log:/var/log/mysql - $PWD/mysql/conf/my.cnf:/etc/mysql/my.cnf- $PWD/mysql/data:/var/lib/mysqlports:- '3306:3306'command: ['--explicit_defaults_for_timestamp=true','--character-set-server=utf8mb4','--collation-server=utf8mb4_general_ci','--max_connections=3000']environment:MYSQL_ROOT_PASSWORD: "shield"将上面的内容准备好后，安装：
docker-compose up -d
4、配置主从同步账号和权限
进入容器
docker exec -it mysql-master bash
登录mysql
mysql -uroot -pshield
执行sql
# 查看配置的服务ID，显示的应该是配置的ID
mysql> show variables like '%server_id%';
+----------------+-------+
| Variable_name | Value |
+----------------+-------+
| server_id | 104 |
| server_id_bits | 32 |
+----------------+-------+# 看master信息 File 和 Position 从服务上要用
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 154 | | mysql | |
+------------------+----------+--------------+------------------+-------------------+# 创建同步账户并开启权限，只是同步账号
mysql> create user 'sync'@'%' identified by '123456';
mysql> grant replication slave,replication client on *.* to 'sync'@'%';# 刷新信息生效
mysql> flush privileges;
四、slave从节点配置（备份节点）
如果是一台主机安装2个mysql，注意更新
docker-compose.yml中的端口，避免端口冲突
1、目录结构
.
├── docker-compose.yml
└── mysql└── conf│ └── my.cnf└── data└── log
需要
docker-compose.yml和my.cnf两个文件
2、my.cnf配置文件
创建文件夹
mkdir -p mysql/conf
配置文件
cat >> mysql/conf/my.cnf <<EOFcat >> mysql/conf/my.cnf <<EOF# @Author: Johnny
# slave[mysqld]
# [必须]服务器唯一ID
server-id=106# [必须]启用二进制日志
log-bin=mysql-bin # 复制过滤：也就是指定哪个数据库不用同步（mysql库一般不同步）
binlog-ignore-db=mysql# 确保binlog日志写入后与硬盘同步
sync_binlog = 1# 跳过所有的错误，继续执行复制操作
slave-skip-errors = all # relay_log配置中继日志
relay_log=mysql-relay-bin # log_slave_updates表示slave将复制事件写进自己的二进制日志
log_slave_updates=1 # default
skip-host-cache
skip-name-resolve
datadir=/var/lib/mysql
socket=/var/run/mysqld/mysqld.sock
secure-file-priv=/var/lib/mysql-files
user=mysql# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0#log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
[client]
socket=/var/run/mysqld/mysqld.sock!includedir /etc/mysql/conf.d/
!includedir /etc/mysql/mysql.conf.d/EOF3、docker-compose.yml
# @Author: Johnnyversion: '3'
services:mysql:container_name: mysql-slaveimage: mysql:5.7restart: alwaysvolumes:- $PWD/mysql/log:/var/log/mysql - $PWD/mysql/conf/my.cnf:/etc/mysql/my.cnf- $PWD/mysql/data:/var/lib/mysqlports:- '3306:3306'command: ['--explicit_defaults_for_timestamp=true','--character-set-server=utf8mb4','--collation-server=utf8mb4_general_ci','--max_connections=3000']environment:MYSQL_ROOT_PASSWORD: "shield"将上面的内容准备好后，安装：
docker-compose up -d
4、链接master节点
docker exec -it mysql-slave bash
mysql -uroot -pshield
执行sql
#查看server_id是否生效
mysql> show variables like '%server_id%';
+----------------+-------+
| Variable_name | Value |
+----------------+-------+
| server_id | 106 |
| server_id_bits | 32 |
+----------------+-------+# 连接主mysql服务 master_log_file 和 master_log_pos的值要填写主master里查出来的值 注意这里使用的docker-compose 内部服务的端口和ip，实际应该为真实的master_host，参数看后面的介绍
mysql> change master to master_host='mysql-master',master_user='sync',master_password='123456',master_port=3306,master_log_file='mysql-bin.000001', master_log_pos=154,master_connect_retry=30;######################################################
### 连接主mysql参数说明：
### master_port：Master的端口号，指的是容器的端口号
### master_user：用于数据同步的用户
### master_password：用于同步的用户的密码
### master_log_file：指定 Slave 从哪个日志文件开始复制数据，即上文中提到的 File 字段的值
### master_log_pos：从哪个 Position 开始读，即上文中提到的 Position 字段的值
### master_connect_retry：如果连接失败，重试的时间间隔，单位是秒，默认是60秒
####################################################### 开启slave
mysql> start slave;mysql> show slave status \G
*************************** 1. row ***************************Slave_IO_State: Waiting for source to send eventMaster_Host: mysql-masterMaster_User: syncMaster_Port: 3306Connect_Retry: 30Master_Log_File: mysql-bin.000001Read_Master_Log_Pos: 1166Relay_Log_File: mysql-relay-bin.000002Relay_Log_Pos: 1334Relay_Master_Log_File: mysql-bin.000001Slave_IO_Running: YesSlave_SQL_Running: YesReplicate_Do_DB: Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0Last_Error: Skip_Counter: 0Exec_Master_Log_Pos: 1166Relay_Log_Space: 1543Until_Condition: NoneUntil_Log_File: Until_Log_Pos: 0Master_SSL_Allowed: NoMaster_SSL_CA_File: Master_SSL_CA_Path: Master_SSL_Cert: Master_SSL_Cipher: Master_SSL_Key: Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: NoLast_IO_Errno: 0Last_IO_Error: Last_SQL_Errno: 0Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 888Master_UUID: 05f48dfa-4afd-11ee-821c-0242ac170002Master_Info_File: mysql.slave_master_infoSQL_Delay: 0SQL_Remaining_Delay: NULLSlave_SQL_Running_State: Replica has read all relay log; waiting for more updatesMaster_Retry_Count: 86400Master_Bind: Last_IO_Error_Timestamp: Last_SQL_Error_Timestamp: Master_SSL_Crl: Master_SSL_Crlpath: Retrieved_Gtid_Set: Executed_Gtid_Set: Auto_Position: 0Replicate_Rewrite_DB: Channel_Name: Master_TLS_Version: Master_public_key_path: Get_master_public_key: 0Network_Namespace:
1 row in set, 1 warning (0.01 sec)看到下列信息代表链接成功
Slave_IO_Running:Yes;
Slave_SQL_Running:Yes;
五、常见问题
1、常用命令
stop slave;
start slave;
show slave status;
2、设置从服务器slave为只读模式（可选）
SHOW VARIABLES LIKE '%read_only%'; #查看只读状态SET GLOBAL super_read_only=1; #super权限的用户只读状态 1.只读 0：可写
SET GLOBAL read_only=1; #普通权限用户读状态 1.只读 0：可写