当前位置: 首页 > news >正文

PostgreSQL 学习笔记:PostgreSQL 主从复制

PostgreSQL 笔记:PostgreSQL 主从复制

博客地址:TMDOG 的博客

在现代应用程序中,数据库的高可用性和扩展性是至关重要的。PostgreSQL 提供了主从复制功能,可以在多个数据库实例之间复制数据,以实现冗余和负载均衡。本文将介绍如何在 Docker 环境中构建PostgreSQL 主从复制环境。

1. 主从复制原理

PostgreSQL 的主从复制是通过将主服务器的 WAL(Write-Ahead Logging)日志复制到从服务器实现的。以下是主要原理:

  • 预写式日志(WAL): PostgreSQL 使用预写式日志记录事务更改,确保在任何时刻数据的完整性。在执行写入操作之前,系统会将更改先写入 WAL,这样即使发生崩溃,也可以通过 WAL 恢复数据。

  • 主服务器(Master): 负责处理所有写入操作。当数据被写入时,它首先记录到 WAL 中,然后再应用到数据文件。

  • 从服务器(Slave): 被配置为从主服务器接收和应用 WAL 日志,以保持数据一致性。它可以处于热备份状态,随时接收主服务器的更新。

  • 复制角色: 从服务器需要一个具备复制权限的角色(如 repl),通过此角色进行身份验证和连接。

  • 异步与同步复制: PostgreSQL 支持异步和同步复制。异步复制可以提高性能,但主服务器不会等待从服务器确认接收到数据,而同步复制则确保数据在主服务器和从服务器之间一致性。

2. 创建网络环境

首先,我们需要为 PostgreSQL 实例创建一个 Docker 网络,以便它们可以相互通信。

docker network create pg-network

请添加图片描述

3. 创建主服务器

接下来,启动一个 PostgreSQL 主服务器容器。我们将数据存储在宿主机上,以便在容器重启时数据不会丢失。

docker run --network=pg-network --name pgsmaster -p 5500:5432 -e POSTGRES_PASSWORD=123456 -v /var/lib/pgsmaster:/var/lib/postgresql/data -d postgres:16.4

请添加图片描述

4. 创建从属服务器

同样,我们创建一个 PostgreSQL 从属服务器容器。它将用于接收主服务器的数据复制。

docker run --network=pg-network --name pgsslave -p 5501:5432 -e POSTGRES_PASSWORD=123456 -d postgres:16.4

请添加图片描述
请添加图片描述

5. 获取 IP 地址

为了配置主从复制,我们需要获取主从服务器的 IP 地址:

docker inspect pgsmaster | grep IPAddress
docker inspect pgsslave | grep IPAddress

请添加图片描述

6. 配置主服务器

编辑主服务器的 postgresql.conf 文件,添加从属连接信息。使用上一步获取的 IP 地址。

cat >> /var/lib/pgsmaster/postgresql.conf <<-'EOF'
primary_conninfo = 'host=<主服务器IP> port=5432 user=repl password=repl' 
EOF

请添加图片描述

7. 更新 pg_hba.conf

为了允许从属服务器连接到主服务器,我们需要更新 pg_hba.conf 文件:

cat >> /var/lib/pgsmaster/pg_hba.conf <<-'EOF'
host	replication	repl		<从属服务器IP>/32		md5
EOF

请添加图片描述

8. 重启主服务器

重启主服务器以使配置更改生效:

docker restart pgsmaster

9. 进入主服务器容器控制台

现在我们进入主服务器的容器:

docker exec -it pgsmaster /bin/bash

10. 创建复制角色

在从属服务器上,我们需要创建一个角色来处理复制:

psql -U postgres
# 关闭同步提交,从属服务器不会等待主服务器确认数据已写入后再提交事务。
set synchronous_commit = off;
# 创建复制角色
create role repl login replication encrypted password 'repl';
# 查看角色
\du
\q
exit

请添加图片描述

我们看到repl角色,说明创建成功

11. 进入从属服务器

现在我们进入从属服务器的容器:

docker exec -it pgsslave /bin/bash

12. 数据备份

使用 pg_basebackup 从主服务器备份数据:
此次备份是将整个数据库文件从主服务器中备份下来,而不是通过流的形式备份

pg_basebackup -Fp --progress -D /home/opt/postgresql-16.0/data/ -R -h <主服务器IP> -p 5432 -U repl --password

输入密码:repl

请添加图片描述
请添加图片描述

exit退出

13. 复制数据到宿主机

将从属服务器的数据复制到宿主机,以便我们可以在新的从属服务器中使用:

docker cp pgsslave:/home/opt/postgresql-16.0/data/ /var/lib/pgsslave

请添加图片描述

我们查看/var/lib/pgsslave包含完整的数据库文件

请添加图片描述

14. 删除从属服务器

删除旧的从属服务器容器:

docker rm -f pgsslave

15. 使用复制的数据创建新的从属服务器

重新创建从属服务器,使用之前备份的数据:

docker run --network=pg-network --name pgsslave -p 5501:5432 -e POSTGRES_PASSWORD=123456 -v /var/lib/pgsslave:/var/lib/postgresql/data -d postgres:16.4

请添加图片描述

16. 查看从属服务器日志

最后,查看从属服务器的日志,以确保复制正常运行:

docker logs -f pgsslave

我们发现日志中包含“recovery”、“WAL”等字样

请添加图片描述

测试

我们连接两个数据库

请添加图片描述

在主服务器上创建表并插入数据
请添加图片描述
请添加图片描述

我们打开从属服务器发现数据同步了

请添加图片描述

我们想在从属服务器插入数据发现插入失败

请添加图片描述

查看主服务器的复制日志表发现复制记录

请添加图片描述

总结

通过以上步骤,我们成功地在 Docker 中创建了 PostgreSQL 主从复制环境。主从复制不仅提高了数据的可靠性,还可以帮助我们在负载较高时进行负载均衡、实现读写分离增强数据库的吞吐量。

http://www.lryc.cn/news/478434.html

相关文章:

  • 【系统架构设计师(第2版)】十一、未来信息综合技术
  • Pytorch学习--神经网络--优化器
  • w~自动驾驶合集11
  • 大数据新视界 -- 大数据大厂之 Impala 性能优化:解锁大数据分析的速度密码(上)(1/30)
  • GESP4级考试语法知识(算法概论(三))
  • x-cmd pkg | gum - 轻松构建美观实用的终端界面,解锁命令行新玩法
  • WMS系统打通仓储全链条数据势在必行,该如何做呢
  • 基于Python的校园爱心帮扶管理系统
  • 如何基于pdf2image实现pdf批量转换为图片
  • Tomcat(1) 什么是Tomcat?
  • 商务礼仪与职场沟通
  • C语言必做30道练习题
  • Linux信号_信号的产生
  • 数据库基础(7) . DML-基本操作
  • windows运行ffmpeg的脚本报错:av_ts2str、av_ts2timestr、av_err2str => E0029 C4576
  • [mysql]mysql的DML数据操作语言增删改,以及新特性计算列,阿里巴巴开发手册mysql相关
  • Github 2024-11-07 Go开源项目日报 Top10
  • 【黑盒测试】等价类划分法及实例
  • LeetCode17. 电话号码的字母组合(2024秋季每日一题 59)
  • SQLite数据库是什么?DB Browser for SQLite是什么?
  • 核心概念解析Caffeine 缓存模型与策略
  • ubuntu 22.04 防火墙
  • 【数据结构-合法括号字符串】力扣678. 有效的括号字符串
  • ThreadX在STM32上的移植:F1,F4通用启动文件tx_initialize_low_level.s
  • 【算法】递归+深搜:814.二叉树剪枝
  • spring Framework 特定条件下目录遍历漏洞(CVE-2024-38816)修复
  • ESP32-C3 入门笔记03:VScode + flash_download_tool 下载烧录程序(ESP-IDF + PlatformIO)
  • Node.js——fs模块-文件重命名和移动
  • vue2.0版本引入Element-ui问题解决
  • qt QTableView详解