当前位置： 首页 > news >正文

LVS-DR负载均衡群集深度实践：高性能架构设计与排障指南

news 2025/6/26 14:15:47

目录

一、核心原理与理论

二、背景与架构设计

三、全流程部署步骤

1. NFS共享存储配置（192.168.7.100）

 2. Real Server节点配置（四台服务器）

3. Director服务器配置

四、常见问题解决方案

五、生产环境总结

拓扑示意图：

一、核心原理与理论

LVS-DR（Direct Routing）模式通过MAC地址改写实现高效转发：

  • 数据流向

  • LVS-DR（Direct Routing）工作流程：

    • 请求处理

      • 客户端访问VIP（172.16.16.172）

      • Director接收请求，通过调度算法选择Real Server

      • 修改目标MAC地址（不改变IP）转发至Real Server

      • Real Server通过lo:0接口直接响应客户端

    • 关键技术

      • ARP抑制：Real Server隐藏VIP（arp_ignore=1, arp_announce=2）

      • 直接路由：响应流量不经过Director

      • 双网卡隔离：公网(ens33)处理客户端请求，内网(ens37)连接存储

二、背景与架构设计

网络规划：

设备ens33 (公网)ens37 (存储内网)
Director172.16.16.171192.168.7.171
Real Server×4172.16.16.131-134192.168.7.131-134
NFS Server-192.168.7.100
VIP172.16.16.172-

核心优势：

  • 吞吐量提升：响应流量直返客户端，避免Director瓶颈

  • 安全隔离：存储网络独立于公网

  • 数据一致性：NFS共享Web根目录

场景需求：

  • 公网访问VIP：172.16.16.0/24（ens33）

  • 存储内网通信：192.168.7.0/24（ens37）

  • 共享存储：NFS服务器发布/var/www/html

架构优势：

  • 解耦网络流量：公网/内网物理隔离

  • 数据一致性：NFS共享Web根目录

  • 高性能：DR模式避免Director带宽瓶颈

三、全流程部署步骤

1. NFS共享存储配置（192.168.7.100）

# 安装NFS服务
yum install -y nfs-utils rpcbind# 创建共享目录
mkdir -p /var/www/html
chmod 777 /var/www/html# 配置访问权限（/etc/exports）
echo "/var/www/html 172.16.16.0/24(rw,sync,no_root_squash)" >> /etc/exports
echo "/var/www/html 192.168.7.0/24(rw,sync,no_root_squash)" >> /etc/exports# 启动服务
systemctl enable --now rpcbind nfs-server
firewall-cmd --add-service=nfs --permanent
firewall-cmd --reload

 2. Real Server节点配置（四台服务器）

# 挂载NFS存储
yum install -y nfs-utils
mkdir -p /var/www/html
mount -t nfs 192.168.7.100:/var/www/html /var/www/html
echo "192.168.7.100:/var/www/html /var/www/html nfs defaults 0 0" >> /etc/fstab# 配置VIP到lo:0
echo "DEVICE=lo:0" > /etc/sysconfig/network-scripts/ifcfg-lo:0
echo "IPADDR=172.16.16.172" >> /etc/sysconfig/network-scripts/ifcfg-lo:0
echo "NETMASK=255.255.255.255" >> /etc/sysconfig/network-scripts/ifcfg-lo:0
ifup lo:0# 添加永久路由
echo "route add -host 172.16.16.172 dev lo:0" >> /etc/rc.local
chmod +x /etc/rc.d/rc.local
route add -host 172.16.16.172 dev lo:0# 配置ARP抑制
echo "net.ipv4.conf.all.arp_ignore = 1" >> /etc/sysctl.conf
echo "net.ipv4.conf.all.arp_announce = 2" >> /etc/sysctl.conf
echo "net.ipv4.conf.lo.arp_ignore = 1" >> /etc/sysctl.conf
echo "net.ipv4.conf.lo.arp_announce = 2" >> /etc/sysctl.conf
sysctl -p# 安装Web服务（以Nginx为例）
yum install -y nginx
systemctl enable --now nginx

3. Director服务器配置

# 配置VIP到ens33:0
echo "DEVICE=ens33:0" > /etc/sysconfig/network-scripts/ifcfg-ens33:0
echo "IPADDR=172.16.16.172" >> /etc/sysconfig/network-scripts/ifcfg-ens33:0
echo "NETMASK=255.255.255.255" >> /etc/sysconfig/network-scripts/ifcfg-ens33:0
ifup ens33:0# 禁用ICMP重定向
echo "net.ipv4.conf.all.send_redirects = 0" >> /etc/sysctl.conf
echo "net.ipv4.conf.ens33.send_redirects = 0" >> /etc/sysctl.conf
sysctl -p# 加载IP_VS模块
modprobe ip_vs# 安装管理工具
yum install -y ipvsadm# 配置LVS规则
ipvsadm -C
ipvsadm -A -t 172.16.16.172:80 -s rr
ipvsadm -a -t 172.16.16.172:80 -r 172.16.16.131:80 -g -w 1
ipvsadm -a -t 172.16.16.172:80 -r 172.16.16.132:80 -g -w 1
ipvsadm -a -t 172.16.16.172:80 -r 172.16.16.133:80 -g -w 1
ipvsadm -a -t 172.16.16.172:80 -r 172.16.16.134:80 -g -w 1# 保存配置
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl enable ipvsadm

 4. 验证配置

# 在客户端访问测试
curl http://172.16.16.172# 查看连接分发
ipvsadm -Ln --stats# 检查Real ServerARP抑制
sysctl -a | grep arp_ignore# 测试NFS写入
touch /var/www/html/testfile

 

 

四、常见问题解决方案

故障现象诊断方法解决方案
VIP无法访问ipvsadm -Ln查看规则状态检查Director的VIP配置和路由
所有请求分配到同一节点检查调度算法(-s参数)确认使用rr轮询而非sh等哈希算法
NFS写入权限被拒绝showmount -e 192.168.7.100检查exports的no_root_squash配置
节点服务器无法响应VIP请求tcpdump -i lo host 172.16.16.172验证ARP抑制参数是否生效
存储网络延迟高ping -s 8972 192.168.7.100调整MTU：ip link set ens37 mtu 9000

五、生产环境总结

性能优化建议：

  1. 网卡调优

    # 启用巨帧（存储网络）
ip link set ens37 mtu 9000
ethtool -G ens37 rx 4096 tx 4096

  2. 内核参数优化

    # Director防止端口耗尽
echo "net.ipv4.ip_local_port_range = 1024 65000" >> /etc/sysctl.conf# Real Server连接复用
echo "net.ipv4.tcp_tw_reuse = 1" >> /etc/sysctl.conf

  3. 会话保持方案

    # 启用源IP哈希调度
ipvsadm -E -t 172.16.16.172:80 -s sh
    ​​​​​​​

容灾设计：

  • 使用Keepalived实现Director双机热备

  • 存储网络配置bonding冗余

  • 实时监控：watch -n 1 "ipvsadm -Ln --stats"

 经验总结：在双网卡架构中，务必关闭存储网卡的ARP代理：

echo "net.ipv4.conf.ens37.proxy_arp = 0" >> /etc/sysctl.conf

拓扑示意图：

[ 客户端 ]|| (访问 172.16.16.172)|
[ Director ]|      ||      | (ens37: 192.168.7.0/24)|      ||    [ NFS Server ]|      (192.168.7.100)|| (调度流量)|
[Real Server1]--[Real Server2]--[Real Server3]--[Real Server4]
(172.16.16.131) (172.16.16.132) (172.16.16.133) (172.16.16.134)

 

http://www.lryc.cn/news/575189.html

相关文章：

  • 鸿蒙OpenHarmony[Disassembler反汇编工具]ArkTS运编译工具链
  • vue3递归组件的使用
  • LVS-NAT负载均衡群集实战：原理、部署与问题排查
  • Vue计算属性与监视属性
  • 机器人 “离线觉醒” ？ 摆脱人类“控制”！Google DeepMind 优化 AI 让机器人断网不断智！
  • spring项目启动sheel脚本
  • 如何打造Apache Top-Level开源时序数据库IoTDB
  • 北斗导航 | 基于CNN-LSTM-PSO算法的接收机自主完好性监测算法
  • 服务器开放端口如何设置，本地内网开通应用端口让外网访问连接步骤
  • Fisco Bcos学习 - 控制台搭建和基本使用
  • 在ASP.NET Core WebApi中使用标识框架（Identity)
  • 网络安全漏洞扫描是什么？如何识别目标进行扫描？
  • 通用 Excel 导出功能设计与实现：动态列选择与灵活配置
  • 国道观察者手记
  • React + Umi（Umijs/Max） 搭建项目及配置
  • 大学专业科普 | 物联网、自动化和人工智能
  • 多服务器IP白名单配置(使用redis stream实现)
  • 神经网络的运作方式类比讲解
  • 【EI会议征稿】东北大学主办第三届机器视觉、图像处理与影像技术国际会议（MVIPIT 2025）
  • Arm架构下麒麟V10桌面版安装MySQL
  • Android14音频子系统-Linux音频子系统ASoC-ALSA
  • Linux size命令详解
  • Android14音频子系统-Linux音频子系统ALSA
  • MFC对话框启动时就隐藏窗口
  • 开疆智能CCLinkIE转ModbusTCP网关连接脉冲计数器配置案例
  • matlab机器人工具箱（Robotics Toolbox）安装及使用
  • 分布式系统 - 分布式缓存及方案实现
  • python网络自动化-数据格式与数据建模语言
  • 如何快速将iPhone中的文本保存到电脑上
  • 基于SSM框架+mysql实现的监考安排管理系统[含源码+数据库+项目开发技术手册]