Ceph入门到精通-大流量10GB/s LVS+OSPF 高性能架构
LVS 和 LVS+keepalived 这两种架构在平时听得多了，最近才接触到另外一个架构LVS+OSPF。这个架构实际上是LVS+Keepalived 的升级版本，我们所知道LVS+Keepalived 架构是这样子的：
随着业务的扩展，我们可以对web服务器做水平扩展，以此来提高系统的处理能力。但是我们会发现，两台Director间始终只有一台是处于工作状态，而另一台处于不工作的备份状态，即使访问的流量再大，同时也只能由一台Director 去应对。换句话说，Director在这个架构里面没办法像web服务器那样做水平扩展，实现负载均衡。那么是否有办法让两台Director都处于工作的状态呢？答案是肯定的，LVS+OSPF 架构就是用来解决这个问题的。
LVS+OSPF架构图如下：
这个架构与LVS+keepalived 最明显的区别在于，两台Director都是Master 状态，而不是Master-Backup，如此一来，两台Director 地位就平等了。剩下的问题，就是看如何在这两台Director 间实现负载均衡了。这里会涉及路由器领域的一个概念：等价多路径
ECMP（等价多路径）
ECMP（Equal-CostMultipathRouting）等价多路径，存在多条不同链路到达同一目的地址的网络环境中，如果使用传统的路由技术，发往该目的地址的数据包只能利用其中的一条链路，其它链路处于备份状态或无效状态，并且在动态路由环境下相互的切换需要一定时间，而等值多路径路由协议可以在该网络环境下同时使用多条链路，不仅增加了传输带宽，并且可以无时延无丢包地备份失效链路的数据传输。
ECMP最大的特点是实现了等值情况下，多路径负载均衡和链路备份的目的，在静态路由和OSPF中基本上都支持ECMP功能。
例如下图中的路径A、路径B、路径C 3条路径的COST值相同，既是等价路径。在路由器选路的时候，便可以同时使用这3条路径，从而实现负载均衡。
注：虽然链路COST值相同，但是实际情况是，各路径的带宽、时延和可靠性等不一样，把Cost认可成一样，不能很好地利用带宽，尤其在路径间差异大时，效果会非常不理想。这时可以使用
WCMP（Weight-CostMultipathRouting）加权多路径，能够非常灵活地按照比例在链路上传递流量。
回到前面的那个问题：如何实现对多个Director 的负载均衡？相信看到这里，应该都清楚了，没错，就是利用OSFP的等价多路径来实现。那么新的问题又来了：我们知道Director 是一台LINUX/Unix机器，不是路由器，那它如何跑OSPF协议？如何实现等价多路径？
实际上就是将调度器模拟成路由器，将多台调度器与真实的路由器组成OSPF网络，需要做的就是为调度器安装quagga这个软件，并进行相关的配置即可。
【实验步骤】
实验平台 ：Ubuntu12.04
路由器：使用GNS3桥接网卡模拟真实路由器
GNS3配置
vmnet2、vmnet3网卡配置如下：(vmware 菜单栏 编辑 -- 虚拟网络编辑器)
GNS3桥接vmware网卡，e1/0 桥接vmware的vmnet2网卡，e1/1 桥接vmware的vmnet3网卡。GNS3总共需要3个设备：两个云设备(用于桥接网卡)和一台路由器(模拟真实路由器)
完成后GNS3 的拓扑是这样的：
#配置真实路由器R1
R1#conf t
R1(config)#int lo1
R1(config-if)#ip addr 2.2.2.2 255.255.255.0
R1(config-if)#int e1/0
R1(config-if)#ip add 192.168.20.120 255.255.255.0
R1(config-if)#no shut
R1(config-if)#int e1/1
R1(config-if)#ip add 192.168.30.120 255.255.255.0
R1(config-if)#no shut
R1(config-if)#int e1/0
R1(config-if)#ip ospf hello-interval 1
R1(config-if)#ip ospf dead-interval 3
R1(config-if)#ip ospf network point-to-point
R1(config-if)#ip ospf priority 100
R1(config-if)#int e1/1
R1(config-if)#ip ospf hello-interval 1
R1(config-if)#ip ospf dead-interval 3
R1(config-if)#ip ospf network point-to-point
R1(config-if)#ip ospf priority 99
R1(config-if)#exit
R1(config)#router ospf 1
R1(config-router)#network 192.168.20.0 0.0.0.255 area 0
R1(config-router)#network 192.168.30.0 0.0.0.255 area 0
R1(config-router)#network 2.2.2.2 0.0.0.0 area 0
调度器上配置quagga，模拟路由器
#安装quagga
root@node1:~# apt-get install quagga -y
#修改配置文件
root@node1:~# vim /etc/quagga/daemons
zebra=yes
ospfd=yes
root@node1:~# cp /usr/share/doc/quagga/examples/ospfd.conf.sample /etc/quagga/ospfd.conf
root@node1:~# cp /usr/share/doc/quagga/examples/zebra.conf.sample /etc/quagga/zebra.conf
root@node1:~# chown quagga.quagga /etc/quagga/ospfd.conf
root@node1:~# chown quagga.quagga /etc/quagga/zebra.conf
#启动quagga
root@node1:~# /etc/init.d/quagga restart
#查看是否有相应监控端口
root@node1:~# netstat -nultp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 127.0.0.1:2601 0.0.0.0:* LISTEN 1737/zebra
tcp 0 0 127.0.0.1:2604 0.0.0.0:* LISTEN 1741/ospfd
node2上的安装步骤同上
#尝试远程连接quagga、配置quagga
root@node1:~# telnet 127.0.0.1 2604
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
Hello, this is Quagga (version 0.99.20.1).
Copyright 1996-2005 Kunihiro Ishiguro, et al.
User Access Verification
Password: #默认密码为zebra
#估计看到这，学过网络的童鞋都已经很熟悉了，可以大展身手了。闲话少说，继续配置：
node1 配置如下
ospfd> en
ospfd# configure terminal
ospfd(config)# router ospf
ospfd(config-router)# router-id 192.168.20.101
ospfd(config-router)# network 192.168.20.0/24 area 0
ospfd(config-router)# network 1.1.1.1/24 area 0
ospfd(config-router)# exit
ospfd(config)# interface eth0
ospfd(config-if)# ospf hello-interval 1
ospfd(config-if)# ospf dead-interval 3
ospfd(config-if)# ip ospf network point-to-point
ospfd(config-if)# end
ospfd# wr
Configuration saved to /etc/quagga/ospfd.conf
ospfd# exit
Connection closed by foreign host.
node2配置如下
ospfd> en
ospfd# configure terminal
ospfd(config)# router ospf
ospfd(config-router)# router-id 192.168.30.100
ospfd(config-router)# network 192.168.30.0/24 area 0
ospfd(config-router)# network 3.3.3.3/24 area 0
ospfd(config-router)# exit
ospfd(config)# interface eth0
ospfd(config-if)# ospf hello-interval 1
ospfd(config-if)# ospf dead-interval 3
ospfd(config-if)# ip ospf network point-to-point
ospfd(config-if)# end
ospfd# wr
Configuration saved to /etc/quagga/ospfd.conf
ospfd# exit
Connection closed by foreign host.
#在node1和node2上分别启用一个loopback口，用于测试
root@node1:~# ifconfig lo:1 1.1.1.1 netmask 255.255.255.0
root@node2:~# ifconfig lo:1 3.3.3.3 netmask 255.255.255.0
测试
在路由器R1 上执行show ip ospf neighor 可以看到OSPF的邻居
R1#show ip ospf neighbor
Neighbor ID Pri State Dead Time Address Interface
192.168.30.100 0 FULL/ - 00:00:02 192.168.30.100 Ethernet1/1
192.168.20.101 0 FULL/ - 00:00:02 192.168.20.101 Ethernet1/0
在node1上面ping node2
至此，ospf的配置完成！
至于LVS的配置，基本上同LVS+Keepalived 架构，在配置的过程中，应注意的地方有以下几点：
1、配置router_id 的时候，为了区分开，可用ip地址作为router_id ，例如：
global_defs {
router_id 192.168.30.102
}
2、因为两台调度器都是要提供服务的，因此两台调度器应都处于Master的状态，那么这里有3个方面要注意：
(1)首先是状态那里，两台调度器都要是MASTER
vrrp_instance VI_1 {
state MASTER
... ...
}
(2)其次，要以双主的模式启动，需要使调度器处于不同的域中。(一山不容二虎么... ...)
node1
vrrp_instance VI_1 {
... ...
virtual_router_id 51
... ...
}
node2
vrrp_instance VI_1 {
... ...
virtual_router_id 52
... ...
}
(3)这里的优先级应一致，统一由真实路由器R1进行调度。
node1
vrrp_instance VI_1 {
... ...
priority 110
... ...
}
node2
vrrp_instance VI_1 {
... ...
priority 110
... ...
}