存储服务器 自建,搭建及了解存储服务器
搭建存储服务器：
什么是存储
存储介质：内存 磁盘
数据存储位置：云存储 本地 共享存储 分布式存储
存储是什么：数据
存储技术：DAS(直连) NAS SAN (FC_SAN/IP_SAN)
SCSI NFS/CIFS(也叫sabam) ISCSI
SCSI小型计算机系统接口
作为输入、输出接口
主要用与硬盘、光盘等设备
DAS直连式存储
将存储设备通过SCSI接口或光纤通道直接连接计算机上
不能实现数据与其他主机的共享
占用服务器操作系统资源，如CPU、IO等
数据量越大，性能越差
NAS网络技术存储
一种专用数据存储服务器，以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带管、提高性能、降低总拥有成本
用户通过TCP/IP协议访问数据
采用标准的NFS/HTTP/CIFS等
SAN存储区域网络
通过光纤交换机、光纤路由器、光纤集线器等设备将磁盘阵列、磁带等存储设备与相关服务器连接起来，形成高速专网网络
组成部分：
如路由器、光纤交换机
接口：如SCSI、FC
通信协议：如IP、SCSI
适合与千兆数据传输的、成熟而安全的解决方案
与传统的SCSI相比，FC提供更高的数据传输速率、更远的传输距离、更多的设备连接支持一及更稳定的性能、更简易的安装
FC主要组件
光纤
HBA(主机总线适配置器)
FC交换机
FC光纤通道
ISCSI技术：
IETF制定的标准，将SCSI数据块映射为以太网数据包
是一种基于IP Storage理论的新型存储技术
将存储行业广泛应用的SCSI接口技术与IP网络相结合
可以在IP网络上构建SAN
优势：
基于IP协议技术的标准
允许网络在TCP/IP协议上传出SCSI命令
解决了传输效率、存储容量、兼容性、开放性、安全性等方面的问题
没有距离限制
使用SAN共享存储空间
一 配置后端存储
1.1 装包
1.2 修改配置文件
1.3 启动服务
1.4 查看
1.1 装包
yum list |grep -i scsi
yum -y install scsi-target-utils
rpm -qc scsi-target-utils
1.2 修改配置文件
vim /etc/tgt/targets.conf
backing-store /dev/vdb 定义存储设备
write-cache off
# initiator-address 192.168.4.53 定义前端ip
vendor_id tarena 定义出厂商
product_id disktwo 定义磁盘标识
backing-store /dev/vdc
write-cache off
# initiator-address 192.168.4.53
vendor_id tarena 定义出厂商
product_id diskthr 定义磁盘标识
1.3 启动服务
service tgtd start
service tgtd status
chkconfig tgtd on
1.4 查看
netstat -lantpu |grep tgtd
tcp 0 0 0.0.0.0:3260 0.0.0.0:* LISTEN 1913/tgtd
tcp 0 0 :::3260 :::* LISTEN 1913/tgtd
tgt-admin --show 查看
Target 1: iqn.2018-01.cn.feiyun:56.diskb
System information:
Driver: iscsi
State: ready
I_T nexus information:
LUN information:
LUN: 0
Type: controller
SCSI ID: IET 00010000
SCSI SN: beaf10
Size: 0 MB, Block size: 1
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
Backing store type: null
Backing store path: None
Backing store flags:
LUN: 1
Type: disk
SCSI ID: IET 00010001
SCSI SN: beaf11
Size: 5369 MB, Block size: 512
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
Backing store type: rdwr
Backing store path: /dev/vdb
Backing store flags:
Account information:
ACL information:
ALL
Target 2: iqn.2018-01.cn.tedu:56.diskc
System information:
Driver: iscsi
State: ready
I_T nexus information:
LUN information:
LUN: 0
Type: controller
SCSI ID: IET 00020000
SCSI SN: beaf20
Size: 0 MB, Block size: 1
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
Backing store type: null
Backing store path: None
Backing store flags:
LUN: 1
Type: disk
SCSI ID: IET 00020001
SCSI SN: beaf21
Size: 5369 MB, Block size: 512
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
Backing store type: rdwr
Backing store path: /dev/vdc
Backing store flags:
Account information:
ACL information:
ALL
二 配置前端应用
2.1 装包
2.2 发现设备
2.3 登陆设备
2.4 退出登陆
2.4 查看
2.1 装包
yum list |grep -i iscsi
yum -y install iscsi-initiator-utils
rpm -qc iscsi-initiator-utils
2.2 发现设备
man iscsiadm
iscsiadm --mode discoverydb --type sendtargets --portal 192.168.4.56 --discover
2.3 登陆设备
iscsiadm --mode node --targetname iqn.2018-01.cn.feiyun:56.diskb --portal 192.168.4.56:3260 --login
fdisk -l
ls /dev/vd*
ls /dev/sd*
2.4 退出登陆
iscsiadm --mode node --targetname iqn.2018-01.cn.tedu:56.diskb --portal 192.168.4.56:3260 --logout
三 起服务iscsid
/etc/init.d/iscsid status或service iscsid status
chkconfig iscsid on
缺点：登陆共享磁盘的顺序，会影响设备在本机的命名名称，所以用UDV技术解决
配置UDV
1 获取硬件设备的参数信息
2 编写存放硬件设备的参数的UDV程序文件
3 启动UDV
4 查看命名信息
1 获取硬件设备的参数信息
ls /dev/sd*
which udevadm
udevadm --help
udevadm info --query=path --name=/dev/sda(磁盘路径)
udevadm info --help
udevadm info --path=/devices/platform/host4/session3/target4:0:0/4:0:0:1/block/sda --attribute-walk
2 编写存放硬件设备的参数的UDV程序文件
vim /etc/udev/rules.d/70-iscsidisk.rules
SUBSYSTEM=="block", ATTR{size}=="10485760", ATTRS{vendor}=="tarena " ,ATTRS{model}=="disktwo ", SYMLINK+="iscsi/vdb"(自定义名称)
SUBSYSTEM=="block", ATTR{size}=="10485760",ATTRS{vendor}=="tarena ",ATTRS{model}=="diskthr ",SYMLINK+="iscsi/vdc"
3 启动UDV
start_udev
4 查看命名信息
ls /dev/sd*
ls -l /dev/iscsi/
使用共享存储磁盘存储数据
分区--》格式化--》挂载--》存储
fdisk /dev/iscsi/vdb
mkfs.tex4 /dev/sda1
blkid /dev/sdb1
vim /etc/fstab
mount -a
mount |grep var
df -h
echo "aaaaa" > /var/www/html/test.html
缺点：多台服务器不能同时挂载
多路径
功能：
冗余，主备模式，高可用
改进的性能，主主模式，负载均衡
使用2个网段
配置后端存储
1.1 装包
1.2 修改配置文件
1.3 启动服务
1.4 查看
1.1 装包
yum list |grep -i scsi
yum -y install scsi-target-utils
rpm -qc scsi-target-utils
1.2 修改配置文件
vim /etc/tgt/targets.conf
backing-store /dev/vdd
# backing-store /dev/LVM/somedevice2 # Becomes LUN 2
#backing-store /dev/LVM/somedevice3 # Becomes LUN 3
write-cache off
# initiator-address 192.168.4.53
#vendor_id tarena
#product_id disktwo
前段装包
yum -y install device-mapper-mutipath
mpathconf --user_friendly_names n 使用mpathconf命令创建配置文件并启用多路径
iscsiadm --mode discoverydb --type sendtargets --portal 192.168.2.56 --discover
iscsiadm --mode discoverydb --type sendtargets --portal 192.168.4.56 --discover
iscsiadm --mode node --targetname iqn.2018-01.cn.tedu:56.diskb --portal 192.168.4.56:3260 --login
iscsiadm --mode node --targetname iqn.2018-01.cn.tedu:56.diskb --portal 192.168.2.56:3260 --login
ls /etc/multipath.conf
scsi_id --whitelisted --device=/dev/sda WWWID(全球识别符，唯一性)
1IET 00020001
vim /etc/multipath.conf
defaults {
user_friendly_names no
getuid_callout "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
}
blacklist {
}
multipaths {
multipath {
wwid "1IET 00020001"
alias mpatha
}
}
启动服务：
/etc/init.d/multipathd start
chkconfig multipathd on
分区格式化
ls /dev/mapper/mpatha mpatha及为多路径设备
multipath -ll 查看多路径信息
multipath -rr 重新加载多路劲信息